A quoi servent les robots, et comment les apprivoisier ?

[bebdesigner]

Salut,
Bon c'est mon premier post sur WRI et je pense que je trouverai la réponse mais bon, on sait jamais ça peut éviter de se taper 4000 posts. Sinon j'entends toujours parler de ces robots, qu'il faut créer des pages spéciales etc. Doit-on créer une page par robots ? Faut-il indexer ces pages auprès des moteurs de recherche ?
Moi perso, j'ai un pr de 4 c'est pas top, mais bon je persévère dans mon référencement gratuit à la main. Par contre, je pense que mon problème de référencement vient aussi du fait que mon site http://www.bebdesigner.com ne doit pas être optimisé pour tous les robots. J'ai rajouté le metatag robots et un fichier texte basique mais je ne pense pas que ça suffise pour tous les moteurs. Vu que ce site va bientôt être traduit dans d'autres langues, je pense que je vais avoir à poser beaucoup de questions.
A plus tard, et merci pour les infos par avance !!!

[blman]

Bonjour et bienvenue,
les robots servent à indexer ton site. En gros, ils parcourent le web toute la journée pour indexer des pages ou les mettre à jour. Ils suivent les liens en dur de la toile pour trouver de nouvelles pages.
Tu n'a pas à créer de page pour les robots. Ils vont suivre tes liens et indexer tes pages.

[TOMHTML]

"A quoi servent les robots, et comment les apprivoisier ?"
> en leur donnant à manger du contenu ^^

[Thierry Bugs]

Et oui site en flash, pour les robots c'est une image sans texte sans rien difficile pour les pages derriere l'index

[cedfr]

Un robot c'est une petite bêbete qui squatte chez toi. Il faut que tu la garde sur ton site et que tu lui offre du contenu, des pages, des codes...
Comme ça, la bêbete reste et indexe mieux ton site.

[bebdesigner]

Merci pour les réponses !

Hé oui, et je vois même que ça peut nuire d'interdire à un robot l'accès à certaines parties du site.
Concernant la balise Robots, cette balise est importante quand même non ? la partie index follow et revisit after - d'ailleurs ce revisit after moi j'ai mis 1 month mais si le contenu change plus régulièrement, comment le stipuler par cette balise ?
Après je pense que les crawls et les robots (c'est la même chose non ?) se fiche de ces balises et visitent quand ils veulent ?