Modèle Robots.txt

[Hoho]

Bonjour.

Quelqu'un pourrait-il me dire si le fichier robots.txt est primordial...? Si vous pouviez me refiler un modèle également ca serai sympa...j'ai entendu dire que les robots aiment qu'on s'occupent d'eux .


Merci

[fablezouave]

salut

Primordial ? Si tu n'as aucune infos à mettre dedans, non ....

Pour un exemple, tu peux regarder celui de ce site : http://www.webrankinfo.com/robots.txt

fab

[Jeviensderio]

Primordial pour éviter le spam sur un forum.
Avec quelques petites adaptations pour son propre site, ce robots.txt peut être une référence.

[ricoftb]

personne n'aurait un robots.txt reactualisé avec la liste des "badbots" ?

[Jeviensderio]

Les mauvais site ne prennent pas en compte robots.txt ou ils changent la référence de requête. Mais ils ne peuvent pas contourner .htaccess.
Il y a une liste de protection sur WRI par .htaccess.