Modèle Robots.txt

**le Mar Jan 16, 2007 19:30**

Bonjour.

Quelqu'un pourrait-il me dire si le fichier robots.txt est primordial...? Si vous pouviez me refiler un modèle également ca serai sympa...j'ai entendu dire que les robots aiment qu'on s'occupent d'eux

.

Merci

**le Mar Jan 16, 2007 19:41**

salut

Primordial ? Si tu n'as aucune infos à mettre dedans, non ....

Pour un exemple, tu peux regarder celui de ce site : http://www.webrankinfo.com/robots.txt

fab

**le Mer Jan 17, 2007 10:49**

Primordial pour éviter le spam sur un forum.
Avec quelques petites adaptations pour son propre site, ce robots.txt peut être une référence.

**le Jeu Sep 06, 2007 10:35**

personne n'aurait un robots.txt reactualisé avec la liste des "badbots" ?

**le Jeu Sep 06, 2007 12:54**

Les mauvais site ne prennent pas en compte robots.txt ou ils changent la référence de requête. Mais ils ne peuvent pas contourner .htaccess.
Il y a une liste de protection sur WRI par .htaccess.

Modèle Robots.txt

Modèle Robots.txt

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne