Robots.txt inutile

Nouveau WRInaute
Bonjour,

Il semble que plusieurs robots ignorent totalement le fichier robots.txt pourtant destiné uniquement à leur intention...
 
Nouveau WRInaute
Quoi ???

mais encore quoi ???

il n'y a rien de sorcier... ce fichier destiné au robot est ignoré par certains robots... plusieurs...

et bang on se retrouve avec des pages d'administration de référencé...

c'est bien brillant...
 
Nouveau WRInaute
tous

- Alexa
- Altavista
- Inktomi


Ce sont les principaux vues dans Googlestats... c'est sans compter ceux qui ne sont pas dans Googlestats...

mais la question c'est pourquoi des robots ignorent le fichier robots.txt ???

Ce fichier est créé UNIQUEMENT pour eux !!!
 
Discussions similaires
Haut