les fichiers robots.txt avantagent Google

[lululelutin]

Des chercheurs ont découvert que les fichiers Robots.txt avaient tendance à avantager les robots d’indexation de Google...

Qu'en pensez-vous ?
http://www.vnunet.fr/fr/news/2007/11/20/sites_web_les_fichiers_robots_txt_avantagent_google

[Jeviensderio]

Selon l'article ce sont les webmasters qui décident de favoriser Google. On ne devrait pas confier un site Web à un webmaster

[Szarah]

Je ne vois pas d'où l'article explique que GG serait avantagé.
Que 4 sites sur 10 disposent d'un robots.txt, c'est intéressant à savoir.
Et que un certain nombre (on ne dit pas combien) de ces robots.txt excluent les petits robots pour ne laisser que GG, Y! et Live, ok.
Mais combien de ce %tage inconnu de 40% de sites robotextés filtrent Y! et Live pour avantager GG, l'article n'en dit rien.
Curieux article.

Edit : l'original en anglais est tout aussi vague.
Il faudrait lire l'étude.

[Charles (W.E.B)]

J'ai pas trop compris la logique de l'article non plus.

Et je vois pas pourquoi qui que ce soit filtrerait un robot de moteur de recherche intentionnellement

[Szarah]

Certains robots sont gourmands en ressources-serveurs pour peu de visibilité au final, certains webmasters préfèrent les écarter.

[druart]

En fait c'est le titre qui est ambigu

Dans les fichiers robots.txt, on remarque prioritairement Google alors oui
Dans les fichiers robots.txt, on filtre les autres pour avantager Google, j'en doute.

[frangolacci]

Les filtres robots.txt ne sont pas là pour "avantager google", simplement pour éviter de se faire bouffer de la bande passante par des moteurs qui n'ont aucun intérêt (=> qui n'envoient pas de visiteurs). Voir par exemple le fichier robots.txt de wri, qui interdit un paquet de site.

Cela dit les moteurs et aspirateurs font ce qu'il veulent, rien ne les obligent à suivre les recommandations du fichier robots.txt . Pour vraiment bloquer un site il vaut mieux interdire l'ip grâce au htaccess.