les fichiers robots.txt avantagent Google

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics


lululelutin
WRInaute discret
WRInaute discret
 
Messages: 66
Inscription: 26 Juin 2003

les fichiers robots.txt avantagent Google

Message le Mer Nov 21, 2007 17:13

Des chercheurs ont découvert que les fichiers Robots.txt avaient tendance à avantager les robots d’indexation de Google...

Qu'en pensez-vous ?
http://www.vnunet.fr/fr/news/2007/11/20/sites_web_les_fichiers_robots_txt_avantagent_google


Jeviensderio
WRInaute passionné
WRInaute passionné
 
Messages: 1340
Inscription: 29 Sep 2006

Message le Mer Nov 21, 2007 17:59

Selon l'article ce sont les webmasters qui décident de favoriser Google. On ne devrait pas confier un site Web à un webmaster :)


Szarah
WRInaute accro
WRInaute accro
 
Messages: 8093
Inscription: 22 Fév 2006

Message le Mer Nov 21, 2007 18:09

Je ne vois pas d'où l'article explique que GG serait avantagé.
Que 4 sites sur 10 disposent d'un robots.txt, c'est intéressant à savoir.
Et que un certain nombre (on ne dit pas combien) de ces robots.txt excluent les petits robots pour ne laisser que GG, Y! et Live, ok.
Mais combien de ce %tage inconnu de 40% de sites robotextés filtrent Y! et Live pour avantager GG, l'article n'en dit rien.
Curieux article.

Edit : l'original en anglais est tout aussi vague.
Il faudrait lire l'étude.

Charles (W.E.B)
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 34
Inscription: 11 Nov 2007

Message le Mer Nov 21, 2007 19:08

J'ai pas trop compris la logique de l'article non plus.

Et je vois pas pourquoi qui que ce soit filtrerait un robot de moteur de recherche intentionnellement :?:


Szarah
WRInaute accro
WRInaute accro
 
Messages: 8093
Inscription: 22 Fév 2006

Message le Mer Nov 21, 2007 19:14

Certains robots sont gourmands en ressources-serveurs pour peu de visibilité au final, certains webmasters préfèrent les écarter.


5_legs
WRInaute passionné
WRInaute passionné
 
Messages: 2072
Inscription: 30 Avr 2006

Message le Mer Nov 21, 2007 21:45

En fait c'est le titre qui est ambigu

Dans les fichiers robots.txt, on remarque prioritairement Google alors oui
Dans les fichiers robots.txt, on filtre les autres pour avantager Google, j'en doute.


frangolacci
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 416
Inscription: 26 Fév 2006

Message le Jeu Nov 22, 2007 13:59

Les filtres robots.txt ne sont pas là pour "avantager google", simplement pour éviter de se faire bouffer de la bande passante par des moteurs qui n'ont aucun intérêt (=> qui n'envoient pas de visiteurs). Voir par exemple le fichier robots.txt de wri, qui interdit un paquet de site.

Cela dit les moteurs et aspirateurs font ce qu'il veulent, rien ne les obligent à suivre les recommandations du fichier robots.txt . Pour vraiment bloquer un site il vaut mieux interdire l'ip grâce au htaccess.


Si vous avez aimé cette discussion, partagez-la sur vos réseaux sociaux préférés :

Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :



Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités