GoogleBot : le vrai et les faux

[jeanluc]

Après les faux Rubens, les faux Picasso, voilà les faux GoogleBot

Mon site a été visité par quelqu'un qui s'identifie avec Googlebot/2.1 (+http://www.google.com/bot.html), mais qui n'est, en fait, qu'un browser trafiqué! L'adresse IP du visiteur ne permet aucun doute la-dessus.

Avis donc à ceux qui disent qu'ils ont eu récemment des visites inhabituelles des Googlebot...

Jean-Luc

[Bool]

Certains utilisent cette méthode pour aspirer les sites : beaucoup de webmasteurs ont peur de bloquer le GoogleBot et désactivent donc les protections en sa présence...

[achtungbaby]

Comment on fait pour empêcher les aspirateurs de site ?

Car on m'a déjà "aspiré plusieurs fois" déjà...

[Tex]

c'est tout simplement quelqun qui s'amuse a regarder les pages en cloacking...

[Le_Phasme]

c'est tout simplement quelqun qui s'amuse a regarder les pages en cloacking...

Je pense aussi

[BadProcESs]

Comment on fait pour empêcher les aspirateurs de site ?

Car on m'a déjà "aspiré plusieurs fois" déjà...

Les scripts de protection existant ce base en général sur la "vitesse" de consultation des pages, un aspirateur de site étant facilement reconnaissable à sa très grande "gourmandise". Ensuite, l'ip est temporairement banni.

[Bool]

Mais attention : certains robots (dont celui de dir.com il me semble) peuvent consulter plusieurs milliers de pages par jour... et risquent d'être bloqués si le système est trop restrictif.

[BadProcESs]

Pas les robots bien codés.
Justement, si tu regarde tes logs tu verra que les robots respecte le site qu'il crawle, en ne demandant qu'une page toute les 45 secondes environ.

[Bool]

Il y a au moins un robot qui fait plusieurs milliers de page par jour sur mon site... s'il fait une page toutes les 10 secondes, ça passe encore.

Généralement, je bloque à partir de 2 pages par secondes, sur un minimum de 100 pages.

[Earth Brian]

Oui tout simplement qq qui verifie que tu ne fais pas du cloaking ...
Tu choisis le user agent que tu veux et tu te fais passer pour lui .. d'ou utilité de filtrer via ip

[Le_Phasme]

Si qqn veut essayer :
http://www.wannabrowser.com/

[Gralon]

ben moi quand j'utilises firefox je suis toujours avec le javascript désactivé et googlebot comme agent , au début j'avais oublié de remodifier mes paramètres mais maintenant je le laisse exprès.
on voit pas mal de trucs bizarres

[iconso]

Pas les robots bien codés.
Justement, si tu regarde tes logs tu verra que les robots respecte le site qu'il crawle, en ne demandant qu'une page toute les 45 secondes environ.

En fait je pense que ce paramètre est très variable. Je vois très souvent entre 5 et 10 pages demandées dans la meme seconde par le vrai Googlebot. En fait je pense que le temps de remontée de page à beaucoup d'importance pour Googlebot : si ton serveur sert les pages lentement, Googlebot ralenti, et inversement.

Sinon pour en revenir aux faux Googlebot, la seule solution à peu près fiable pour les détecter reste l'IP, notamment pour ceux qui veulent exclure certains "utilisateurs" des restrictions imposées par un script anti-aspiration...

Fred

[microbe]

Bonjour,

Vous allez me trouver un peu « tombé de la dernière pluie »,
mais pour moi, aspirer un site, c’était pouvoir le consulter hors connexion chez soi, donc rien de dramatique. J’ai même des personnes qui m’ont-dit avoir imprimé mon site ( deux ramettes de papier couché, car imprimé au format paysage pour ne rien perdre…) c’est encore mieux qu’un petit mot dans un livre d’or.
Mais à voir vos messages, aspirer un site ne doit pas servir qu’à ça ! Alors, ils en font quoi des pages aspirées ?

TC

[mahefarivony]

quel interet pourrait avoir une société commerciale d'aspirer les sites webs ?