GoogleBot crawle trop vite :((

[Shift-Zone]

Pour ma part je pense qu'il ne faut pas abuser avec le fichier robots.txt.
A nouveau il faut avoir à l'esprit que chaque ligne ajoutée représente du traitement supplémentaire pour le serveur. Donc quoi qu'il arrive (que ce soit un bot ou un visiteur) le fichier est parcouru et comme le plus souvent ce n'est pas un bot c'est pour rien !

Cette solution impose de préciser le délai pour chaque agent de recherche et quand on voit le nombre de moteurs de recherche existant ...

Si quelqu'un peut donner des chiffres sur l'overhead généré ca m'intéresse !

[achaternet]

Donc quoi qu'il arrive (que ce soit un bot ou un visiteur) le fichier est parcouru et comme le plus souvent ce n'est pas un bot c'est pour rien ! !

Non

seul les moteurs utilisent le robots.txt, et eventuellement certains aspirateurs avec un minimum de respect.

[Shift-Zone]

exact !

J'étais distrait sur ce coup là, j'avais .htaccess en tête ...
Sorry pour la fausse info.

[achaternet]

Bon, enfin une reponse de google:

Nous vous remercions d'avoir attiré notre attention sur ce fait. Nous
avons réduit la charge sur vos serveurs. Nous vous prions de nous
excuser
pour le désagrément occasionné et vous remercions de votre patience.
N'hésitez pas à nous contacter pour toutes questions supplémentaires.

Cordialement,
L'équipe Google

Mouai, pas trop de detail...

De plus, si ils font au cas par cas, ils n ont pas finis de recevoir des plaintes.

Vi, je pense aussi a vous autres

Et aucune infos, aucun code pour le faire ralentir.

Tout ce que j espere, c est que googlebot passera autant qu avant...

C est sans doute un pb de non synchrosation de leurs bots,

cad, ce que j entends par là, c est :

serveur no 1 crawl un domaine
serveur no 2 crawl le meme domaine et NE COMMUNIQUE PAS entre eux, pour ne pas lancer des crawls simultanes de ce domaine.

Ainsi, de facon aleatoire, donc, par moment, TROP de connexions simultanee

[achaternet]

User-agent: Googlebot
Crawl-delay: 20

Ne SERT A RIEN.

Voici donc ce que je leur avais ecrit:

Bonjour,

Googlebot passe de maniere trop rapproche.

Exemple pour ce matin: 25 pages en 1 minute

3 connexions simultanées!

Avez vous un truc comme yahoo : Crawl-delay dans le robots.txt ?

Que dois je faire?

voici quelques logs:

....

Il faut savoir aussi, que googlebot et autre ne pouvait pas faire plus, puisque le 60gp chez ovh est 3 conn simult bdd

[nautiljon]

euh, moi c'est pas google mais Slurp (Inktomi) qui m'a fait une surprise ce soir, jusqu'a aujourd'hui il venait entre 0 et 10 fois par jour, et la 1550pages en 6min soit environs 258pages/min o_o, le pire c'est que mon script a 50p/min l'a pas bloqué zarb.
Le Crawl-delay ne fontionne pas si j'ai bien lu :S y'a une solution ?

[Ohax]

ils viennent à plusieurs (plusieurs ips)

[nautiljon]

Ah wé ! j'avais pas tilté, y'a plusieurs centaines d'ip rien que pour lui !

[Cyberbiz]

Cette fonction marche t'elle sinon pour slurp ?

Quelqu'un a t'il un resultat fiable ?

Code: Tout sélectionner

User-agent: Slurp
Crawl-delay: 40

[Albert1]

User-agent: Googlebot
Crawl-delay: 20

Totalement inutile !
je viens d'avoir confirmation par mail de Google que googlebot ne reconnaît pas cette commande !

Additionally, it's important to note that Googlebot does not currently
recognize the crawl-delay command.