Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot

[WebRankInfo]

Si vous trouvez que MSNbot (le robot de Bing) vient trop souvent crawler votre site (sic), vous pouvez le ralentir en ajoutant une instruction dans le fichier robots.txt :

Code: Tout sélectionner

User-agent: MSNbot
Crawl-delay: 1

Les valeurs possibles sont 1 (lent), 5 (très lent) ou 10 (extrêmement lent)
remarque : vous pouvez étendre cette instruction à tous les moteurs en mettant User-agent: *
mais je ne sais pas comment les autres moteurs réagissent

source : http://www.bing.com/community/blogs/webmaster/archive/2009/08/10/crawl ... snbot.aspx

[Baronz]

Merci pour l'info

[SqTH]

Où est l'intéret de demander aux crawleurs d'espacer leurs visites ?
Je ne saisis pas.

[OTP]

Préserver la charge du serveur.

[jeanluc]

La valeur du crawl-delay est le nombre de secondes entre deux hits successifs du robot. La commande existe chez Yahoo depuis longtemps. C'est fou comme la coopération Yahoo-Microsoft révolutionne le web !

Jean-Luc

[Amaryllid]

Cette commande existe depuis plusieurs années chez MSN.
Voir par exemple cette archive de 2006 : http://web.archive.org/web/20060128183729/http://search.msn.fr/docs/si ... ToSite.htm

[pcamliti]

Bonjour,

Bing est-il si gourmand que cela ?
Ou est-ce que les serveurs ne supportent plus la charge de ses "nouveaux" arrivants ?

Il est vrai que si il passe matin midi et soir, cela peut générer des faiblesses et faire laguer un serveur lors des heures de pointes.

Avez vous des raisons de croire qu'il faille rajouter cette instruction sur le fichier robots.txt ? Ou est-ce simplement une information ?

[raljx]

rassurez moi, on parle de serveurs en mutu là non ?

[nervusdm]

Que cela soit utile pour certains, inutiles pour d'autres, c'est un autre débat, le crawl delay a le mérite d'exister je ne vais pas m'en plaindre