Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot

Olivier Duffez (admin)
Membre du personnel
Si vous trouvez que MSNbot (le robot de Bing) vient trop souvent crawler votre site (sic), vous pouvez le ralentir en ajoutant une instruction dans le fichier robots.txt :

Code:
User-agent: MSNbot
Crawl-delay: 1

Les valeurs possibles sont 1 (lent), 5 (très lent) ou 10 (extrêmement lent)
remarque : vous pouvez étendre cette instruction à tous les moteurs en mettant User-agent: *
mais je ne sais pas comment les autres moteurs réagissent

source : http://www.bing.com/community/blogs/webmaster/archive/2009/08/10/crawl ... snbot.aspx
 
WRInaute accro
La valeur du crawl-delay est le nombre de secondes entre deux hits successifs du robot. La commande existe chez Yahoo depuis longtemps. C'est fou comme la coopération Yahoo-Microsoft révolutionne le web ! :mrgreen:

Jean-Luc
 
WRInaute impliqué
Bonjour,

Bing est-il si gourmand que cela ?
Ou est-ce que les serveurs ne supportent plus la charge de ses "nouveaux" arrivants ?

Il est vrai que si il passe matin midi et soir, cela peut générer des faiblesses et faire laguer un serveur lors des heures de pointes.

Avez vous des raisons de croire qu'il faille rajouter cette instruction sur le fichier robots.txt ? Ou est-ce simplement une information ?
 
WRInaute impliqué
Que cela soit utile pour certains, inutiles pour d'autres, c'est un autre débat, le crawl delay a le mérite d'exister je ne vais pas m'en plaindre ;)
 
Discussions similaires
Haut