Messages: 23067

Enregistré le: 19 Avr 2002

Message le Jeu Aoû 13, 2009 10:03

Si vous trouvez que MSNbot (le robot de Bing) vient trop souvent crawler votre site (sic), vous pouvez le ralentir en ajoutant une instruction dans le fichier robots.txt :

Code: Tout sélectionner
User-agent: MSNbot
Crawl-delay: 1


Les valeurs possibles sont 1 (lent), 5 (très lent) ou 10 (extrêmement lent)
remarque : vous pouvez étendre cette instruction à tous les moteurs en mettant User-agent: *
mais je ne sais pas comment les autres moteurs réagissent

source : http://www.bing.com/community/blogs/webmaster/archive/2009/08/10/crawl ... snbot.aspx
Haut
8 Réponses
Messages: 326

Enregistré le: 28 Avr 2005

Message le Jeu Aoû 13, 2009 10:41

Merci pour l'info ;)
Haut
Messages: 13

Enregistré le: 27 Fév 2008

Message le Jeu Aoû 13, 2009 11:53

Où est l'intéret de demander aux crawleurs d'espacer leurs visites ?
Je ne saisis pas.
Haut
Messages: 20167

Enregistré le: 16 Déc 2005

Message le Jeu Aoû 13, 2009 12:24

Préserver la charge du serveur.
Haut
Messages: 3286

Enregistré le: 3 Mai 2004

Message le Jeu Aoû 13, 2009 12:45

La valeur du crawl-delay est le nombre de secondes entre deux hits successifs du robot. La commande existe chez Yahoo depuis longtemps. C'est fou comme la coopération Yahoo-Microsoft révolutionne le web ! :mrgreen:

Jean-Luc
Haut
Messages: 172

Enregistré le: 9 Avr 2005

Message le Jeu Aoû 13, 2009 15:57

Cette commande existe depuis plusieurs années chez MSN.
Voir par exemple cette archive de 2006 : http://web.archive.org/web/20060128183729/http://search.msn.fr/docs/si ... ToSite.htm
Haut
Messages: 841

Enregistré le: 9 Mar 2007

Message le Jeu Aoû 13, 2009 19:15

Bonjour,

Bing est-il si gourmand que cela ?
Ou est-ce que les serveurs ne supportent plus la charge de ses "nouveaux" arrivants ?

Il est vrai que si il passe matin midi et soir, cela peut générer des faiblesses et faire laguer un serveur lors des heures de pointes.

Avez vous des raisons de croire qu'il faille rajouter cette instruction sur le fichier robots.txt ? Ou est-ce simplement une information ?
Haut
Messages: 2823

Enregistré le: 10 Juil 2006

Message le Sam Aoû 15, 2009 1:18

rassurez moi, on parle de serveurs en mutu là non ? ;)
Haut
Messages: 703

Enregistré le: 5 Jan 2008

Message le Sam Aoû 15, 2009 17:31

Que cela soit utile pour certains, inutiles pour d'autres, c'est un autre débat, le crawl delay a le mérite d'exister je ne vais pas m'en plaindre ;)
Haut