Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics


WebRankInfo
Administrateur du site
Administrateur du site
 
Messages: 22966
Enregistré le: 19 Avr 2002

Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot

Message le Jeu Aoû 13, 2009 9:03

Si vous trouvez que MSNbot (le robot de Bing) vient trop souvent crawler votre site (sic), vous pouvez le ralentir en ajoutant une instruction dans le fichier robots.txt :

Code: Tout sélectionner
User-agent: MSNbot
Crawl-delay: 1


Les valeurs possibles sont 1 (lent), 5 (très lent) ou 10 (extrêmement lent)
remarque : vous pouvez étendre cette instruction à tous les moteurs en mettant User-agent: *
mais je ne sais pas comment les autres moteurs réagissent

source : http://www.bing.com/community/blogs/webmaster/archive/2009/08/10/crawl ... snbot.aspx

Baronz
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 326
Enregistré le: 28 Avr 2005

Re: Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot

Message le Jeu Aoû 13, 2009 9:41

Merci pour l'info ;)

SqTH
Nouveau WRInaute
Nouveau WRInaute
 
Messages: 13
Enregistré le: 27 Fév 2008

Re: Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot

Message le Jeu Aoû 13, 2009 10:53

Où est l'intéret de demander aux crawleurs d'espacer leurs visites ?
Je ne saisis pas.


OTP
Modérateur
Modérateur
 
Messages: 20163
Enregistré le: 16 Déc 2005

Re: Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot

Message le Jeu Aoû 13, 2009 11:24

Préserver la charge du serveur.


jeanluc
WRInaute accro
WRInaute accro
 
Messages: 3273
Enregistré le: 3 Mai 2004

Re: Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot

Message le Jeu Aoû 13, 2009 11:45

La valeur du crawl-delay est le nombre de secondes entre deux hits successifs du robot. La commande existe chez Yahoo depuis longtemps. C'est fou comme la coopération Yahoo-Microsoft révolutionne le web ! :mrgreen:

Jean-Luc

Amaryllid
WRInaute discret
WRInaute discret
 
Messages: 172
Enregistré le: 8 Avr 2005

Re: Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot

Message le Jeu Aoû 13, 2009 14:57

Cette commande existe depuis plusieurs années chez MSN.
Voir par exemple cette archive de 2006 : http://web.archive.org/web/20060128183729/http://search.msn.fr/docs/si ... ToSite.htm


pcamliti
WRInaute impliqué
WRInaute impliqué
 
Messages: 841
Enregistré le: 9 Mar 2007

Re: Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot

Message le Jeu Aoû 13, 2009 18:15

Bonjour,

Bing est-il si gourmand que cela ?
Ou est-ce que les serveurs ne supportent plus la charge de ses "nouveaux" arrivants ?

Il est vrai que si il passe matin midi et soir, cela peut générer des faiblesses et faire laguer un serveur lors des heures de pointes.

Avez vous des raisons de croire qu'il faille rajouter cette instruction sur le fichier robots.txt ? Ou est-ce simplement une information ?


raljx
WRInaute accro
WRInaute accro
 
Messages: 2823
Enregistré le: 10 Juil 2006

Re: Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot

Message le Sam Aoû 15, 2009 0:18

rassurez moi, on parle de serveurs en mutu là non ? ;)

nervusdm
WRInaute impliqué
WRInaute impliqué
 
Messages: 703
Enregistré le: 5 Jan 2008

Re: Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot

Message le Sam Aoû 15, 2009 16:31

Que cela soit utile pour certains, inutiles pour d'autres, c'est un autre débat, le crawl delay a le mérite d'exister je ne vais pas m'en plaindre ;)


Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :