Slurp bouffe beacoup trop

[jamesko20]

Bonjour,
Voici un extrait de mes stats (awstats) pour le mois de janvier (c'est pas la premiere fois qu'il se pointe ...) :
Inktomi Slurp 59378+647 2.46 Go 10 Jan 2005 - 01:27
Googlebot 3660+48 110.64 Mo 10 Jan 2005 - 00:48

Je trouve que Inktomi prend enormement de BP comparé a google, a votre avis est ce que je devrais le bloquer ?

On ma conseiller de mettre ceci dans mon robots.txt est ce que ca pourrais aider ? :
User-agent: Slurp
Crawl-delay: 250

Merci d'avance,

[totoro]

Effectivement Yahoo a tendance a s'affoler un peu en ce moment... même constat sur plusieurs site... (moins que toi cependant).

Un constat m'effraie dans tes logs :
59378+647 2.46 Go

Tu devrais peut etre ne pas indexer tes repertoires de photos ou choses lourdes...
Tu devrais avoir entre 300 et 500 mo de logs, au pire, mais la 2,5 go c'est impressionnant... peut-etre une piste.

Sinon le code dans robots.txt ralentira peut-etre un peu le crawl, c'est dommage d'en arriver la à mon avis.

[jamesko20]

Effectivement Yahoo a tendance a s'affoler un peu en ce moment... même constat sur plusieurs site... (moins que toi cependant).

Un constat m'effraie dans tes logs :
59378+647 2.46 Go

Tu devrais peut etre ne pas indexer tes repertoires de photos ou choses lourdes...
Tu devrais avoir entre 300 et 500 mo de logs, au pire, mais la 2,5 go c'est impressionnant... peut-etre une piste.

Sinon le code dans robots.txt ralentira peut-etre un peu le crawl, c'est dommage d'en arriver la à mon avis.

Il s'agit bien de bande pasante et non de la taille des fichiers logs (heuresement).