Slurp bouffe beacoup trop
3 messages
• Page 1 sur 1
Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics
- jamesko20
- Nouveau WRInaute

- Messages: 19
- Inscription: 20 Déc 2004
Slurp bouffe beacoup trop
Bonjour,
Voici un extrait de mes stats (awstats) pour le mois de janvier (c'est pas la premiere fois qu'il se pointe ...) :
Inktomi Slurp 59378+647 2.46 Go 10 Jan 2005 - 01:27
Googlebot 3660+48 110.64 Mo 10 Jan 2005 - 00:48
Je trouve que Inktomi prend enormement de BP comparé a google, a votre avis est ce que je devrais le bloquer ?
On ma conseiller de mettre ceci dans mon robots.txt est ce que ca pourrais aider ? :
User-agent: Slurp
Crawl-delay: 250
Merci d'avance,
Voici un extrait de mes stats (awstats) pour le mois de janvier (c'est pas la premiere fois qu'il se pointe ...) :
Inktomi Slurp 59378+647 2.46 Go 10 Jan 2005 - 01:27
Googlebot 3660+48 110.64 Mo 10 Jan 2005 - 00:48
Je trouve que Inktomi prend enormement de BP comparé a google, a votre avis est ce que je devrais le bloquer ?
On ma conseiller de mettre ceci dans mon robots.txt est ce que ca pourrais aider ? :
User-agent: Slurp
Crawl-delay: 250
Merci d'avance,
-

totoro - WRInaute impliqué

- Messages: 925
- Inscription: 28 Juil 2004
Effectivement Yahoo a tendance a s'affoler un peu en ce moment... même constat sur plusieurs site... (moins que toi cependant).
Un constat m'effraie dans tes logs :
59378+647 2.46 Go
Tu devrais peut etre ne pas indexer tes repertoires de photos ou choses lourdes...
Tu devrais avoir entre 300 et 500 mo de logs, au pire, mais la 2,5 go c'est impressionnant... peut-etre une piste.
Sinon le code dans robots.txt ralentira peut-etre un peu le crawl, c'est dommage d'en arriver la à mon avis.
Un constat m'effraie dans tes logs :
59378+647 2.46 Go
Tu devrais peut etre ne pas indexer tes repertoires de photos ou choses lourdes...
Tu devrais avoir entre 300 et 500 mo de logs, au pire, mais la 2,5 go c'est impressionnant... peut-etre une piste.
Sinon le code dans robots.txt ralentira peut-etre un peu le crawl, c'est dommage d'en arriver la à mon avis.
- jamesko20
- Nouveau WRInaute

- Messages: 19
- Inscription: 20 Déc 2004
totoro a écrit:Effectivement Yahoo a tendance a s'affoler un peu en ce moment... même constat sur plusieurs site... (moins que toi cependant).
Un constat m'effraie dans tes logs :
59378+647 2.46 Go
Tu devrais peut etre ne pas indexer tes repertoires de photos ou choses lourdes...
Tu devrais avoir entre 300 et 500 mo de logs, au pire, mais la 2,5 go c'est impressionnant... peut-etre une piste.
Sinon le code dans robots.txt ralentira peut-etre un peu le crawl, c'est dommage d'en arriver la à mon avis.
Il s'agit bien de bande pasante et non de la taille des fichiers logs (heuresement).
3 messages
• Page 1 sur 1
Formation recommandée sur ce thème :
Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.
Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.
Lectures recommandées sur ce thème :
- Passage du robot Inktomi Slurp mais pas de Yahoo Slurp
- Question pour intello, slurp, slurp ... bizzarerie mots clés
- Beacoup de connectés->quel hébergeur?
- Picsearch.com me bouffe la bande passante !
- Slurp
- Slurp New IP
- Yahoo slurp FR vs US ?
- yahoo Slurp crawle que /
- Bug pour Slurp ?
- Slurp Yahoo et Inktomi
Qui est en ligne
Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 0 invités
