Harcelement des moteurs de recherche

**le Mar Juil 10, 2007 18:44**

Bonjour a tous.

Je subit depuis 15 semaines un harcelement des moteurs de recherche sur mon site, qui provoque une surchage du server, voir a le planter . Ces moteurs son : google, msn, ...
Je sais qu'avec le fichier "robot.txt" on peut l'imiter l'acces difinif a certain repertoire du site a ces moteurs .

Mais peut-on limiter l'acces de fasson partielle dans le temps afin que les moteurs reviennent regullieremement indexer les pages du site avec un plus grande periode.

Merci pour vos reponses

**le Mar Juil 10, 2007 20:13**

et il se plaint !

A mon avis .. ton serveur doit être mal configuré ou assez faible pour ne pas supporter si peu de connections !

Combien de requetes par jour ca représente ?

**le Mar Juil 10, 2007 20:30**

Code: Tout sélectionner: <meta name="revisit-after" content="1 day" />

Ca allègera un peu.

Si pas, tu mets "2 days", "3 days"...

NB: De quel robot parles-tu, comment les identifies-tu, quel est le volume de crawl, et quel poids total cela représente-t-il ?

**le Mer Juil 11, 2007 11:59**

Kaliiii a écrit:et il se plaint !

A mon avis .. ton serveur doit être mal configuré ou assez faible pour ne pas supporter si peu de connections !

Combien de requetes par jour ca représente ?

si peu ? ben plusieurs milliers par jour tout confondus et parfois une tite centaine dans la meme minute c possible... c que ca commence à faire ...

C surtout Yahoo qui s'énervait y'a pas longtemps

**le Mer Juil 11, 2007 20:57**

Yahoo a fait exploser le record du nombre d'utilisateurs en ligne sur mon forum... :lol:

**le Mer Juil 11, 2007 21:00**

Le bot de Y! ne s'appelle pas "Slurp" pour rien hein

**le Jeu Juil 12, 2007 10:35**

35mmcomp a écrit:Yahoo a fait exploser le record du nombre d'utilisateurs en ligne sur mon forum...

il vient pas toujours avec la même ip ?
je veux dire, il te bombarde avec des ip différentes à chaque get ?

**le Jeu Juil 12, 2007 10:54**

bsmadja a écrit:Bonjour a tous.

Je subit depuis 15 semaines un harcelement des moteurs de recherche sur mon site, qui provoque une surchage du server, voir a le planter . Ces moteurs son : google, msn, ...
Je sais qu'avec le fichier "robot.txt" on peut l'imiter l'acces difinif a certain repertoire du site a ces moteurs .

Mais peut-on limiter l'acces de fasson partielle dans le temps afin que les moteurs reviennent regullieremement indexer les pages du site avec un plus grande periode.

Merci pour vos reponses

Bonjour,

C'est génial. Si je comprends bien, les robots passent et repassent de manière incéssante ?

C'est le monde à l'envers là. :wink:

Nan, je blague, je peux comprendre que cela t'enuie, si çà plante ton site.

A bientôt sur WRI

Fanny AMRI

**le Jeu Juil 12, 2007 11:58**

julienr a écrit:
35mmcomp a écrit:Yahoo a fait exploser le record du nombre d'utilisateurs en ligne sur mon forum...

il vient pas toujours avec la même ip ?
je veux dire, il te bombarde avec des ip différentes à chaque get ?

y'a une partie de l'adresse IP identique mais oui il vient avec énormément d'IP différente

**le Jeu Juil 12, 2007 15:09**

Oui les IP sont différentes.

**le Jeu Juil 12, 2007 19:53**

je confirme !
à l'heure actuelle je suis aussi victime

du harcelement de yahoo à raison d'une page toute les 10 secondes !

74.6.25.155 - - [12/Jul/2007:20:51:47 +0200] "GET HTTP/1.0" 200 7010 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.26.212 - - [12/Jul/2007:20:51:50 +0200] "GET HTTP/1.0" 404 482 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.25.48 - - [12/Jul/2007:20:51:55 +0200] "GET HTTP/1.0" 200 4431 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.23.225 - - [12/Jul/2007:20:51:58 +0200] "GET HTTP/1.0" 200 9014 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.27.33 - - [12/Jul/2007:20:51:58 +0200] "GET HTTP/1.0" 200 4176 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.26.230 - - [12/Jul/2007:20:52:08 +0200] "GET HTTP/1.0" 200 5905 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.26.49 - - [12/Jul/2007:20:52:29 +0200] "GET HTTP/1.0" 200 3831 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

en revanche mon load se porte très bien !

**le Jeu Juil 12, 2007 20:23**

Il vient aussi de me crawler 90 pages en 3 minutes, c'est impressionnant ^^

Pas de soucis pour mon serveur en tout cas

**le Jeu Juil 12, 2007 20:25**

qu'est ce qui se passe chez yahoo, ils ont achetés des nouveaux serveurs ?

**le Jeu Juil 12, 2007 20:30**

En tout cas si ça résulte sur quelque chose de positif on ne va pas se plaindre !

**le Jeu Juil 12, 2007 22:39**

Code: Tout sélectionner: <meta name="revisit-after" content="1 day" />

je croyais que cette meta ne servait a rien...

Harcelement des moteurs de recherche

Harcelement des moteurs de recherche

Re: Harcelement des moteurs de recherche

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne