Harcelement des moteurs de recherche

[bsmadja]

Bonjour a tous.

Je subit depuis 15 semaines un harcelement des moteurs de recherche sur mon site, qui provoque une surchage du server, voir a le planter . Ces moteurs son : google, msn, ...
Je sais qu'avec le fichier "robot.txt" on peut l'imiter l'acces difinif a certain repertoire du site a ces moteurs .

Mais peut-on limiter l'acces de fasson partielle dans le temps afin que les moteurs reviennent regullieremement indexer les pages du site avec un plus grande periode.


Merci pour vos reponses

[Kaliiii]

et il se plaint !

A mon avis .. ton serveur doit être mal configuré ou assez faible pour ne pas supporter si peu de connections !

Combien de requetes par jour ca représente ?

[HawkEye]

Code: Tout sélectionner

<meta name="revisit-after" content="1 day" />

Ca allègera un peu.

Si pas, tu mets "2 days", "3 days"...

NB: De quel robot parles-tu, comment les identifies-tu, quel est le volume de crawl, et quel poids total cela représente-t-il ?

[finstreet]

et il se plaint !

A mon avis .. ton serveur doit être mal configuré ou assez faible pour ne pas supporter si peu de connections !

Combien de requetes par jour ca représente ?

si peu ? ben plusieurs milliers par jour tout confondus et parfois une tite centaine dans la meme minute c possible... c que ca commence à faire ...

C surtout Yahoo qui s'énervait y'a pas longtemps

[takeiteasy]

Yahoo a fait exploser le record du nombre d'utilisateurs en ligne sur mon forum...

[HawkEye]

Le bot de Y! ne s'appelle pas "Slurp" pour rien hein

[julienr]

Yahoo a fait exploser le record du nombre d'utilisateurs en ligne sur mon forum...

il vient pas toujours avec la même ip ?
je veux dire, il te bombarde avec des ip différentes à chaque get ?

[amri-referencement]

Bonjour a tous.

Je subit depuis 15 semaines un harcelement des moteurs de recherche sur mon site, qui provoque une surchage du server, voir a le planter . Ces moteurs son : google, msn, ...
Je sais qu'avec le fichier "robot.txt" on peut l'imiter l'acces difinif a certain repertoire du site a ces moteurs .

Mais peut-on limiter l'acces de fasson partielle dans le temps afin que les moteurs reviennent regullieremement indexer les pages du site avec un plus grande periode.


Merci pour vos reponses

Bonjour,

C'est génial. Si je comprends bien, les robots passent et repassent de manière incéssante ?

C'est le monde à l'envers là.

Nan, je blague, je peux comprendre que cela t'enuie, si çà plante ton site.

A bientôt sur WRI

Fanny AMRI

[finstreet]

Yahoo a fait exploser le record du nombre d'utilisateurs en ligne sur mon forum...

il vient pas toujours avec la même ip ?
je veux dire, il te bombarde avec des ip différentes à chaque get ?

y'a une partie de l'adresse IP identique mais oui il vient avec énormément d'IP différente

[takeiteasy]

Oui les IP sont différentes.

[julienr]

je confirme !
à l'heure actuelle je suis aussi victime du harcelement de yahoo à raison d'une page toute les 10 secondes !

74.6.25.155 - - [12/Jul/2007:20:51:47 +0200] "GET HTTP/1.0" 200 7010 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.26.212 - - [12/Jul/2007:20:51:50 +0200] "GET HTTP/1.0" 404 482 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.25.48 - - [12/Jul/2007:20:51:55 +0200] "GET HTTP/1.0" 200 4431 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.23.225 - - [12/Jul/2007:20:51:58 +0200] "GET HTTP/1.0" 200 9014 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.27.33 - - [12/Jul/2007:20:51:58 +0200] "GET HTTP/1.0" 200 4176 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.26.230 - - [12/Jul/2007:20:52:08 +0200] "GET HTTP/1.0" 200 5905 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.26.49 - - [12/Jul/2007:20:52:29 +0200] "GET HTTP/1.0" 200 3831 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

en revanche mon load se porte très bien !

[darkjukka]

Il vient aussi de me crawler 90 pages en 3 minutes, c'est impressionnant ^^

Pas de soucis pour mon serveur en tout cas

[julienr]

qu'est ce qui se passe chez yahoo, ils ont achetés des nouveaux serveurs ?

[darkjukka]

En tout cas si ça résulte sur quelque chose de positif on ne va pas se plaindre !

[frenchhorn]

Code: Tout sélectionner


<meta name="revisit-after" content="1 day" />


je croyais que cette meta ne servait a rien...