Des crawlers un peu trop gourmand

[ACR Ing]

Salut,

J'ai mon site qui est out depuis hier. Bon c'est vrai que j'ai une augmentation de trafic mais il a déjà tenu 13000 visiteurs unique / j et là j'en suis à 5000. Pour info, ce site avait subit une pénalité de la part de Google et il commence maintenant à redécoller suite à de nombreuses modifications. Bref, ce n'est pas le sujet du message. C'est la base de données qui est mal menée alors qu'il y a un système de cache. Je suis allé voir les logs et à priori, ce serait le bots de voila qui crawl comme un cinglé mon site (et les autres bots sont bien présents aussi). Avez-vous des astuces pour réguler le trafic des bots sur vos sites ?

D'avance merci

Bertrand

[ACR Ing]

C'est effectivement VoilaBot BETA 1.2 qui perd un peu les pédales, il semblerait

[UsagiYojimbo]

Tu peux le bloquer le temps qu'il se calme (vu l'apport de visite de Voilà, ça devrait pas changer grand chose) :

Code: Tout sélectionner

RewriteCond %{HTTP_USER_AGENT} VoilaBot
RewriteRule .* - [F,L]


[ACR Ing]

Merci pour le code, j'étais justement en train de regarder comment le bloquer.

[ACR Ing]

D'une manière générale, vous avez une politique de gestion des bots ou pas ? Blocage de certains bots qui ne servent à rien, etc ...

[petitchevalroux]

De manière générale j'utilise un script qui bloque le visiteur/bot au bout d'un certain nombre de requêtes par seconde http://sourceforge.net/projects/apcanticrawler/ bon c'est basé sur APC donc il faut auparavant l'installer

[ACR Ing]

Je suis sur un mutualisé chez OVH donc ça va être difficile d'installer APC

[petitchevalroux]

Arf tu peux faire un peux le même truc en utilisant des fichiers pour stocker le nombre de requetes par seconde par IP C'est GPL donc si tu veux t'en inspirer y a pas de problème