VoilaBot me fatigue

[zeetv75]

cela fait un mois que VoilaBot me plante mon serveur.

j'ai du le désactiver en htaccess car ca devient n'importe quoi. C'est vraiment dommage.

Serveur BiXeon dédié, près de 4 millions de fiches à indexer (avec requêtes mysql systématiques).

Il m'attaque avec 2 ou 3 ip mais en rafale.

Résultat, je me retrouve avec un load average qui grimpe rapidement à 50 et souvent à 80 !

le robots.txt n'est TOUJOURS pas pris en compte (Crawl-delay non traité).

C'est bien beau de vouloir rattraper son retard mais si vous ne respecter pas les serveurs et les mettez à plat systématiquement, vous n'allez finalement pas indexer grand chose.

Il aurait peut-être fallu commencer par respecter le flag Crawl-delay, flag pris en compte par des moteurs nettement moins importants.

donc pour l'instant, on n'indexe plus rien chez moi.

c'est dommage

[Tilt]

Pareil, même problème ! Ton post m'a d'ailleurs aidé à en identifier l'origine.
En plus voilabot utilise des plages d'ip diverses et sans rapport, comme 193.252.149.x et 81.52.143.x. C'est bien pratique.
Il se comporte de la même manière qu'un proxy de spam monté par un ado de 13 ans au fond de la Moldavie.
Je trouve que c'est un peu des branquignoles chez FT pour une boîte de cette envergure.

Et si vous êtes moldave, je m'excuse de vous avoir comparé avec Voila : c'est insultant en effet.