Comment se debarrasser de VoilaBot BETA1.2 ?

[alaincassis]

Bonjour à tous ,

j'ai un de mes sites sur un mutu chez Sivit et il est de plus en plus souvent suspendu pour dépassement de charge.

En regardant les logs, il y a a chaque fois un nombre incroyable de requetes de VoilaBot BETA1.2 avec une dizaine d'IP différentes.

Comme vu sur le forum WRI, j'ai mis un robot.txt, avec :
User-agent: VoilaBot
Disallow: /
User-agent: VoilaBot BETA 1.2
Disallow: /

puis, j'ai mis, en plus dans l'htaccess, des lignes comme :

deny from 193.252.149.15
deny from 193.252.149.16
deny from 81.52.143.15
deny from 81.52.143.16
Etc... pour les IP que j'ai répérées.

Mais je continue d'avoir des visites de ce Bot sur les IP indiquées. Ai-je fait une erreur de syntaxe dans l'htaccess ?

Il y-a-t-il des solutions plus radicales ( pour un mutu) de ce débarasser de cet VoilaBot ?

Merci d'avance

[forummp3]

ben si tu t'y connais un peu en php, tu recupere le user agent en ftp, tu fait un preg_match pour voir s'il y a "voilabot" dans le useragent, si c'est le cas, tu fait exit(); , sinon tu execute ton script, comme ca tu le banni un bonne foi pour toute (sauf s'il change de useragent ...)

[alaincassis]

ben si tu t'y connais un peu en php, tu recupere le user agent en ftp, tu fait un preg_match pour voir s'il y a "voilabot" dans le useragent, si c'est le cas, tu fait exit(); , sinon tu execute ton script, comme ca tu le banni un bonne foi pour toute (sauf s'il change de useragent ...)

Merci, mais là je n'ai rien compris !

C'est ça un user agent ? :

81.52.143.37 1039 0 - [22/Jun/2009:10:16:49 +0200] "GET /ville/article-v-Cassis-vil_id-4238-dep_num-13.html HTTP/1.1" 403 339 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1) VoilaBot BETA 1.2 (support.voilabot@orange-ftgroup.com)"

Et ensuite ?

[forummp3]

ben le user agent, c'est le nom du bot, tu le donne meme en exemple de ce que tu as mis dans ton robot.txt.

Ensuite faut s'y connaitre un peu en php:

pour recuperer le user agent:

http://php.about.com/od/learnphp/p/http_user_agent.htm

et preg_match pour trouver la variabl "voilabot" dans le user agent:

http://fr3.php.net/preg_match

[Leonick]

Il fait ch.. le robot voila, car il invente des url et même avec un

Code: Tout sélectionner

User-agent: *
Disallow: /

dans le robots.txt et aucun User-agent:voilabot il se permet quand même de crawler des url qu'il invente de lui même

[5_legs]

Il fait ch.. le robot voila, car il invente des url et même avec un

Code: Tout sélectionner

User-agent: *
Disallow: /

dans le robots.txt et aucun User-agent:voilabot il se permet quand même de crawler des url qu'il invente de lui même

Parlerais-tu d'url incomplètes ? style auxquelles il manque la fin et qui crée des 404 à tire la Rigaud ?

[Leonick]

non, par exemple il me rajoute des /neuf/cgi-bin/services/defiscalisation/sendParams.cgi, à la fin des url ou encore /cgi-bin/pub/redir.cgi?num=195 qui, bien évidemment, n'ont jamais constitué ne serait-ce qu'une partie des url de ce site

[5_legs]

oops je comprends que tu puisses être en colère
Mais ce n'est donc pas celui que je recherche pour lui faire la peau