VoilaBot BETA 1.2

[zeetv75]

User-agent: VoilaBot

[cthierry]

Estce que c'est la bonne syntaxe car il est en train de me mettre mon dédié dans le rouge;

Je sais le post date un peu mais c'est la première fois que je le vois aussi véloce et du coup mes sites hébergés (clients) lagguent sévère!

[Spoiler]

Idem, attention, il a changé de nom : VoilaBotCollector BETA 0.1

Saloprie va !!

[raljx]

mini déterrage (1 an ca va) de ce fil suite aux agressions de nouveau présentent de ce robot
avec 150 / 180 connexions

Il a pas changé de nom depuis ou il a d'autres noms ?

User-agent: VoilaBot
User-agent: VoilaBotCollector BETA 0.1

Puis lui aussi quelle plaie : b3091037.crawl.yahoo.net

[cthierry]

Les ip a botter en touche:
193.252.118.173
193.252.118.174
193.252.118.175
193.252.118.176
193.252.149.13
193.252.149.14
193.252.149.15
193.252.149.16
81.52.143.15
81.52.143.16
81.52.143.26
81.52.143.29
81.52.143.30
81.52.143.31
81.52.143.32
81.52.143.33
81.52.143.34
81.52.143.35
81.52.143.36
81.52.143.37

[zeetv75]

je remonte ce topic car j'ai de nouveau des probl avec le bot voila qui attaque mes serveurs avec 10 ip différentes.

je peux bien sûr les bloquer via iptables mais autant qu'il indexe et là, je rencontre un autre problème que je n'arrive pas à résoudre ...

Voila cherche sur l'un de mes sites des url au format :

http://www.monsite.com/../../dossier/xxx.htm
http://www.monsite.com/../dossier/xxx.htm

au lieu de :
http://www.monsite.com/dossier/xxx.htm

j'ai tenté un rewrite dans mon htaccess, rewrite qui fonctionne parfaitement avec firefox mais toujours pas avec Voila qui génère une erreur 400.

je précise que toutes mes urls sur mon site sont complètes (http://www.monsite.com/dossier/xxx.htm, http://www.monsite.com/dossier/yyy.htm) et non relatives.

le problème est que les pages existent, mais pas sous ces urls.

Donc mon rewrite :
RewriteRule ^/../dossier/(.*).htm$ /dossier/$3.htm [L,R=301]
RewriteRule ^/../../dossier/(.*).htm$ /dossier/$4.htm [L,R=301]

Et j'insiste sur le fait que ces règles fonctionnent avec mon navigateur.

Car tant qu'à faire, autant qu'il trouve les bonnes pages.

Any Idea les pros ?
merci à tous.

[medium69]

J'ai un peu les même problèmes... Il me génère des quantités monstrueuses de 404.

Depuis ce WE, j'ai radicalement changé les choses pour ce vilain robot qui veut visiter des pages que lui seul connaît !

Dans ma page d'erreur personnalisée, j'ai mis cela :

Code: Tout sélectionner

$num_erreur = $_SERVER['REDIRECT_STATUS']
$navigateur  = $_SERVER['HTTP_USER_AGENT']

// On redirige par défaut certaines 404
if ($num_erreur == 404 && $navigateur == 'Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1) VoilaBot BETA 1.2 (support.voilabot@orange-ft') {
   header ('HTTP/1.1 301 Moved Permanently');
   header('Location: http://www.science-et-vie.net/');
   exit;
}

Maintenant, il est content... Il ne trouvera jamais plus aucune 404 sur mon site et moi, je ne passerais plus des heures à modifier mon htaccess pour des pages que lui seul veut lire.