VoilaBot BETA 1.2

[metropoway]

Bonjour,

Depuis vendredi soir, nous observons une 'charge' massive et en règle de VoilaBot sur notre serveur : 3 I.P différentes et simultanées qui génèrent un max de requêtes.

Sur le principe, pas de problème... puisque c'est quand même le but de faire des sites indexables et indexés.
Là, on peut imaginer, vu le nombres de requêtes qu'il arrive à aller voir bien en profondeur du site ; Ce qui est plutôt rassurant.

Par contre, où c'est pas cool, c'est que cela augmente très considérablement la charge de nos machines au point de les saturer
On a même du modifier le robots.txt pour calmer un peu les choses momentanément.

Est-ce que quelqu'un observe la même chose sur son site en ce moment ?
Est-ce que Voilà procède à une - TRÈS GROSSE - mise à jour de sa base ?
Bref, est-ce qu'il se passe quelque chose de particuliers chez Orange / Voilà ?

Merci

[amph37]

Voilabot passe tous les jours sur mon site depuis une semaine alors qu'avant il ne passait pratiquement jamais.
Par contre, le crawl est léger (petit site aussi) et pose pas de problème de charge pour moi.

[Audiofeeline]

C'est quoi Voila ?

[Leonick]

C'est quoi Voila ?

un "petit" moteur de recherche qui ramène quand même plus de visiteurs que megablague

[caphar]

Bonjour,

Il y a quelques semaines, VoilaBot nous a saturé un dédié et a généré un nombre considérable de liens erronés sur leur base (24000 pages indexées pour un site qui doit en compter 1000 au max). La commande sur voila.fr, c'est domain:http://www.monsite.com

En surveillant les erreurs 404, j'ai découvert qu'il avait créé des tas de pages "virtuelles" type /123/456/789/123/Page au lieu de /123/Page.

A mon avis il y a un souci dans la gestion des redirections.

Est-ce qu'on peut vider le cache du moteur en effaçant toutes ces pages ? Peut-être avec robots.txt... Y'a-t-il des spécialistes de Voila dans la salle ?

[Voila.fr]

Bonjour,

Problématique 1 : Charge massive de VOILA BOT ? Que se passe t'il à Orange/Voila?

Le moteur de recherche Orange / Voila s'est donné un objectif de croissance très important cette année. Pour cela, une infrastructure conséquente a été mise en place (doublement des machines cette année) et un nouvel outil de complément a été ajouté pour palier au manque de couverture en profondeur de certains sites. La combinaison de ces deux paramètres expliquent la charge "plus importante" des robots VOILA.

Problématique 2 : VoilaBot crée des urls relatives n'existant pas
Ceci etait un bug (une fonction de ré-écriture des URL absolues) et a été corrigé.

Merci !

[SpeedAirMan]

Je trouve quand même exagéré que des robots censés indexer des sites web provoquent des surcharges entrainant ralentissement voire plantage. A quoi ça sert d'être bien référencé si le site est HS ou très difficile d'accès due à une lenteur excessive ?
Je ne parle pas de mon expérience : je n'ai pas vérifié mes sites par rapport à votre nouveau défricheur, mais au vu de ces premières remarques, ça fait peur !

De là à ce que des webmasteurs bloquent l'accès aux robots de Voila...


Voilà matière à réfléchir

[greatpatton]

Je pense qu'il s'agit d'un problème de règlage de la vitesse des bots qui a du s'embaler un peu...

Par contre vu le taux de visite actuel de voilà sur mes sites, ils peuvent y aller un moment pour le moment on dirait la "web archive"

A part ça, je ne connaissais pas la commande domain sur voilà, mais le résultat est assez amusant, sur tous mes domaines testés j'avais des résultats de type indéxation aléatoire, c'est à dire des pages complétement décorrélées entre elles ou alors y a une limite à 6 réponses

[milkiway]

Moi pas encore de crawl, j'attends. Mais si voila apporte autant de visiteurs qu'avant je ne vois pas l'intérêt de massacrer des serveurs.

[rilou]

Bonjour,

Idem, depuis 2 jours, VoilaBot nous prend la moitité de notre CPU Usage sur un serveur dédié.
Il appelle les pages en raffales et boucle sur beaucoup d'elle (surtout celle qui contienne un formulaire login/mot de passe) .
Les accès MySql ont donc explosé ...

Comme dit précédemment, il tente l'indexation d' URL soient périmés soit inexistantes.

Mis a part le bloqué au niveau du htacess, voyez-vous une autre solution ?

Ci-dessous le log du Bot :
VoilaBotCollector BETA 0.1 (http://www.voila.com/)

Il nous a fait 130 000 hits en 6h !

A+

[Topsitemaker]

Idem de mon coté,
VoilaBot nous charge un serveur dédié en période Noël, quel belle idée de faire cela maintenant...
s'il y a la moindre couille, c'est blacklistage direct.

[Remi L.]

C'est vrai que le Voilabot a des pointes d'activité assez sévères mais cela ne dure pas trop, il semble redevenir raisonnable ensuite (inférieur à Slurp en tout cas)

Il lit sans arrêt robots.txt, j'ai plus d'accès de sa part à robots.txt qu'à tous les autres fichiers réunis. Heureusement, que les autres bots ne font pas cela!

[Topsitemaker]

A croire qu'ils le font exprès
Ils ont foutu la sauce ce soir ...

et hop blacklisté au moins pour les vacances.

[Kmacleod]

et hop blacklisté au moins pour les vacances.

VoilaBot en touche

[Kijer]

bonjour,

j'ai le meme soucis, sauf qu'il me plante le serveur en error 500.

j'ai tenté un robots.txt contenant

Code: Tout sélectionner

User-agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1) VoilaBot BETA 1.2 (http://www.voila.com/)
Disallow: /

mais ca ne marche pas, ce n'est pas la bonne syntaxe ?