VoilaBot BETA 1.2 me crée des erreurs 404

[biscuit]

Salut à toutes/tous,

Depuis quelques temps j'ai le bot "VoilaBot BETA 1.2" qui arrive sur des pages inexistantes de mon site. J'ai cherché partout où je pouvais, et je ne trouve aucun lien pointant vers ces pages (ce sont des noms totalement différent, pas simplement des "erreurs de frappe"). Googlebot, pour ne citer que lui, n'est jamais arrivé sur les pages en question.

Est-ce que vous avez peu constater ça ?

[bilos]

je ne comprend pas ! les pages d'erreur 404 sont générées dynamiquement ?
tu arrive comme même à les localiser ?

il faut que tu procède à (redirection ou Robots.txt)

et puis c'est ton outil de tracking qui te dit que c'est VoilaBot non ?

Donc, il te révèle aussi la source du lien ?(peut être que c'est de l'extérieur de ton site "vieux référencement" )


Bonne chance

[HawkEye]

Google et Yahoo (surtout yahoo) font pareil: ça leur permet de savoir si tu génère du contenu "on the fly".

[Leonick]

sinon, je viens de m'apercevoir que voilabot ne suivait pas les instruction de robots.txt. J'avais bloqué tous les robots pour tous les fichiers sur un nouveau site et v'la t'y pas que voila pointe son nez en crawlant la page d'accueil.

[biscuit]

En fait j'ai une page d'erreur qui retourne une 404, affiche le plan du site et m'envois un mail pour me signaler l'erreur. Le referer est toujours vide... et cela me le fait uniquement avec voila, jamais eu de rapport avec google ou yahoo.

Voilà cherche des pages genre "dummy.html" ou "ct.html"...

[BobbySixKiller]

+1 de voilà j'ai en provenance de voilà
/cpanel_files/frame_head.html
home.php avec des variables à la con
pp.php

et un curieux truc qui ressemble à de l'injection pourrave
1=1http://www.usiauctions.biz/uploaded/id.txt

puis googlebot semble parfois avoir du mal avec les liens absolus, et les base href.. pas la peine

En précisant que ces erreur sont tjrs reprises par le robot alexa ia archiver ..

Le mieux est évidemment d'envoyer le header 404 not found et ne pas abuser sur les redirections à outrance ou ne pas créer des pages d'indexation à outrance "on the fly", c'est très dommageable

[BobbySixKiller]

+ la liste est super longue, voilà est un boulet ..
frame.php?title=Flash%20Memory%20Toolkit%201.2%20Pro%20-%20Thinstalled%20port

[Voila.fr]

Bonjour,

Problématique 1 : VoilaBot crée des erreurs 404 en générant des urls qui n'existent pas
Ceci etait un bug (une fonction de ré-écriture des URL absolues) et a été corrigé.

Problématique 2 : Voila ne respecte pas les instructions figurant dans les Robots.txt
Voila respecte en partie les instructions figurant dans les Robots.txt (il respecte les autorisations/interdictions de collecte des différentes parties du site web, etc...), mais n'en respecte pas certaines parties (par exemple le crawl delay). Nous sommes en train de travailler à la mise en conformité de notre robot (mais certaines modifications sont impactantes sur notre architecture et demandent du temps / des moyens).

Merci !

[webzinemaker]

Personellement je n'arrive pas a comprendre comment ce robot invente ces URL:

VoilaBot BETA 1.2 (http://www.voila.com/)
action=article&numero=1194&action=syndication?action=forum&subaction=sujet&id_chambre=2973?action=forum&subaction=sujet&id_chambr

Puis :
action=article&numero=1194&action=syndication?action=annonce&id_categorie=1741?preaction=pub&id_pub=15137?action=rubrique&id_rubr

ou encore :
action=article&numero=1194&action=plan?action=boutique&=

etc...

Si quelqu'un peut nous aider

[Leonick]

voilà est tellement habitué à avoir du spam dans ses SERP que quand il n'en trouve pas, il en invente

[rip_pit]

en regardant les logs de mon site, je vois que j'ai des requetes sur des urls bidons qui amene des 404 en pagaille.
dans mes logs j'ai pu deceler que ca provenait de l'IP 193.252.149.15, qui intitulée "VoilaBot BETA 1.2".

J'ai cherché sur le net, en passant par ce post, mais je n'ai pas trouvé de solution ici. Alors je poste celle que j'ai trouvé ailleurs afin de bloquer:

Mettre ceci dans le fichier robots.txt:

Code: Tout sélectionner

User-agent: VoilaBot
Disallow: /

et pour interdire totalement l'acces au bot (meme au fichier robots.txt) le bloquer via un .htaccess :

Code: Tout sélectionner

<Limit GET PUT POST>
SetEnvIfNoCase User-Agent "VoilaBot BETA 1.2" bad_bot
order allow,deny
deny from env=bad_bot
</Limit>

Pour finir, voici 4 IP relevées (pas par moi) comme étant celle du bot:

Code: Tout sélectionner

81.52.143.16
193.252.149.16
193.252.149.15
81.52.143.15

src des infos: http://www.referencement-fr.com/blog/le ... porte-quoi

Voilà, j'espere que ca pourra en aider certains en s'en en débarrasser