Unknown robot (identified by 'crawl')

[Vld44]

Salut,

J'ai ce bot qui me pompe beaucoup de bande passante, identifié comme tel par AWStats.
Savez-vous ce que c'est ?

Merci

[jeanluc]

Difficile de répondre. Cela veut dire que AWStats voit un bot qui a "crawl" dans son user agent, mais que ce bot n'est pas dans sa database des robots connus.

Sur un site, j'ai "WebAlta Crawler/2.0 (http://www.webalta.net/ru/about_webmaster.html) (Windows; U; Windows NT 5.1; ru-RU)". Pas sûr que ce soit le même chez toi...

Jean-Luc

[Vld44]

pourquoi chez toi aurait-il un nom complet et pas chez moi ?

[jeanluc]

Le nom complet que j'ai indiqué, je l'ai trouvé moi-même en cherchant dans le fichier log. Ce n'est pas AWStats qui me l'a donné. Rien ne dit que c'est le même robot chez toi.

Jean-Luc

[Benoit1]

Salut, je suis chez hosteur avec awstats, depuis maintenant plus de 4 ans que j'observe les crawls de ce bot identifié comme "Unknown robot (identified by 'crawl')", je pense pouvoir conclure qu'il s'agit de GG images, ses crawls profonds correspondent généralement avec des màj de la base image de GG dans le mois qui suit.

J'ai d'ailleur l'impossibilité de configurer awstas pour régler les IP. En effet je peux aussi voir dans mes stats, des IP de data centers de GG comptées comme visites...