Yahoo-VerticalCrawler

[Digit]

Depuis quelques jours un nouveau bot passe me voir :

Code: Tout sélectionner

shop-gw.sac.overture.com - - [06/Mar/2004:11:52:31 +0100] "GET /xxxx HTTP/1.0" 200 10727 "-" "Yahoo-VerticalCrawler-FormerWebCrawler/3.9 crawler at trd dot overture dot com; http://www.alltheweb.com/help/webmaster/crawler"
shop-gw.sac.overture.com - - [06/Mar/2004:11:52:43 +0100] "GET /yyyy HTTP/1.0" 200 10981 "-" "Yahoo-VerticalCrawler-FormerWebCrawler/3.9 crawler at trd dot overture dot com; http://www.alltheweb.com/help/webmaster/crawler"
shop-gw.sac.overture.com - - [06/Mar/2004:11:52:56 +0100] "GET /zzzz HTTP/1.0" 200 10865 "-" "Yahoo-VerticalCrawler-FormerWebCrawler/3.9 crawler at trd dot overture dot com; http://www.alltheweb.com/help/webmaster/crawler"


Je commence à m'y perdre, quelqu'un peut-il m'indiquer la fonction de celui-ci, et plus globalement le rôle de tous les différents crawlers de Yahoo ?

[PuraVida]

J'ai eu les memes et je suis un peu dans le brouillard aussi

[Digit]

Actuellement j'ai identifié :
- Yahoo-VerticalCrawler
- Yahoo-MMCrawler
- Yahoo! Slurp;
- YahooSeeker
- FAST-WebCrawler
- atw-crawler
- slurp@inktomi.com

Probablement que certains sont désuets

[WebRankInfo]

j'ai l'impression que FAST-WebCrawler et atw-crawler sont les mêmes. Voilà un user agent récemment vu dans mes logs :

Code: Tout sélectionner

FAST-WebCrawler/3.7/FirstPage (atw-crawler at fast dot no;http://fast.no/support/crawler.asp)