WRInaute occasionnel
Depuis quelques jours un nouveau bot passe me voir :
Je commence à m'y perdre, quelqu'un peut-il m'indiquer la fonction de celui-ci, et plus globalement le rôle de tous les différents crawlers de Yahoo ?
Code:
shop-gw.sac.overture.com - - [06/Mar/2004:11:52:31 +0100] "GET /xxxx HTTP/1.0" 200 10727 "-" "Yahoo-VerticalCrawler-FormerWebCrawler/3.9 crawler at trd dot overture dot com; http://www.alltheweb.com/help/webmaster/crawler"
shop-gw.sac.overture.com - - [06/Mar/2004:11:52:43 +0100] "GET /yyyy HTTP/1.0" 200 10981 "-" "Yahoo-VerticalCrawler-FormerWebCrawler/3.9 crawler at trd dot overture dot com; http://www.alltheweb.com/help/webmaster/crawler"
shop-gw.sac.overture.com - - [06/Mar/2004:11:52:56 +0100] "GET /zzzz HTTP/1.0" 200 10865 "-" "Yahoo-VerticalCrawler-FormerWebCrawler/3.9 crawler at trd dot overture dot com; http://www.alltheweb.com/help/webmaster/crawler"
Je commence à m'y perdre, quelqu'un peut-il m'indiquer la fonction de celui-ci, et plus globalement le rôle de tous les différents crawlers de Yahoo ?