Useragent de yahoo bizarre

[Leonick]

Je viens de remarquer que y! utilise des useragent non explicites
Par exemple, ce matin sur un de mes sites, cela donne ça

Code: Tout sélectionner

67.195.37.93 llf320020.crawl.yahoo.net www;example.coml - - [25/Jul/2008:07:02:22 +0200] "GET /robots.txt HTTP/1.0" 200 96 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
67.195.37.93 llf320020.crawl.yahoo.net www;example.com - - [25/Jul/2008:07:02:23 +0200] "GET /mapage.html HTTP/1.0" 200 1152 "-" "Mozilla/5.0 (X11; U; Linux i686 (x86_64); en-US; rv:1.8.1.4) Gecko/20080721 BonEcho/2.0.0.4"


avec la même ip et le même host, on a 2 useragent différents. Et les ip varient au fur et à mesure de la journée
Comment peut-on tracker ces crawl sans le faire avec les ip ?

[theJB]

yep j'ai eu ça ce matin également.

Tu peux le detecter en testant la présence de "yahoo" dans le reverse du domaine.. c'est bien ça ta question?

[Leonick]

Pour le reverse, je le voyais bien, mais mais solution de tracking actuel des bot se faisant par useragent, j'aurais préféré le continuer comme cela. Tant pis
En fait, je voulais savoir pourquoi ce nouvel useragent, alors qu'ils indiquent bien un host de yahoo