Nos amis les bots

[kuvett]

J'utilise Webalizer pour mes stats (de série en mutualisé chez Amen), et je peine un peu pour identifier les différents noms d'hôtes des bots qui viennent me faire un petit coucou.

- Comment les identifier ? (bots GG, Yahoo, Voila, AOL...)
- Pourquoi vois je quelquefois des adresses IP se connecter, d'autres fois des trucs du type abordeaus-chateaumescouilles-"IP"-proxad.blabla ?
- C'est qui ce lui la : ng1.exabot.com ?

[e-kiwi]

t as installé robotstats ?

[TOMHTML]

Y a-t'il un substitut à Robotstats ?
Parce que ça fonctionne avec php, et tous les sites ne sont pas en php...

[kuvett]

t as installé robotstats ?

'ffectiv'ment, ca serait le plus simple. et pour cette question ?

Pourquoi vois je quelquefois des adresses IP se connecter, d'autres fois des trucs du type abordeaus-chateaumescouilles-"IP"-proxad.blabla ?

qqun a une reponse ?

[kuvett]

mmmh, ya un marqueur, dans robotstats. Pas envie de me taper toute mes pages, je fais ca sur des sites pro.

ya rien de basé sur les fichiers log ? par rapport aux stats, je compte rapatrier mes logs une fois par semaine, et analyser en offline via AWStats. Ya pas un outil qui me ferait la meme chose sur les fichiers log ? moins complet, vu que RS "trace" les robots, mais au moins leurs noms et meur frequence de visite. apres, les pages visitees, sur les logs, je sais pas si c'est possible.

[tom_pascal]

J'ai bien une réponse courte à te proposer qui fonctionne bien, mais je ne sais pas si elle va te satisfaire :

grep, sed, wc ?

et éventuellement cygwin si t'es pas sur un vrai système d'exploitation

[kuvett]

J'ai bien une réponse courte à te proposer qui fonctionne bien, mais je ne sais pas si elle va te satisfaire :

grep, sed, wc ?

et éventuellement cygwin si t'es pas sur un vrai système d'exploitation

Un décodeur, quelqu'un ?

[niceunef]

En gros: chercher dans le fichier log (grep, etc... sont des commandes linux de filtrage genre grep tsoin fichier.log ne te donnera que les lignes contenant tsoin).
Pour les IPs, si elles ont un nom (meme pourri quand c'est des adresses de FAI courants), elles apparaissent avec ce nom, et sinon ben juste l'adresse IP.
Pour Googlebot, il y a 2 séries d'adresses IP en 64.zzz et 66.zzz (de tete je ne sais plus, une recherche dans le forum pourrait t'en dire plus) et normalement (?) un user-agent contenant le mot Googlebot (donc un petit grep pourrait servir).
Sinon, il y a des logiciels de stats qui se basent sur l'analyse des logs.
Exabot: voir dans le forum "autres moteurs de recherche".

[kuvett]

En gros: chercher dans le fichier log (grep, etc... sont des commandes linux de filtrage genre grep tsoin fichier.log ne te donnera que les lignes contenant tsoin).
Pour les IPs, si elles ont un nom (meme pourri quand c'est des adresses de FAI courants), elles apparaissent avec ce nom, et sinon ben juste l'adresse IP.
Pour Googlebot, il y a 2 séries d'adresses IP en 64.zzz et 66.zzz (de tete je ne sais plus, une recherche dans le forum pourrait t'en dire plus) et normalement (?) un user-agent contenant le mot Googlebot (donc un petit grep pourrait servir).
Sinon, il y a des logiciels de stats qui se basent sur l'analyse des logs.
Exabot: voir dans le forum "autres moteurs de recherche".

Ouf ! Merci !