Exclure les robots des fichiers de log IIS

**le Jeu Jan 20, 2005 14:14**

Comment peut-on faire pour exclure des logs d'un serveur Web (en l'occurrence IIS6) les requêtes effectués par les robots ?
J'utilise LogAnalyzer du SDK IIS qui permet de faire des requêtes avec des filtres mais je ne sais pas sur quel champ des log basée ma requête pour exclure les robots.
L'objectif étant d'avoir des stats de fréquentation sans les requêtes des robots !

**le Jeu Jan 20, 2005 15:47**

Il faut mettre ton filtre sur le champ User-Agent. Une autre méthode pourrait être de commencer par extraire une liste d'adresses IP et/ou User-Agent ayant accédé à ton robots.txt, puis de les exclure de tes analyses.

Fred

**le Jeu Jan 20, 2005 15:53**

iconso a écrit:Il faut mettre ton filtre sur le champ User-Agent. Une autre méthode pourrait être de commencer par extraire une liste d'adresses IP et/ou User-Agent ayant accédé à ton robots.txt, puis de les exclure de tes analyses.

Fred

Où puis-je trouve une liste exhaustive des user-agent envoyés par les principaux robots ?

Merci

**le Jeu Jan 20, 2005 16:00**

Une liste assez complète : http://www.psychedelix.com/agents.html et http://www.robotstxt.org/wc/active/html/index.html

Les principaux : http://www.actulab.com/identification-des-robots.php (et tu as des liens vers d'autres listes)

Fred

**le Ven Jan 21, 2005 9:01**

Voici la requête que j'ai faite pour exclure les robots (certains) de mes fichiers de log IIS6 :

logparser "SELECT * FROM C:\WINDOWS\system32\LogFiles\Easimmo\W3SVC1045425633\ex0501.log TO GetAllExceptInternalAndRobots.txt WHERE INDEX_OF(cs(User-Agent) , 'Googlebot') < 0 and INDEX_OF(cs(User-Agent) , 'msnbot') < 0 and INDEX_OF(cs(User-Agent) , 'Slurp') < 0 and INDEX_OF(cs(User-Agent) , 'InnerpriseBot') < 0 and INDEX_OF(cs(User-Agent) , 'Crawl')<0 and INDEX_OF(cs(User-Agent) , 'Mediapartners-Google') < 0 and INDEX_OF(cs(User-Agent) , '+Ask+Jeeves/Teoma') < 0 and INDEX_OF(cs(User-Agent) , 'SurveyBot') < 0 and INDEX_OF(cs(User-Agent) , 'psbot') < 0 and INDEX_OF(cs(User-Agent) , 'moteur+IDF.net') < 0 and INDEX_OF(cs(User-Agent) , 'WISEnutbot') < 0 and INDEX_OF(cs(User-Agent) , 'NG/2.0') < 0 and INDEX_OF(cs(User-Agent) , 'PHP/') < 0 and INDEX_OF(cs(User-Agent) , 'libwww-perl') < 0 and INDEX_OF(cs(User-Agent) , 'Python') < 0 and sc-status <> 404 ORDER BY date, time" -o:W3C

Le SDK IIS6 est disponible à : http://www.microsoft.com/downloads/deta ... laylang=en

**le Sam Fév 25, 2006 17:45**

Bonjour,
Les robots ne sont pas obligés d'utiliser un User Agent contenant leur nom.... ils peuvent utiliser un UA vide par exemple pour tromper tout le monde
Y a t il une autre methode pour les detecter ?
Merci de votre aide
Stéphane

**le Sam Fév 25, 2006 17:59**

Pour un analyseur de fichiers log de 1ère classe, voir AWStats. Il est gratuit, il est disponible en version française et il sépare très bien les robots des visiteurs humains.

Jean-Luc

Exclure les robots des fichiers de log IIS

Exclure les robots des fichiers de log IIS

Exemple de requête avec le logparser du SDK IIS6

Formation recommandée sur ce thème :

Lectures recommandées sur ce thème :

Qui est en ligne