comment suivre et analyser les visites robots

[e-kiwi]

Bonjour,

afin de suivre le comportement des moteurs de recherche sur votre site, vaut-il mieux utiliser un analyseur de log apache type AWSTATS (il y a mieux?) ou partir sur une solution de type crawltrack.

en gros si c est kiff kiff, alors autant partir sur un analyseur de log, ca évite de devoir acheter un serveur juste pour y mettre crawltrack, mais peut-être est-ce bien moins puissant ?

merci pour vos avis

mon problème : j'ai 180.000 erreurs HTTP et 190.000 erreur "introuvable" sur le webmaster tools, et j'aimerai pouvoir corriger cela et bien contrôler que les robots ne se perdent plus dans cette fausse navigation

[jeanluc]

Bonjour,

Dans le fichier de configuration AWStats, tu ajoutes une extra section qui suit les passages de Googlebot comme expliqué ici : http://www.internetofficer.com/awstats/track-googlebot/ . Cela te donne la liste de toutes les pages crawlées par Googlebot avec la date et l'heure de la dernière visite.

Jean-Luc

[milkiway]

Pas mal pour Awstats. Je ne connaissais pas. Ici on m'a recommandé Crawltrack qui fait bien son job mais les rapports ne m'aident pas tellement (pas assez d'analyses faites par le soft).
Je le mets tout de même car il a beaucoup de fonctions intéressantes http://www.crawltrack.net/fr/download.php

[Blount]

Je viens de mettre en place le code pour awstat, et ça roule au poil.

Par contre, ce n'est que pour Google Bot, il faut mettre à la main pour inclure les autres bots. Il existe sans doute une liste quelque part.

Crawltrack inclue tous les bots par défaut ?

[milkiway]

Oui

[e-kiwi]

Pas mal pour Awstats. Je ne connaissais pas. Ici on m'a recommandé Crawltrack qui fait bien son job mais les rapports ne m'aident pas tellement (pas assez d'analyses faites par le soft).
Je le mets tout de même car il a beaucoup de fonctions intéressantes http://www.crawltrack.net/fr/download.php

je l'ai cité, mais comme dit, il me faudrait acheter un serveur pour le dédier aux collectes d'infos ... pas possible d'utiliser ça sur des sites a forts trafic

[amph37]

Crawltrack est très bon pour suivre les bot et sa base de bot est maintenue à jour. Par contre, pour les sites très crawlés, la base de donnée risque de prendre du volume très très rapidement.

[e-kiwi]

Oui, c'est ce que je dis, il crawle jusqu'à 655 945 pages par jour, donc base très vite plaine

[milkiway]

Pas mal pour Awstats. Je ne connaissais pas. Ici on m'a recommandé Crawltrack qui fait bien son job mais les rapports ne m'aident pas tellement (pas assez d'analyses faites par le soft).
Je le mets tout de même car il a beaucoup de fonctions intéressantes http://www.crawltrack.net/fr/download.php

je l'ai cité, mais comme dit, il me faudrait acheter un serveur pour le dédier aux collectes d'infos ... pas possible d'utiliser ça sur des sites a forts trafic

Pardon je n'avais pas vu.
Bien évidemment dans l'hypothèse d'un site à fort trafic il faut passer par un analyseur de log type Awstats, je ne pense pas que tu puisses faire mieux et plus light puisqu'il se base sur des infos enregistrées de toutes façons.
Et puis ce sera plus fiable que de se baser sur un logiciel un peu inconnu installé sur un dédié qui peut tomber en rade ou provoquer des lenteurs.

[e-kiwi]

Oui, mais existe-t-il mieux qu'AWstats ? certes il est plus complet que webalizer, mais il y a peu être plus complet que lui, c'était ma question, vu que j'y connais rien là dedans

[anemone-clown]

Bonjour, a priori, Awstats reste le ténor dans l'analyse en direct. Il faut bien mettre à jour les fichiers, assez fréquemment, pour rester à jour par rapport aux nouveautés.

C'est awstats qui m'a permis de détecter les activités de 80legs par exemple (une version étendue américaine du Munax suédois) qui est un bot officiel mais un vrai "tueur" de serveur.