Mon logiciel perso d'analyse de logs

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Mon logiciel perso d'analyse de logs

Message le Mar Oct 21, 2014 20:14

Bonsoir,

Et voilà je me décide à demander au plus grand nombre si mon logiciel personnel leur serait utile.

Mais qu'est-ce qu'il fait? Le café? non, mais il en a fallu pour développer le moteur d'analyse.

Oui, il analyse les logs de connexion à mon site. Mon hébergeur fournit des logs pour chaque journée, logs provenant d'un serveur http Appache.

L'utilitaire décortique les logs.

Premier intérêt basé sur 5 méthodes il différencie les visites des robots et des humains.

Il insère dans une BDD (base de donnée) les informations suivantes pour un visiteur humain:

l'adresse IP de la visite, la date, l'heure, le nom de domaine du site, la page demandée, le referrer, l'OS, le navigateur, la langue.

Pour les robots: Rien étant donné que je m'y suis moins intéressé. Mais je pense insérer la date, l'heure la page, le code de la page (détection des erreurs) , le nom du robot, son IP, l'OS et navigateur.

Vous allez me dire mes pourquoi il c'est fait cette moulinette?

J'ai un fort taux de rebond et si je mets analytics je me ferais surement sanctionné. Et puis j'aime coder quand je trouve un problème à résoudre. Enfin je suis libre de croiser les informations sous tous les angles.

Et là vous vous dites 'où en est-il de se projet?"

Le moteur d'analyse est fonctionnel. J'ai une interface utilisateur pauvres pour sélectionner les logs à analyser. C'est en fait une IHM de débug du projet.

Donc 2 questions:
-Ce projet vous intéresse?
-Les requêtes SQL ne vous font pas peur, vous vous contenterez de sa version actuelle pour le tester?

Précision: Il est gratuit, sans licence ni engagements de ma part, vous utiliserez en l'état.

IL m'a été d'une grande aide en 2010 pour optimiser ma fréquentation, mais avec 3 enfants depuis je n'ai pas trop avancer sur l'IHM.

Et dans l'avenir?

Je réfléchis à une IHM Dashboard de référencement: Taux de rebond, Nombre de visiteurs par pages. Nombre de pages par visiteur. Tout ceci: sur toute la période, sur une année, sur un moi ou pour une sélection.

Qui sait peut être une version d'analyse Oneshot : Analyse d'un fichier de log seul ou un groupe juste pour avoir ses informations. Comme une instantané sur une période.


Madrileño
Madrileño
Madrileño
 
Messages: 37577
Enregistré le: 7 Juil 2004

Re: Mon logiciel perso d'analyse de logs

Message le Dim Oct 26, 2014 16:47

Bonjour,

Cela semble intéressant, pourquoi ne pas créer un projet sur GitHub pour faire avancer le projet, c'est une idée.

Cordialement.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Jeu Oct 30, 2014 8:00

Merci Madrileno,

Pour ce qui est de GItHub, je m'interrogeai. Le principal problème est la licence CreativeCommon ou GPL.

Alors une requête SQL et voilà les statistiques: 350 visiteurs unique par moi sauf pour Janvier, Février, Mars ou j'ai moins de 20 visites!

Ensuite, je pense de plus en plus à une version pour visualiser un log (ou plusieurs) sans forcément insérer dans une BDD. Pour analyser une journée particulière ou un ensemble de journée.

Enfin le moteur actuel pourrait aussi servir à transformer les logs en fichier XML pour que chaque utilisateur créer ses rapports avec tout outil gérant XML.


f_trt
WRInaute passionné
WRInaute passionné
 
Messages: 1156
Enregistré le: 17 Sep 2005

Re: Mon logiciel perso d'analyse de logs

Message le Jeu Oct 30, 2014 9:02

Caine_DVP a écrit:
Pour ce qui est de GItHub, je m'interrogeai. Le principal problème est la licence CreativeCommon ou GPL.



Quel problème svp ?

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Lun Nov 03, 2014 13:00

Je réutilise 80% de mes sources de projet à projet.

Pour l'instant j'ai stoppé toute activité non salarié mais qui sait dans quelques années.

Donc je veux conserver le droit d'utiliser mes sources même dans du logiciel non open-source.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Lun Nov 03, 2014 13:07

Tient je viens de trouver une requête intéressante et surtout le résultat:

les mois Janvier,Février et mars j'ai 20 visiteurs uniques mais le reste du temps, 350 visiteurs uniques:)

Pas mal cette année.

Pour le logiciel, je commence à penser à une suite:
1/Mode ligne de commande: Extraction des informations des logs et enregistrement dans une fichier de sortie XML
2/Mode ONelog: visualiser log par log soit une table avec les informations, soit même n tableau de bord
3/Mode Statistiques: Parser tous les logs et enregistrement dans une base de donnée, avec tableau de bord, production de rapports.

Pour GitHub: J'y songerai plus sérieusement quand le projet sera bien conceptualisé.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Ven Déc 12, 2014 8:00

Bonjour,

J'ai mis en ligne le début de la description du logiciel.

[url="http://www.creationlogiciel.net/WebLogAnalyzer.html"]WebLogAnalyzer[/url]

Je ferai vivre la page au fur et à mesure,

N'hésitez pas à venir sur mon profil GG+ pour faire vos commentaires.

Bon WE pour bientôt.

salva
WRInaute accro
WRInaute accro
 
Messages: 4559
Enregistré le: 16 Avr 2006

Re: Mon logiciel perso d'analyse de logs

Message le Ven Déc 12, 2014 9:47

Caine_DVP a écrit:Ensuite, je pense de plus en plus à une version pour visualiser un log (ou plusieurs) sans forcément insérer dans une BDD. Pour analyser une journée particulière ou un ensemble de journée.
Bonjour,

Pour ma part, c'est ce point précis qui a retenu mon attention.

Tu as une idée de date pour une première mouture ?


Madrileño
Madrileño
Madrileño
 
Messages: 37577
Enregistré le: 7 Juil 2004

Re: Mon logiciel perso d'analyse de logs

Message le Dim Déc 14, 2014 19:37

Bonjour,

Merci pour la mise à jour du sujet.
salva a écrit:Tu as une idée de date pour une première mouture ?

+1, merci d'avance.

Cordialement.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Lun Déc 15, 2014 15:26

Bonjour à vous deux,

La version actuelle permet déjà de visualiser le log sous forme de table MASI:
-L'IHM est moche
-Parfois quelque bugs lié à des exceptions dans la forme du log.

Il suffit de ne pas utiliser "insertion massive". Sinon, début 2015 j'espère finaliser quelque chose de sympathique.


Madrileño
Madrileño
Madrileño
 
Messages: 37577
Enregistré le: 7 Juil 2004

Re: Mon logiciel perso d'analyse de logs

Message le Sam Déc 20, 2014 21:12

Merci pour l'information. :)


zeb
WRInaute accro
WRInaute accro
 
Messages: 13572
Enregistré le: 5 Déc 2004

Re: Mon logiciel perso d'analyse de logs

Message le Sam Déc 20, 2014 22:44

hors sujet > c'est toi ça -http://www.like-rank.com/search/blog ? si oui ton nuage de tag SVG tu fait comment ? c'est sympa ce truc.


Madrileño
Madrileño
Madrileño
 
Messages: 37577
Enregistré le: 7 Juil 2004

Re: Mon logiciel perso d'analyse de logs

Message le Sam Déc 20, 2014 23:22

Bonjour,

C'est de Nifrou.

Cordialement.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mar Déc 23, 2014 9:00

[HS] Le nuage de tag est une image-map réactive côté client ou serveur. Mais je ne sais pas le faire, juste que ça existe.

Pour en revenir au logiciel, dans l'analyse de log unaire, ce qui vous interesse c'est l'affichage en colonne je suppose?

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mar Jan 13, 2015 8:32

Bonjour à tous,

J'ai commencé la partie onlog. Copier coller du projet actuel pour en extraire le nécessaire au module Onelog.

En fait d'ici la semaine prochaine j'espère vous fournir une première version.

Bon côté look elle ne sera pas jolie car j'ai le grand défaut de ne pas m'intéressé au look des logiciels mais plutôt à ce qu'il font.

J'ai axé sur la décomposition dans une grille du log, ventiler en traffic vue et traffic robot pour cette première version.

Je sais vous trépignez de tester Onelog ;)

HS/ Bonne et heureuse, fructueuse année 2015.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Jeu Jan 29, 2015 13:55

Une petite capture écran:

https://plus.google.com/u/0/b/111943540565506609158/111943540565506609 ... 5506609158

J'essai de voir ce qui serait utile comme informations.


Madrileño
Madrileño
Madrileño
 
Messages: 37577
Enregistré le: 7 Juil 2004

Re: Mon logiciel perso d'analyse de logs

Message le Jeu Jan 29, 2015 18:38

Bonjour,

Un drapeau de la géolocalisation serait bien.

Cordialement.


spout
WRInaute accro
WRInaute accro
 
Messages: 8335
Enregistré le: 14 Mai 2003

Re: Mon logiciel perso d'analyse de logs

Message le Jeu Jan 29, 2015 22:15

Et on doit rapatrier les logs sous Winzobe pour les consulter ?
Avec Selenium, PhantomJS, Scrapy, etc... j'ai des doutes concernant le traffic "humain".

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Ven Jan 30, 2015 13:05

@Madrileno: Le problème de la géolocalisation c'est que les BDD d'IP gratuites sont limitées ou les API de certains sites sont limitée en nombre de connexion. Ce n'est pas évident de décortiquer une adresse IP poour avoir le pays, la région etc. Si tu as des infos sur le sujet je suis intéressé.

@Spout: Chez OVH, il faut visiblement télécharger les logs à la main, ça fait plusieurs fois que je leur demande une autre solution mais...autant pisser dans la mer.

Pour la deuxième partie à quoi correspondent les noms que tu cites? Je n'ai pas bien compris.

A part avec semalt qui va mer forcer à renforcer la ventilation humain/robot, quand j'ouvre mes logs ça correspond bien entre trafic humain et robot.

J'ai pensais mettre quelques statistiques pour le log: Nombre de visiteur unique humain, nombre de robots unique. Nombre de pages vues par visiteurs etc.

Donc la version tableau vous intéresse où vous préferez attendre que j'ai mis en place les statistiques.


jeanluc
WRInaute accro
WRInaute accro
 
Messages: 3274
Enregistré le: 3 Mai 2004

Re: Mon logiciel perso d'analyse de logs

Message le Ven Jan 30, 2015 13:29

Bonjour,

Pour la géolocalisation, il y a http://dev.maxmind.com/geoip/geoip2/geolite2/ (GeoLite2 Free Downloadable Databases).

Jean-Luc


spout
WRInaute accro
WRInaute accro
 
Messages: 8335
Enregistré le: 14 Mai 2003

Re: Mon logiciel perso d'analyse de logs

Message le Ven Jan 30, 2015 13:43

Caine_DVP a écrit:Chez OVH, il faut visiblement télécharger les logs à la main

Du coup ça serait bien de pouvoir browser le serveur (FTP, SFTP, FTPS, ...) via ton soft.

Caine_DVP a écrit:Pour la deuxième partie à quoi correspondent les noms que tu cites? Je n'ai pas bien compris.

Selenium & PhantomJS ce sont des browsers (headless) automatisables.
Scrapy c'est un web page scraper.

Et qu'un UA ça se change facilement et beaucoup de visites sont des bots, 56% d'après ce rapport: http://www.incapsula.com/blog/bot-traffic-report-2014.html

De plus, tu dois prévoir la configuration du "LogFormat" qui n'est p-e pas celui par défaut pour tout le monde:
http://httpd.apache.org/docs/current/fr/mod/mod_log_config.html#logformat
Sans oublier qu'il n'y a pas que Apache comme serveur HTTP.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Lun Fév 02, 2015 12:50

Merci pour tous ces liens.

Pour rapatrier les logs automatiquement j'ai aussi une autre idée mais à tester. Je ne pense pas que ce soit la priorité.

En effet en analyse "OnleLog" le référenceur/Webmasteur essai de focaliser sur une journée particulière.

Je vais mettre en ligne la version actuelle, Comme je l'ai expliqué elle correspond à mes besoins. Dans un premier temps j'espère que cette version vous sera quand même utile en l'état.

J'ai amélioré ce WE l'extraction du nom de robots.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Ven Fév 06, 2015 13:00

VOici vos demandes et mon estimation d'inpact:

    -@Madrileno:
      Géolocalisation des adresses IP=> Vérifier propagation de la licence de la base fournie par @Jean-luc. Voir comment on retrouve une IP la dedans. Co^té intégration dans le soft actuel ça ne semble pas difificile. En cours de recherche.
    -@Spout:
      Automatisation de la récupération des logs => Vérifier dans le détail la solution que tu proposes mais dans l'absolu ce genre de solution est difficile à intégrer. Je pense aussi à un logiciel dont j'ai oublié le nom qui rapattrie depuis une URL donner en paramètre. En cours d'étude sur la faisabilité et la solution à retenir.
    -@Spout:
      Adaptation au log format=> Là très difficile, revoir la conception du parser voir coder dans un autre langage. Non traité pour l'instant.


fobec
WRInaute discret
WRInaute discret
 
Messages: 200
Enregistré le: 10 Mai 2005

Re: Mon logiciel perso d'analyse de logs

Message le Lun Fév 09, 2015 10:08

Pour la localisation des adresses ip, je peux te proposer des bases de données,
A priori, pour le logiciel d'analyse de log une version light qui comprend le code pays de l'ip est suffisant, 2 versions existent:
- csv pour les ip V4 et ip V6, temps de réponse en lecture env 100ms,
- binaire compatible ipV4 et ipV6, temps de réponse en lecture 1 ms
- api pour les petits volumes <1000 requetes / heure

Y a pas grand chose à intégrer à ton projet, 2-3 lignes de code.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Lun Fév 09, 2015 12:59

Bonjour et Merci Fobec,

Les utilisateurs m'ont déjà fournis un lien vers une BDD gratuite et à priori libre d'adresse IP.

Votre proposition est-elle gratuite et sous quelle licence?

Et à priori je viens de comprendre comment rechercher une adresse IP dans la BDD.


fobec
WRInaute discret
WRInaute discret
 
Messages: 200
Enregistré le: 10 Mai 2005

Re: Mon logiciel perso d'analyse de logs

Message le Lun Fév 09, 2015 16:39

Oui Maxmind est un bon produit, de toute façon, il existe peu de bases de localisation d'ip ouvert au public, la plupart des sites de localisation se basent sur la version gratuite de Maxmind.

Par contre, pour ton projet de quelles infos as-tu besoin ?
- localisation par pays,
- localisation poussée (précision ville) + nom du fai,
- whois de l'adresse ip.

Il n'y a pas vraiment de licence, pour des volumes raisonnables, les 3 api et les versions à installer sont gratuites.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Jeu Fév 19, 2015 13:14

C'est les utilisateur de ce post qui en ont besoin. Je pense que localiser le pays suffira dans un premier temps.

Bon j'ai découvert un outil super sous windows BITSADMIN.

Je réussi à rapatrier un fichier depuis un autre PC et avec mot de passe dans un Intranet, je réussit à rapatrier un fichier depuis le FTP anonyme d'orange mais impossible de rapatrier un logs chez OVH. J'ai ouvert une demande support mais avec un offre start10m...je vais attendre u moment.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Jeu Fév 19, 2015 23:21

J'ai avancé ce soir sur la Géolocalisation:
- Création scriots Sql des bases correspondant à GeoLite2
- Création de la base et des tables
-Après modifications de fichiers de Geolite import par la ligne de commande dans la base.

C'est un bon début, il me reste à testre l'algorithme auquel j'ai pensais pour géolocaliser les IP et ajout à l'IHM.

Bientôt si mes jumeaux dorment le soir:)

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mer Avr 29, 2015 6:09

Je vous ai laissé sans nouvelle,

Excusez moi. Mais je n'ai pas eu le temps de reprendre le developpement avant hier soir.

Intégration de la classe objet qui gère la BDD Geolite. Bientôt les premiers tests de l'algorithme.

A bientôt.


cedric_g
WRInaute accro
WRInaute accro
 
Messages: 3620
Enregistré le: 18 Jan 2006

Re: Mon logiciel perso d'analyse de logs

Message le Mer Avr 29, 2015 9:26

Bonjour

Juste pour ma culture, tu développes avec quel langage ?


Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :