Mon logiciel perso d'analyse de logs

Consultez la formation au REFERENCEMENT naturel Google de WebRankInfo / Ranking Metrics

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mer Avr 29, 2015 10:33

Pour ce projet je développe initialement sous Delphi turbo edition 2006 (personnal),
j'ai migré sur Lazarus depuis milieu 2014 puisque il est impossible de trouver une version gratuite de delphi.

Si tu parles plus généralement, je dirais qu'il y a le choix parmi 32 langages de programmation ou scripting :)

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mar Mai 12, 2015 22:23

J'ai eu enfin le temps d'avancer, et quelle avancée.

Je récupère bien les lignes en fonction de l'adresse IP analysée du log. La je planche sur l'algorithme qui construit le masque en fonction de chaque CIDR pour vérifier si l'adresse IP correspond.

L'étape la plus difficile a été de reprendre un code non commenté vieux de 4 ans :) Mais ça y est j'ai compris comment j'ai conçu ma classe qui encapsule la base de donnée.

Donc d'ici peu vous aurez une version. Pas forcement complète sur la géolocalisation mais la majorité des adresses IP passeront j'espère.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mar Mai 26, 2015 20:44

Bonsoir, la géolocalisation est intégré, je commence les tests.

Un aperçu ici:
[img href="https://plus.google.com/u/0/b/111943540565506609158/111943540565506609158/posts/6B8YaXa7UiZ?pid=6153267258593948162&oid=111943540565506609158"][/img]

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mar Juin 02, 2015 12:02

Je remets le lien vers la page du projet.

http://www.creationlogiciel.net/WebLogAnalyzer.html

Et la capture:
https://plus.google.com/u/0/b/111943540565506609158/111943540565506609 ... 5506609158

PS: Les balises URL et image ne fonctionnent pas très bien où je m'y prend comme un manche ;)


zeb
WRInaute accro
WRInaute accro
 
Messages: 13572
Enregistré le: 5 Déc 2004

Re: Mon logiciel perso d'analyse de logs

Message le Mar Juin 02, 2015 12:05

Image

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mer Juin 03, 2015 11:40

Merci Zeb.

Voici le lien sur gdrive:
https://drive.google.com/file/d/0B5-H5lFU6NGERUFIRmtUOUNRd0U/view?usp=sharing

Testé sans virus à ce jour.

Vous dézippez et il y a un de mes logs à la racine.

Comme le montre la capture toutes les adresses ne sont pas localisés. En fait pour certaines ça nuirait fortement aux performances avec l'algorithme de recherche actuelle (imaginez 2^256 possibilités)

A lire vos retours.


zeb
WRInaute accro
WRInaute accro
 
Messages: 13572
Enregistré le: 5 Déc 2004

Re: Mon logiciel perso d'analyse de logs

Message le Mer Juin 03, 2015 13:15

Caine_DVP a écrit:A lire vos retours.

J'aimerais bien mais j'ai pas windows :cry:


spout
WRInaute accro
WRInaute accro
 
Messages: 8329
Enregistré le: 14 Mai 2003

Re: Mon logiciel perso d'analyse de logs

Message le Mer Juin 03, 2015 13:24

Moi j'ai Windaube mais pas Apache :mrgreen:

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mer Juin 03, 2015 13:44

Vous êtes exigent :)

Même pas pû mettre la première version et déjà demande d'ajout.

Bon pour WIndows: Ca tombe mal car j'ai utilisé des fonctions OS spécifiques de Lazarus. Je regarde l'impact des modifications.

Pour ceux qui n'ont pas appache=> Si vous fournissez des exemples de logs, je regarde l'impact.

Je ne garanti pas ma réactivité :)


zeb
WRInaute accro
WRInaute accro
 
Messages: 13572
Enregistré le: 5 Déc 2004

Re: Mon logiciel perso d'analyse de logs

Message le Mer Juin 03, 2015 17:53

Caine_DVP a écrit:Bon pour WIndows: Ca tombe mal car j'ai utilisé des fonctions OS spécifiques de Lazarus. Je regarde l'impact des modifications.

Je voulais t'en parler mais vu l'empleur possible du truc j'ai laissé pisser, mais dans le principe prévoir que ça soit compilable sur du système unix like c'est pas con car tu as forcement ça sous la main dans la plupart des environnement web.
De la des possibilité d'utilisation en ligne aussi (CGI ?)


fobec
WRInaute discret
WRInaute discret
 
Messages: 200
Enregistré le: 10 Mai 2005

Re: Mon logiciel perso d'analyse de logs

Message le Mer Juin 03, 2015 18:38

Caine_DVP a écrit:Comme le montre la capture toutes les adresses ne sont pas localisés. En fait pour certaines ça nuirait fortement aux performances avec l'algorithme de recherche actuelle (imaginez 2^256 possibilités)


A quoi corresponde 2^256 possibilités ?
Pour la geoloc, essaie d'utiliser un tri dichotomique ou un arbre binaire, la recherche d'une IP prend moins de 1 ms :wink:

Lazarus, s'agit-il du compilateur FreePascal ?
De mémoire, l'ide permettait de compiler sous différents OS y compris Linux.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mer Juin 03, 2015 21:42

Oui il s'agit de l'IDE freepascal. Il permet de compiler sous différents OS mais comme il y a eu un problème avec les fonctions d'accès disque j'ai remis les fonctions pures windows.

Je sais mais là déjà voyons si vous lui trouver une utiliré en l'état.

@Seb: Je vais voir comment compiler sous windons pour Linux et l'ampleur/Compatibilité des modifications à faire.

Le portage sous Linux/Mac, ainsi que prendre en compte d'autres formats de logs étaient un objectif plus lointain pour moi.

Je vous tient informés.

Merci de votre intérêt.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Ven Juin 12, 2015 11:45

@Zeb: J'ai lu plusieurs sujet et pour le cross-compiling ce n'est pas gagner.

Mais j'y pense il y a Wine sous linux pour émuler windows. En attendant que je m'y colle.


zeb
WRInaute accro
WRInaute accro
 
Messages: 13572
Enregistré le: 5 Déc 2004

Re: Mon logiciel perso d'analyse de logs

Message le Ven Juin 12, 2015 17:28

Caine_DVP a écrit:J'ai lu plusieurs sujet et pour le cross-compiling ce n'est pas gagner.

Cherche pas, j'ai vérifié, Lazarus est dispo sous ma distrib bref ça dois pas être compliqué de porter ton projet si tu fais pas des appel sur l'OS. Je n'ai pas pu l'installer car je n'ai pas assez de place en revanche. (putain de disque mal partitionné par le vendeur et j'ai pas pu le refaire car la machine n'était a moi a l'origine, bref je l'ai installé a l'arrache)

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mar Juin 16, 2015 7:29

@Zeb:
Oui je sais que Lazarus existe sous Linux et d'ailleurs MAc.
Je n'ai pas envie d'installer chaque OS et le cross compiling me paraît avantageux mais au final ça semble pénible.

Du coup je pars sur une machine virtuelle. D'ailleurs, tu peux me donner ta distribution linux, ensuite je téléchargerai une VM linux de la même distribution puis compilation native sous l'OS.


zeb
WRInaute accro
WRInaute accro
 
Messages: 13572
Enregistré le: 5 Déc 2004

Re: Mon logiciel perso d'analyse de logs

Message le Mar Juin 16, 2015 17:12

je travaille avec ça perso https://www.openmandriva.org/?lang=fr

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mar Juin 16, 2015 20:36

J'ai bien fait de demander sinon j'aurai pris une Ubuntu :)

Bon je télécharge une VM pour Virtualbox si ça existe.


zeb
WRInaute accro
WRInaute accro
 
Messages: 13572
Enregistré le: 5 Déc 2004

Re: Mon logiciel perso d'analyse de logs

Message le Mer Juin 17, 2015 5:59

Caine_DVP a écrit:Ubuntu :)

boeurk !

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mar Juin 23, 2015 11:50

Voici vos demandes et mon estimation d'impact:

-@Madrileno:
Géolocalisation des adresses IP=> Licence Geolite OK, merci @Jean-luc. Intégration et faisabilité établie de la géolocalisation. Merci @Fobec pour l'idée de dichotomie.
-@Spout:
Automatisation de la récupération des logs => Vérifier dans le détail la solution que tu proposes mais dans l'absolu ce genre de solution est difficile à intégrer. Solution non fournie par OVH ils restent sur voir la page web. Non traité pour l'instant. Etude de faisabilité cet été.
-@Spout, Fobec:
Adaptation au log format=> Revoir la conception du parser donc assez difficile. Mais une idée m'est venue: Développez un wrapper de vos logs vers le format accepter actuel. Non traité pour l'instant. Si vous fournissez au moins un log chacun je commence l'étude cet été.
-@Zeb: Portage sous Linux: Pourquoi pas, l'IDE LAzarus s'y prête bien. J'ai télécharger une Virtual Box OpenMandriva, reste plus qu'à y installer l'IDE et voir si le projet compile. Etude de faisabilité cet été.

PS: Bon je pense utiliser soit un blog, soit la page GG+ pour le suivi de vos demande, suis-je autorisé à citer vos pseudo?

Bonne journée.


spout
WRInaute accro
WRInaute accro
 
Messages: 8329
Enregistré le: 14 Mai 2003

Re: Mon logiciel perso d'analyse de logs

Message le Mar Juin 23, 2015 12:24

Voilà le format de log: http://nginx.org/en/docs/http/ngx_http_log_module.html#log_format
Sans forcément passer par un export de logs OVH: un browser remote FTP/SSH.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mar Juin 23, 2015 15:54

J'ai déjà ces liens il me semble, ce qu'il me manque c'est de vrai logs pour tester qui collent à vos config (SPout et @fobec).

Bon je vais chercher si des exemples existent sur le net.


Madrileño
Madrileño
Madrileño
 
Messages: 37556
Enregistré le: 7 Juil 2004

Re: Mon logiciel perso d'analyse de logs

Message le Sam Juin 27, 2015 18:35

Bonjour,

Des graphiques seraient bien pour compléter les statistiques.

Cordialement.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mar Juin 30, 2015 10:56

Oui Madrileno, c'est la phase 2 du développement. Mais vous (plusieurs membres) m'avez donner à développer quelques fonctions avant d'en arriver là.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Jeu Aoû 27, 2015 12:05

Bonjour à tous,

Voilà l'algorithme optimisé est finalisé et le bug est corrigé. Et vous savez ce que j'ai oublié? Mettre un index sur la base.

Je n'ai pas fait attention mais une fois importée elle fait quand même 6Mo! C'est ça mon goulot d'étranglement.

J'espère une version ce WE ;)

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Ven Aoû 28, 2015 5:56

Il y avait deux coupable:
le premier facile était l'index. C'est modifié mais j'ai totu juste gagné 1 s/

Le deuxième c'est le TStringGrid: Une recherche GG a confirmer mes craintes, dans Lazarus c'est un goulot de performance.

Donc a midi je met en ligne la version.
Réapprendre la patiente: 3s pour 90 Ko.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Ven Aoû 28, 2015 11:49

SI vous en avez la patience, voici la version 0.2 en ligne:

https://drive.google.com/file/d/0B5-H5lFU6NGETnB3aEZYbU00Z0E/view?usp=sharing


spout
WRInaute accro
WRInaute accro
 
Messages: 8329
Enregistré le: 14 Mai 2003

Re: Mon logiciel perso d'analyse de logs

Message le Sam Aoû 29, 2015 15:15

J'ai téléchargé et testé le logiciel avec le log d'exemple fourni.
Ça a un peu laggué (Windows à indiqué: Ne répond pas).

Il y a une inversion avec langue, la colonne Navigateur affiche "en-us", et la colonne langue "MSIE 7.0".
Pareil pour la colonne "url referrer" qui affiche le statut HTTP.
Un screenshot sera probablement plus parlant:
Image

Petite coquille: Traffic => Trafic (Traffic c'est en anglais).

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Lun Aoû 31, 2015 12:03

Merci spout pour ce retour.

Effectivement inversion des en-têtes.

Oui ça lague méchamment. Je travaille à résoudre le problème. Il vient de la base.

Il semble que malgré l'index et la suppression des TSringGrid toujours aussi long. Je vais reconstruire la BDD et tester ça cette semaine.

Pour les statistiques de visites j'ai pensé à des statistique web-marketing comme nombre de visiteurs unique. Nb page par visiteurs; Nombre de visiteur unique par referrer (notamment Google seacrh).

Mais aussi des statistiques de maintenance comme temps de chargement des CSS, nombre de css par page, temps réponse, nombre de page en 404.

Caine_DVP
WRInaute occasionnel
WRInaute occasionnel
 
Messages: 310
Enregistré le: 26 Nov 2010

Re: Mon logiciel perso d'analyse de logs

Message le Mer Sep 02, 2015 21:48

Bonjour Mise en ligne nouvelle version sous le même nom pour garder le lien GG Drive.

Correction des noms de colonnes...Mais surtout Geolocalisation sans Lag! C'est instantané.

Une bonne soirée de rework complet de la base et ré-inplémentation de l'objt database mais le succès est au rendez-vous: Géolocalisation intégrée.

Allez je passe aux autres demandes:)


spout
WRInaute accro
WRInaute accro
 
Messages: 8329
Enregistré le: 14 Mai 2003

Re: Mon logiciel perso d'analyse de logs

Message le Jeu Sep 03, 2015 6:21

Je confirme que ça lag plus et les colonnes sont correctes ;)


Formation recommandée sur ce thème :

Formation REFERENCEMENT naturel Google : apprenez une méthode efficace pour optimiser à fond le référencement naturel dans Google de façon durable... Formation animée par Olivier Duffez et Fabien Facériès, experts en référencement naturel.

Tous les détails sur le site Ranking Metrics : programme, prix, dates et lieux, inscription en ligne.

Lectures recommandées sur ce thème :