Messages: 311

Enregistré le: 26 Nov 2010

Message le Mer Avr 29, 2015 11:33

Pour ce projet je développe initialement sous Delphi turbo edition 2006 (personnal),
j'ai migré sur Lazarus depuis milieu 2014 puisque il est impossible de trouver une version gratuite de delphi.

Si tu parles plus généralement, je dirais qu'il y a le choix parmi 32 langages de programmation ou scripting :)
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mar Mai 12, 2015 23:23

J'ai eu enfin le temps d'avancer, et quelle avancée.

Je récupère bien les lignes en fonction de l'adresse IP analysée du log. La je planche sur l'algorithme qui construit le masque en fonction de chaque CIDR pour vérifier si l'adresse IP correspond.

L'étape la plus difficile a été de reprendre un code non commenté vieux de 4 ans :) Mais ça y est j'ai compris comment j'ai conçu ma classe qui encapsule la base de donnée.

Donc d'ici peu vous aurez une version. Pas forcement complète sur la géolocalisation mais la majorité des adresses IP passeront j'espère.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mar Mai 26, 2015 21:44

Bonsoir, la géolocalisation est intégré, je commence les tests.

Un aperçu ici:
[img href="https://plus.google.com/u/0/b/111943540565506609158/111943540565506609158/posts/6B8YaXa7UiZ?pid=6153267258593948162&oid=111943540565506609158"][/img]
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mar Juin 02, 2015 13:02

Je remets le lien vers la page du projet.

http://www.creationlogiciel.net/WebLogAnalyzer.html

Et la capture:
https://plus.google.com/u/0/b/111943540565506609158/111943540565506609 ... 5506609158

PS: Les balises URL et image ne fonctionnent pas très bien où je m'y prend comme un manche ;)
Haut
Messages: 13572

Enregistré le: 5 Déc 2004

Message le Mar Juin 02, 2015 13:05

Image
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mer Juin 03, 2015 12:40

Merci Zeb.

Voici le lien sur gdrive:
https://drive.google.com/file/d/0B5-H5lFU6NGERUFIRmtUOUNRd0U/view?usp=sharing

Testé sans virus à ce jour.

Vous dézippez et il y a un de mes logs à la racine.

Comme le montre la capture toutes les adresses ne sont pas localisés. En fait pour certaines ça nuirait fortement aux performances avec l'algorithme de recherche actuelle (imaginez 2^256 possibilités)

A lire vos retours.
Haut
Messages: 13572

Enregistré le: 5 Déc 2004

Message le Mer Juin 03, 2015 14:15

Caine_DVP a écrit:A lire vos retours.

J'aimerais bien mais j'ai pas windows :cry:
Haut
Messages: 8558

Enregistré le: 14 Mai 2003

Message le Mer Juin 03, 2015 14:24

Moi j'ai Windaube mais pas Apache :mrgreen:
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mer Juin 03, 2015 14:44

Vous êtes exigent :)

Même pas pû mettre la première version et déjà demande d'ajout.

Bon pour WIndows: Ca tombe mal car j'ai utilisé des fonctions OS spécifiques de Lazarus. Je regarde l'impact des modifications.

Pour ceux qui n'ont pas appache=> Si vous fournissez des exemples de logs, je regarde l'impact.

Je ne garanti pas ma réactivité :)
Haut
Messages: 13572

Enregistré le: 5 Déc 2004

Message le Mer Juin 03, 2015 18:53

Caine_DVP a écrit:Bon pour WIndows: Ca tombe mal car j'ai utilisé des fonctions OS spécifiques de Lazarus. Je regarde l'impact des modifications.

Je voulais t'en parler mais vu l'empleur possible du truc j'ai laissé pisser, mais dans le principe prévoir que ça soit compilable sur du système unix like c'est pas con car tu as forcement ça sous la main dans la plupart des environnement web.
De la des possibilité d'utilisation en ligne aussi (CGI ?)
Haut
Messages: 200

Enregistré le: 10 Mai 2005

Message le Mer Juin 03, 2015 19:38

Caine_DVP a écrit:Comme le montre la capture toutes les adresses ne sont pas localisés. En fait pour certaines ça nuirait fortement aux performances avec l'algorithme de recherche actuelle (imaginez 2^256 possibilités)


A quoi corresponde 2^256 possibilités ?
Pour la geoloc, essaie d'utiliser un tri dichotomique ou un arbre binaire, la recherche d'une IP prend moins de 1 ms :wink:

Lazarus, s'agit-il du compilateur FreePascal ?
De mémoire, l'ide permettait de compiler sous différents OS y compris Linux.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mer Juin 03, 2015 22:42

Oui il s'agit de l'IDE freepascal. Il permet de compiler sous différents OS mais comme il y a eu un problème avec les fonctions d'accès disque j'ai remis les fonctions pures windows.

Je sais mais là déjà voyons si vous lui trouver une utiliré en l'état.

@Seb: Je vais voir comment compiler sous windons pour Linux et l'ampleur/Compatibilité des modifications à faire.

Le portage sous Linux/Mac, ainsi que prendre en compte d'autres formats de logs étaient un objectif plus lointain pour moi.

Je vous tient informés.

Merci de votre intérêt.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Ven Juin 12, 2015 12:45

@Zeb: J'ai lu plusieurs sujet et pour le cross-compiling ce n'est pas gagner.

Mais j'y pense il y a Wine sous linux pour émuler windows. En attendant que je m'y colle.
Haut
Messages: 13572

Enregistré le: 5 Déc 2004

Message le Ven Juin 12, 2015 18:28

Caine_DVP a écrit:J'ai lu plusieurs sujet et pour le cross-compiling ce n'est pas gagner.

Cherche pas, j'ai vérifié, Lazarus est dispo sous ma distrib bref ça dois pas être compliqué de porter ton projet si tu fais pas des appel sur l'OS. Je n'ai pas pu l'installer car je n'ai pas assez de place en revanche. (putain de disque mal partitionné par le vendeur et j'ai pas pu le refaire car la machine n'était a moi a l'origine, bref je l'ai installé a l'arrache)
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mar Juin 16, 2015 8:29

@Zeb:
Oui je sais que Lazarus existe sous Linux et d'ailleurs MAc.
Je n'ai pas envie d'installer chaque OS et le cross compiling me paraît avantageux mais au final ça semble pénible.

Du coup je pars sur une machine virtuelle. D'ailleurs, tu peux me donner ta distribution linux, ensuite je téléchargerai une VM linux de la même distribution puis compilation native sous l'OS.
Haut
Messages: 13572

Enregistré le: 5 Déc 2004

Message le Mar Juin 16, 2015 18:12

je travaille avec ça perso https://www.openmandriva.org/?lang=fr
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mar Juin 16, 2015 21:36

J'ai bien fait de demander sinon j'aurai pris une Ubuntu :)

Bon je télécharge une VM pour Virtualbox si ça existe.
Haut
Messages: 13572

Enregistré le: 5 Déc 2004

Message le Mer Juin 17, 2015 6:59

Caine_DVP a écrit:Ubuntu :)

boeurk !
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mar Juin 23, 2015 12:50

Voici vos demandes et mon estimation d'impact:

-@Madrileno:
Géolocalisation des adresses IP=> Licence Geolite OK, merci @Jean-luc. Intégration et faisabilité établie de la géolocalisation. Merci @Fobec pour l'idée de dichotomie.
-@Spout:
Automatisation de la récupération des logs => Vérifier dans le détail la solution que tu proposes mais dans l'absolu ce genre de solution est difficile à intégrer. Solution non fournie par OVH ils restent sur voir la page web. Non traité pour l'instant. Etude de faisabilité cet été.
-@Spout, Fobec:
Adaptation au log format=> Revoir la conception du parser donc assez difficile. Mais une idée m'est venue: Développez un wrapper de vos logs vers le format accepter actuel. Non traité pour l'instant. Si vous fournissez au moins un log chacun je commence l'étude cet été.
-@Zeb: Portage sous Linux: Pourquoi pas, l'IDE LAzarus s'y prête bien. J'ai télécharger une Virtual Box OpenMandriva, reste plus qu'à y installer l'IDE et voir si le projet compile. Etude de faisabilité cet été.

PS: Bon je pense utiliser soit un blog, soit la page GG+ pour le suivi de vos demande, suis-je autorisé à citer vos pseudo?

Bonne journée.
Haut
Messages: 8558

Enregistré le: 14 Mai 2003

Message le Mar Juin 23, 2015 13:24

Voilà le format de log: http://nginx.org/en/docs/http/ngx_http_log_module.html#log_format
Sans forcément passer par un export de logs OVH: un browser remote FTP/SSH.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mar Juin 23, 2015 16:54

J'ai déjà ces liens il me semble, ce qu'il me manque c'est de vrai logs pour tester qui collent à vos config (SPout et @fobec).

Bon je vais chercher si des exemples existent sur le net.
Haut
Messages: 37930

Enregistré le: 7 Juil 2004

Message le Sam Juin 27, 2015 19:35

Bonjour,

Des graphiques seraient bien pour compléter les statistiques.

Cordialement.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mar Juin 30, 2015 11:56

Oui Madrileno, c'est la phase 2 du développement. Mais vous (plusieurs membres) m'avez donner à développer quelques fonctions avant d'en arriver là.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Jeu Aoû 27, 2015 13:05

Bonjour à tous,

Voilà l'algorithme optimisé est finalisé et le bug est corrigé. Et vous savez ce que j'ai oublié? Mettre un index sur la base.

Je n'ai pas fait attention mais une fois importée elle fait quand même 6Mo! C'est ça mon goulot d'étranglement.

J'espère une version ce WE ;)
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Ven Aoû 28, 2015 6:56

Il y avait deux coupable:
le premier facile était l'index. C'est modifié mais j'ai totu juste gagné 1 s/

Le deuxième c'est le TStringGrid: Une recherche GG a confirmer mes craintes, dans Lazarus c'est un goulot de performance.

Donc a midi je met en ligne la version.
Réapprendre la patiente: 3s pour 90 Ko.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Ven Aoû 28, 2015 12:49

SI vous en avez la patience, voici la version 0.2 en ligne:

https://drive.google.com/file/d/0B5-H5lFU6NGETnB3aEZYbU00Z0E/view?usp=sharing
Haut
Messages: 8558

Enregistré le: 14 Mai 2003

Message le Sam Aoû 29, 2015 16:15

J'ai téléchargé et testé le logiciel avec le log d'exemple fourni.
Ça a un peu laggué (Windows à indiqué: Ne répond pas).

Il y a une inversion avec langue, la colonne Navigateur affiche "en-us", et la colonne langue "MSIE 7.0".
Pareil pour la colonne "url referrer" qui affiche le statut HTTP.
Un screenshot sera probablement plus parlant:
Image

Petite coquille: Traffic => Trafic (Traffic c'est en anglais).
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Lun Aoû 31, 2015 13:03

Merci spout pour ce retour.

Effectivement inversion des en-têtes.

Oui ça lague méchamment. Je travaille à résoudre le problème. Il vient de la base.

Il semble que malgré l'index et la suppression des TSringGrid toujours aussi long. Je vais reconstruire la BDD et tester ça cette semaine.

Pour les statistiques de visites j'ai pensé à des statistique web-marketing comme nombre de visiteurs unique. Nb page par visiteurs; Nombre de visiteur unique par referrer (notamment Google seacrh).

Mais aussi des statistiques de maintenance comme temps de chargement des CSS, nombre de css par page, temps réponse, nombre de page en 404.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mer Sep 02, 2015 22:48

Bonjour Mise en ligne nouvelle version sous le même nom pour garder le lien GG Drive.

Correction des noms de colonnes...Mais surtout Geolocalisation sans Lag! C'est instantané.

Une bonne soirée de rework complet de la base et ré-inplémentation de l'objt database mais le succès est au rendez-vous: Géolocalisation intégrée.

Allez je passe aux autres demandes:)
Haut
Messages: 8558

Enregistré le: 14 Mai 2003

Message le Jeu Sep 03, 2015 7:21

Je confirme que ça lag plus et les colonnes sont correctes ;)
Haut