Messages: 311

Enregistré le: 26 Nov 2010

Message le Mar Oct 21, 2014 21:14

Bonsoir,

Et voilà je me décide à demander au plus grand nombre si mon logiciel personnel leur serait utile.

Mais qu'est-ce qu'il fait? Le café? non, mais il en a fallu pour développer le moteur d'analyse.

Oui, il analyse les logs de connexion à mon site. Mon hébergeur fournit des logs pour chaque journée, logs provenant d'un serveur http Appache.

L'utilitaire décortique les logs.

Premier intérêt basé sur 5 méthodes il différencie les visites des robots et des humains.

Il insère dans une BDD (base de donnée) les informations suivantes pour un visiteur humain:

l'adresse IP de la visite, la date, l'heure, le nom de domaine du site, la page demandée, le referrer, l'OS, le navigateur, la langue.

Pour les robots: Rien étant donné que je m'y suis moins intéressé. Mais je pense insérer la date, l'heure la page, le code de la page (détection des erreurs) , le nom du robot, son IP, l'OS et navigateur.

Vous allez me dire mes pourquoi il c'est fait cette moulinette?

J'ai un fort taux de rebond et si je mets analytics je me ferais surement sanctionné. Et puis j'aime coder quand je trouve un problème à résoudre. Enfin je suis libre de croiser les informations sous tous les angles.

Et là vous vous dites 'où en est-il de se projet?"

Le moteur d'analyse est fonctionnel. J'ai une interface utilisateur pauvres pour sélectionner les logs à analyser. C'est en fait une IHM de débug du projet.

Donc 2 questions:
-Ce projet vous intéresse?
-Les requêtes SQL ne vous font pas peur, vous vous contenterez de sa version actuelle pour le tester?

Précision: Il est gratuit, sans licence ni engagements de ma part, vous utiliserez en l'état.

IL m'a été d'une grande aide en 2010 pour optimiser ma fréquentation, mais avec 3 enfants depuis je n'ai pas trop avancer sur l'IHM.

Et dans l'avenir?

Je réfléchis à une IHM Dashboard de référencement: Taux de rebond, Nombre de visiteurs par pages. Nombre de pages par visiteur. Tout ceci: sur toute la période, sur une année, sur un moi ou pour une sélection.

Qui sait peut être une version d'analyse Oneshot : Analyse d'un fichier de log seul ou un groupe juste pour avoir ses informations. Comme une instantané sur une période.
Haut
95 Réponses
Messages: 37890

Enregistré le: 7 Juil 2004

Message le Dim Oct 26, 2014 17:47

Bonjour,

Cela semble intéressant, pourquoi ne pas créer un projet sur GitHub pour faire avancer le projet, c'est une idée.

Cordialement.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Jeu Oct 30, 2014 9:00

Merci Madrileno,

Pour ce qui est de GItHub, je m'interrogeai. Le principal problème est la licence CreativeCommon ou GPL.

Alors une requête SQL et voilà les statistiques: 350 visiteurs unique par moi sauf pour Janvier, Février, Mars ou j'ai moins de 20 visites!

Ensuite, je pense de plus en plus à une version pour visualiser un log (ou plusieurs) sans forcément insérer dans une BDD. Pour analyser une journée particulière ou un ensemble de journée.

Enfin le moteur actuel pourrait aussi servir à transformer les logs en fichier XML pour que chaque utilisateur créer ses rapports avec tout outil gérant XML.
Haut
Messages: 1156

Enregistré le: 17 Sep 2005

Message le Jeu Oct 30, 2014 10:02

Caine_DVP a écrit:
Pour ce qui est de GItHub, je m'interrogeai. Le principal problème est la licence CreativeCommon ou GPL.



Quel problème svp ?
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Lun Nov 03, 2014 14:00

Je réutilise 80% de mes sources de projet à projet.

Pour l'instant j'ai stoppé toute activité non salarié mais qui sait dans quelques années.

Donc je veux conserver le droit d'utiliser mes sources même dans du logiciel non open-source.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Lun Nov 03, 2014 14:07

Tient je viens de trouver une requête intéressante et surtout le résultat:

les mois Janvier,Février et mars j'ai 20 visiteurs uniques mais le reste du temps, 350 visiteurs uniques:)

Pas mal cette année.

Pour le logiciel, je commence à penser à une suite:
1/Mode ligne de commande: Extraction des informations des logs et enregistrement dans une fichier de sortie XML
2/Mode ONelog: visualiser log par log soit une table avec les informations, soit même n tableau de bord
3/Mode Statistiques: Parser tous les logs et enregistrement dans une base de donnée, avec tableau de bord, production de rapports.

Pour GitHub: J'y songerai plus sérieusement quand le projet sera bien conceptualisé.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Ven Déc 12, 2014 9:00

Bonjour,

J'ai mis en ligne le début de la description du logiciel.

[url="http://www.creationlogiciel.net/WebLogAnalyzer.html"]WebLogAnalyzer[/url]

Je ferai vivre la page au fur et à mesure,

N'hésitez pas à venir sur mon profil GG+ pour faire vos commentaires.

Bon WE pour bientôt.
Haut
Messages: 4559

Enregistré le: 16 Avr 2006

Message le Ven Déc 12, 2014 10:47

Caine_DVP a écrit:Ensuite, je pense de plus en plus à une version pour visualiser un log (ou plusieurs) sans forcément insérer dans une BDD. Pour analyser une journée particulière ou un ensemble de journée.
Bonjour,

Pour ma part, c'est ce point précis qui a retenu mon attention.

Tu as une idée de date pour une première mouture ?
Haut
Messages: 37890

Enregistré le: 7 Juil 2004

Message le Dim Déc 14, 2014 20:37

Bonjour,

Merci pour la mise à jour du sujet.
salva a écrit:Tu as une idée de date pour une première mouture ?

+1, merci d'avance.

Cordialement.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Lun Déc 15, 2014 16:26

Bonjour à vous deux,

La version actuelle permet déjà de visualiser le log sous forme de table MASI:
-L'IHM est moche
-Parfois quelque bugs lié à des exceptions dans la forme du log.

Il suffit de ne pas utiliser "insertion massive". Sinon, début 2015 j'espère finaliser quelque chose de sympathique.
Haut
Messages: 37890

Enregistré le: 7 Juil 2004

Message le Sam Déc 20, 2014 22:12

Merci pour l'information. :)
Haut
Messages: 13572

Enregistré le: 5 Déc 2004

Message le Sam Déc 20, 2014 23:44

hors sujet > c'est toi ça -http://www.like-rank.com/search/blog ? si oui ton nuage de tag SVG tu fait comment ? c'est sympa ce truc.
Haut
Messages: 37890

Enregistré le: 7 Juil 2004

Message le Dim Déc 21, 2014 0:22

Bonjour,

C'est de Nifrou.

Cordialement.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mar Déc 23, 2014 10:00

[HS] Le nuage de tag est une image-map réactive côté client ou serveur. Mais je ne sais pas le faire, juste que ça existe.

Pour en revenir au logiciel, dans l'analyse de log unaire, ce qui vous interesse c'est l'affichage en colonne je suppose?
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mar Jan 13, 2015 9:32

Bonjour à tous,

J'ai commencé la partie onlog. Copier coller du projet actuel pour en extraire le nécessaire au module Onelog.

En fait d'ici la semaine prochaine j'espère vous fournir une première version.

Bon côté look elle ne sera pas jolie car j'ai le grand défaut de ne pas m'intéressé au look des logiciels mais plutôt à ce qu'il font.

J'ai axé sur la décomposition dans une grille du log, ventiler en traffic vue et traffic robot pour cette première version.

Je sais vous trépignez de tester Onelog ;)

HS/ Bonne et heureuse, fructueuse année 2015.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Jeu Jan 29, 2015 14:55

Une petite capture écran:

https://plus.google.com/u/0/b/111943540565506609158/111943540565506609 ... 5506609158

J'essai de voir ce qui serait utile comme informations.
Haut
Messages: 37890

Enregistré le: 7 Juil 2004

Message le Jeu Jan 29, 2015 19:38

Bonjour,

Un drapeau de la géolocalisation serait bien.

Cordialement.
Haut
Messages: 8445

Enregistré le: 14 Mai 2003

Message le Jeu Jan 29, 2015 23:15

Et on doit rapatrier les logs sous Winzobe pour les consulter ?
Avec Selenium, PhantomJS, Scrapy, etc... j'ai des doutes concernant le traffic "humain".
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Ven Jan 30, 2015 14:05

@Madrileno: Le problème de la géolocalisation c'est que les BDD d'IP gratuites sont limitées ou les API de certains sites sont limitée en nombre de connexion. Ce n'est pas évident de décortiquer une adresse IP poour avoir le pays, la région etc. Si tu as des infos sur le sujet je suis intéressé.

@Spout: Chez OVH, il faut visiblement télécharger les logs à la main, ça fait plusieurs fois que je leur demande une autre solution mais...autant pisser dans la mer.

Pour la deuxième partie à quoi correspondent les noms que tu cites? Je n'ai pas bien compris.

A part avec semalt qui va mer forcer à renforcer la ventilation humain/robot, quand j'ouvre mes logs ça correspond bien entre trafic humain et robot.

J'ai pensais mettre quelques statistiques pour le log: Nombre de visiteur unique humain, nombre de robots unique. Nombre de pages vues par visiteurs etc.

Donc la version tableau vous intéresse où vous préferez attendre que j'ai mis en place les statistiques.
Haut
Messages: 3283

Enregistré le: 3 Mai 2004

Message le Ven Jan 30, 2015 14:29

Bonjour,

Pour la géolocalisation, il y a http://dev.maxmind.com/geoip/geoip2/geolite2/ (GeoLite2 Free Downloadable Databases).

Jean-Luc
Haut
Messages: 8445

Enregistré le: 14 Mai 2003

Message le Ven Jan 30, 2015 14:43

Caine_DVP a écrit:Chez OVH, il faut visiblement télécharger les logs à la main

Du coup ça serait bien de pouvoir browser le serveur (FTP, SFTP, FTPS, ...) via ton soft.

Caine_DVP a écrit:Pour la deuxième partie à quoi correspondent les noms que tu cites? Je n'ai pas bien compris.

Selenium & PhantomJS ce sont des browsers (headless) automatisables.
Scrapy c'est un web page scraper.

Et qu'un UA ça se change facilement et beaucoup de visites sont des bots, 56% d'après ce rapport: http://www.incapsula.com/blog/bot-traffic-report-2014.html

De plus, tu dois prévoir la configuration du "LogFormat" qui n'est p-e pas celui par défaut pour tout le monde:
http://httpd.apache.org/docs/current/fr/mod/mod_log_config.html#logformat
Sans oublier qu'il n'y a pas que Apache comme serveur HTTP.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Lun Fév 02, 2015 13:50

Merci pour tous ces liens.

Pour rapatrier les logs automatiquement j'ai aussi une autre idée mais à tester. Je ne pense pas que ce soit la priorité.

En effet en analyse "OnleLog" le référenceur/Webmasteur essai de focaliser sur une journée particulière.

Je vais mettre en ligne la version actuelle, Comme je l'ai expliqué elle correspond à mes besoins. Dans un premier temps j'espère que cette version vous sera quand même utile en l'état.

J'ai amélioré ce WE l'extraction du nom de robots.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Ven Fév 06, 2015 14:00

VOici vos demandes et mon estimation d'inpact:

    -@Madrileno:
      Géolocalisation des adresses IP=> Vérifier propagation de la licence de la base fournie par @Jean-luc. Voir comment on retrouve une IP la dedans. Co^té intégration dans le soft actuel ça ne semble pas difificile. En cours de recherche.
    -@Spout:
      Automatisation de la récupération des logs => Vérifier dans le détail la solution que tu proposes mais dans l'absolu ce genre de solution est difficile à intégrer. Je pense aussi à un logiciel dont j'ai oublié le nom qui rapattrie depuis une URL donner en paramètre. En cours d'étude sur la faisabilité et la solution à retenir.
    -@Spout:
      Adaptation au log format=> Là très difficile, revoir la conception du parser voir coder dans un autre langage. Non traité pour l'instant.
Haut
Messages: 200

Enregistré le: 10 Mai 2005

Message le Lun Fév 09, 2015 11:08

Pour la localisation des adresses ip, je peux te proposer des bases de données,
A priori, pour le logiciel d'analyse de log une version light qui comprend le code pays de l'ip est suffisant, 2 versions existent:
- csv pour les ip V4 et ip V6, temps de réponse en lecture env 100ms,
- binaire compatible ipV4 et ipV6, temps de réponse en lecture 1 ms
- api pour les petits volumes <1000 requetes / heure

Y a pas grand chose à intégrer à ton projet, 2-3 lignes de code.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Lun Fév 09, 2015 13:59

Bonjour et Merci Fobec,

Les utilisateurs m'ont déjà fournis un lien vers une BDD gratuite et à priori libre d'adresse IP.

Votre proposition est-elle gratuite et sous quelle licence?

Et à priori je viens de comprendre comment rechercher une adresse IP dans la BDD.
Haut
Messages: 200

Enregistré le: 10 Mai 2005

Message le Lun Fév 09, 2015 17:39

Oui Maxmind est un bon produit, de toute façon, il existe peu de bases de localisation d'ip ouvert au public, la plupart des sites de localisation se basent sur la version gratuite de Maxmind.

Par contre, pour ton projet de quelles infos as-tu besoin ?
- localisation par pays,
- localisation poussée (précision ville) + nom du fai,
- whois de l'adresse ip.

Il n'y a pas vraiment de licence, pour des volumes raisonnables, les 3 api et les versions à installer sont gratuites.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Jeu Fév 19, 2015 14:14

C'est les utilisateur de ce post qui en ont besoin. Je pense que localiser le pays suffira dans un premier temps.

Bon j'ai découvert un outil super sous windows BITSADMIN.

Je réussi à rapatrier un fichier depuis un autre PC et avec mot de passe dans un Intranet, je réussit à rapatrier un fichier depuis le FTP anonyme d'orange mais impossible de rapatrier un logs chez OVH. J'ai ouvert une demande support mais avec un offre start10m...je vais attendre u moment.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Ven Fév 20, 2015 0:21

J'ai avancé ce soir sur la Géolocalisation:
- Création scriots Sql des bases correspondant à GeoLite2
- Création de la base et des tables
-Après modifications de fichiers de Geolite import par la ligne de commande dans la base.

C'est un bon début, il me reste à testre l'algorithme auquel j'ai pensais pour géolocaliser les IP et ajout à l'IHM.

Bientôt si mes jumeaux dorment le soir:)
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mer Avr 29, 2015 7:09

Je vous ai laissé sans nouvelle,

Excusez moi. Mais je n'ai pas eu le temps de reprendre le developpement avant hier soir.

Intégration de la classe objet qui gère la BDD Geolite. Bientôt les premiers tests de l'algorithme.

A bientôt.
Haut
Messages: 3620

Enregistré le: 18 Jan 2006

Message le Mer Avr 29, 2015 10:26

Bonjour

Juste pour ma culture, tu développes avec quel langage ?
Haut