Messages: 311

Enregistré le: 26 Nov 2010

Message le Jeu Sep 03, 2015 12:53

@Spout: J'ai parcouru la page. Je pense pouvoir modifier le parser mais il me faut absolument des exemples de logs pour les tests. Peux-tu me faire passer un log par MP, confidentialité assurée. il ne me servira qu'a testé les modifications.

spout a écrit:Voilà le format de log: http://nginx.org/en/docs/http/ngx_http_log_module.html#log_format
Sans forcément passer par un export de logs OVH: un browser remote FTP/SSH.
Haut
Messages: 727

Enregistré le: 18 Nov 2010

Message le Jeu Sep 03, 2015 13:51

Je n'ai pas vu si c'était Open Source ?

Sinon, pourquoi Piwik ne te satisferait pas ? Quelle est la différence avec ton logiciel ?
J'ai vu que tu indiquais ne pas vouloir utiliser Google Analytics pour éviter d'être pénalisé. Piwik ne te poserait pas ce problème.
Il a aussi une API assez puissante pouvant permettre l’extraction des données dans différents formats (CSV, XML, etc.).

Tu pourrais voir à convertir ton logiciel en site internet (dans le sens application web). L'avantage, c'est que tu oublies complètements le système d'exploitation. Ça te permet aussi d'avoir des contributeurs plus facilement.

Après, j'ai bien compris que c'était un logiciel personnel et un plaisir pour toi de coder.
Haut
Messages: 37898

Enregistré le: 7 Juil 2004

Message le Jeu Sep 03, 2015 15:25

Bonjour,
Blount a écrit:Je n'ai pas vu si c'était Open Source ?

Bonne question. :)

Cordialement.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Jeu Sep 03, 2015 15:52

@Blount: En premier c'est parce que je ne suis pas un professionnel du référencement et le jour où j'ai voulu analyser mes logs, ne connaissant pas d'outils je l'ai codé.

Je le fournis à la communauté mais il deviendra Open Source quand il sera plus avancé. Pourquoi pas. Quoique dans l'open source la tendance reste au fork.

@Madrileno et @Blount : Qu'est-ce qui vous gêne dans le fait qu'il ne soit pas open-source? Il est libre et gratuit.

Pour une version Web, pour l'instant exclus car je ne sais pas comment faire de CGI chez OVH.
Haut
Messages: 727

Enregistré le: 18 Nov 2010

Message le Jeu Sep 03, 2015 16:57

C'est pas que ça gène que ce ne soit pas Open Source, mais ça laisse toujours un doute sur l'utilisation des données du logiciel.
Qui nous dit que tu ne les envoies pas sur un de tes serveurs ? Ce ne serait pas bien compliqué de le savoir (même si ce n'est pas à la porté de tous le monde) mais quand même. On peut dire que c'est parano, mais bon c'est une réalité dans les logiciels propriétaires.

Tu fais erreur en pensant qu'il faut attendre que ce soit plus avancé pour le passer Open Source. Ouvrir le code ne signifie pas faire du professionnel. Tu peux juste le mettre sur un dépôt et laisser les utilisateurs se débrouiller ;)
Les devs peuvent ainsi te proposer des améliorations beaucoup plus rapidement (avec le code à intégrer).

Le fork (le vrai) n'existe que par divergence d'opinion et peut être le sauveur du logiciel. Il suffit de regarder OpenOffice et LibreOffice et comment ça s'est terminé (merci Oracle ^^).
Mais c'est aussi pour rendre service à tes utilisateurs. Si je souhaite intégrer une fonctionnalité à ton logiciel et que tu n'es pas d'accord, je peux alors créer une copie (voir Github), effectuer mes modifications et continuer à intégrer tes modifications (merge).
Et tous le monde est content ;)

Sinon, la version web n'a rien à voir avec le CGI OVH.
L'avantage est que tous le monde peut l'installer sur son propre serveur. Et en allant plus loin, la version 5.4 de PHP permet de lancer un serveur web indépendant d'apache et autre. On peut donc l'utiliser pour créer des applications autonomes.
C'est fait pour le dev, mais rien n'empêche de l'utiliser dans ce cas.
Haut
Messages: 37898

Enregistré le: 7 Juil 2004

Message le Jeu Sep 03, 2015 23:33

Bonjour,
Caine_DVP a écrit:@Madrileno et @Blount : Qu'est-ce qui vous gêne dans le fait qu'il ne soit pas open-source? Il est libre et gratuit.

Rien, c'était par curiosité (code source).

Cordialement.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Ven Sep 04, 2015 12:42

@Madrileno: Pas de problème, moi aussi j'ai posé la question par curiosité

@Blnout: EN fait quand je dis que je veux un projet plus aboutis avant de le rendre Open-source c'est pour justement assurer la viabilité de celui-ci et éviter le fork.

Merci @blnout, je n'avais pas pensé au côté récupération des données. Voilà qui justifie l'open-source. Même si je ne vois pas l'intérêt de récupérer des données de logs de sites que je ne gère pas ;)

Et ça va aussi dans le sens de l'utilisateur qui modifierait le logiciel surtout parce que je n'aurais pas le temps de prendre en compte.

Là encore il faut que je trie et j'améliore le projet qui reste actuellement un dev personnel.

Objectif de l'année 2016: Passer en Open Source; Allez je me décide.
Haut
Messages: 8451

Enregistré le: 14 Mai 2003

Message le Ven Sep 04, 2015 19:08

Caine_DVP a écrit:Objectif de l'année 2016: Passer en Open Source; Allez je me décide.

Très bonne idée.
Met ça sur github ou bitbucket.
Tu risques juste d'avoir des gens qui font des pull requests :)
Haut
Messages: 37898

Enregistré le: 7 Juil 2004

Message le Mer Sep 09, 2015 1:34

Bonjour,
Caine_DVP a écrit:Objectif de l'année 2016: Passer en Open Source; Allez je me décide.

Excellente nouvelle pour les fans d'Open Source. :)

Cordialement.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Jeu Sep 10, 2015 13:10

Merci, mais ce n'est pas dans 5 jours.

Pull request késako?

Ou simplement sur mon site pour profiter du trafic ;)
Haut
Messages: 8451

Enregistré le: 14 Mai 2003

Message le Jeu Sep 10, 2015 18:00

Caine_DVP a écrit:Pull request késako?

En bref: quelqu'un qui a forké et fait des modifs sur ton code et qui demande que tu le fusionnes avec le tiens.
C'est comme ça que la plupart des projets open source fonctionnent avec les contributeurs extérieurs.
https://help.github.com/articles/using-pull-requests/
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mar Sep 15, 2015 12:10

Merci @Spout, voilà en 2016 je vais manager mon premier projet open source et justement les pull-request, il faudra que je status sur comment je vais gérer ça.

Bon, pour ta demande @spout, je vais refondre le parser en premier car il y a trop d'informations erronées. Si avec le peu de visites en 2012-2014 le parser remonté les bon champs, je m'aperçois qu'il y a trop d'erreurs.

C'est le premier pas vers la prise en compte de format de logs différents.

Pour établir la faisabilité de cette fonction, je vais me cantonner (comme le riz) à un format par site. Mais je sens déjà que ça ne va pas être suffisant :)

En résumer: Patiente...En attendant je vais étudier la possibilité d'un wrapper de format de logs, espérant qu'un simple batch soit suffisant.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mer Sep 30, 2015 8:55

@Spout: Hé bien j'ai de quoi faire, 360Mo de logs, merci :) La bonne nouvelle est que le format est compatible, en fait ce qui pêche c'est le user-agent. Je travaille sur un développement spécifique pour toi qui me permettra d'étudier une méthode plus générique dans un deuxième temps.

Ca avance doucement ;)
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mar Oct 06, 2015 23:13

Sacré benchmark du soft avec les logs de spouts. Heureusement que les 360 Mo ne sont pas intégralement remontés.

Quand même 50 Mo de logs dans la grille. J'avais un doute sur la capacité de Lazarus à tenir. C'est bon. Je cherche à comprendre le nom des pages. A priori j'en ai trouvé en '.html' mais je pense qu'il y a bien plus que ces pages à remonter.

Enfin àa me permet de réfléchir à plusieurs problématiques en même temps.

Merci.
Haut
Messages: 50

Enregistré le: 9 Avr 2009

Message le Mar Oct 27, 2015 16:57

Salut,

Merci pour ta réponse à mon post, Caine_DVP :)

Je te réponds ici parce que ça me parait plus approprié, je te ferai une brève réponse dans mon sujet quand j'aurai d'autres avis.

Très intéressant, ton truc ! J'ai parcouru rapidement, et voici mes premières impressions :

Piwik, analyseur de logs ou dev perso ?

J'avais choisi à priori piwik parce qu'il faisait plus qu'un analyseur de logs. Mais c'est vrai qu'avec les logs, on a déjà beaucoup, et c'est peut-être assez. Après, je ne sais pas ce qu'il existe comme analyseurs de logs open source (pas cherché de ce côté... pas encore !). Ce n'est peut-être pas la peine de réinventer l'eau chaude ? Cela dit, je suis moi aussi victime du syndrome NIH, donc je comprends parfaitement ta démarche. D'ailleurs, avant de lire ta réponse, je me posais la question de me faire un petit truc perso léger qui me sorte juste les infos dont j'ai besoin.

Appli web, logiciel Windows ou multiplateformes ?

Les applis web ont certes l'avantage de ne pas dépendre de la plateforme, ou assez peu (cela dit, je n'ai jamais pratiqué qu'Apache, donc je ne sais pas si une appli web développée pour Apache tourne automatiquement sans modifs sur un autre serveur... Quand on voit déjà les galères avec les versions PHP/MySQL, je ne suis pas sûr que ce soit si simple de passer à un serveur sous IIS/ASP... Mais surtout, PHP est très lent, assez peu sécurisé, varie beaucoup, ce qui est nettement moins le cas de "vrais" langages de programmation. Ou alors, il faudrait faire des CGI en C, mais on risque de retrouver les mêmes problèmes de compatibilité.

Développer pour Windows sous Delphi/lazareus, c'est assez classique, mais AMHA pas très facile pour faire du code portable et multiplateforme. Donc, je me propose de faire un fork en C :P

Plus sérieusement, je ne pense pas vraiment que lazareus sous Linux soit une bonne solution, ni wine. Mais bon, je ne sais pas si tu pratiques le C, ni combien de temps ça prendrait pour convertir (j'ai déjà converti pas mal de trucs Delphi en C, ce n'est généralement pas trop problématique, reste quand même à savoir combien de lignes de code il y a, y compris les bibliothèques Delphi/Lazareus utilisées... De plus, si c'est une aventure qui me tenterait bien, j'habite malheureusement un pays où les jours n'ont que 24h...

Mais bon, je crois que si tu veux que ton truc ait un peu de succès, il va quand même falloir penser à la portabilité sous unix-like : sans parler forcément d'appli web, ça pourrait permettre à ton parser de tourner sur un serveur, voire sur le serveur du site, où se trouvent les logs. Ça pourrait peut-être faciliter la prise en compte des différents formats de logs, en ayant un parser spécifique pour chaque... Mais bon, je n'ai pas du tout étudié la problématique du sujet, il se peut que je dise des bêtises !

Autre point en faveur du C : je pense que si tu mets ton projet sur Github ou autre, tu auras plus facilement des développeurs C pour t'aider que des développeurs Lazareus. Mais bon, ce n'est basé que sur mon impression perso, je peux me tromper.

Open source or not ?

Tu sembles avoir pris ta décision, et je pense que c'est la bonne : plus vite tu passeras en open source, plus tu seras crédible et plus vite tu trouveras des gens pour t'aider. Après, il y a la question de la licence : c'est à étudier, mais tu parlais de pouvoir librement réutiliser ton code dans un projet privateur comme dirait RMS, et je ne crois pas, à partir du moment où tu en es propriétaire et qu'il existait avant ton projet GPL, que ça ne te soit pas possible. A vérifier quand même, et voir les différences entre GPL2 et GPL3 : il me semble que la réutilisation d'une partie de code dans un projet non open source était une des raisons d'être de la GPL3. Sinon, tu peux peut-être aussi regarder du côté de Creative Commons : je ne crois pas que CC-BY interdise que tu réutilises ton code de la manière que tu veux. AMHA, il faut juste bannir le CC-SA.

En conclusion

Ton projet me plait beaucoup, je pense qu'on a assez la même manière de voir les choses. J'hésite à m'engager plus avant faute de temps, mais ça ne me déplairait pas de te donner un coup de main. Je vais essayer de regarder ça de plus près...
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mer Oct 28, 2015 0:10

Bonsoir Jibe et merci de ta réponse; Tu as eu la bonne démarche en venant répondre sur ce fil "dédié".

Pour le langage C, il se trouve que je suis un expert, plus de vingts années de code; même si je code beaucoup moins (pour info j'assiste de nombreuses entreprise du monde embarqué à choisir leur règles de codage, fin de la parenthèse avec mon univers professionnel).

Mais je renonce à chaque fois car je n'ai jamais trouver de framework suffisamment rapide pour écrire une IHM et puis le temps d'apprendre un framework maintenant.

Pour la version linux, hé bien ça a pris du retard; tu es sous linux également? Normalement Lazarus est sous linux il faut que je vérifie l'effort de portabilité du projet. Sachant que le deuxième point va être la base de donnée Sqlite, elle aussi existe sous linux.

Le seul truc donc sur lequel je suis charrette en C c'est les IHM. J'ai appris X11 il y a vingt ans mais beaucoup trop long pour pondre la moindre interface.
Haut
Messages: 50

Enregistré le: 9 Avr 2009

Message le Mer Oct 28, 2015 1:39

Oui, je suis sous Fedora.

Pour les IHM, en C, j'utilise ultimatepp qui existe en Windows et Linux, peut assez facilement cross-compiler et générer du code multi-plateformes, éventuellement avec des #ifdef WINDOWS/POSIX etc. Le concept est assez intéressant, la communauté active et sympa, la doc assez peu fournie mais ça s'améliore peu à peu.

Côté BDD, il y a possibilité de travailler avec SQLite, MySQL et PostGreSQL. J'avais commencé à faire le plugin pour Firebird, mais j'ai abandonné faute de temps. Il me semble que quelqu'un a repris le flambeau, mais je ne sais pas où ça en est, et je n'utilise plus Firebird. Mais bon, cela pour dire qu'on peut toujours faire un plugin pour n'importe quelle base.

Le code n'est pas très standard si on veut profiter au max de l'IDE et des bibliothèques fournies, mais si c'est assez déroutant au départ, à l'usage ça s'avère redoutablement efficace.

J'ai lu quelque part que tu avais divisé ton code en plusieurs parties. Peut-être est-il possible de développer la partie IHM en C et, soit en attendant une conversion en C, soit de manière définitive, porter le reste sous Lazareus/Linux ? Je pourrais peut-être dégager un peu de temps pour m'occuper de l'IHM, mais je répète que je ne promets rien.

Dans un premier temps, il faudrait déjà que je voie un peu ce que donne ton analyseur. Il faut donc que je prenne le temps d'installer ça dans une VM Windows (y a-t-il une containte de version ? XP (j'ai déjà une VM) peut-il convenir ou faut-il une version plus récente ?

Mais bon, tout ça s'annonce mal : j'ai une fin de semaine très chargée, et la semaine prochaine risque bien de l'être aussi...
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mer Oct 28, 2015 9:24

Ecoutes, ne te bile pas je mets en haut de la pile le départ du développement sous linux. Ce qui à moi va me poser problème c'est que j'ai abandonné linux depuis vingt ans mais bon je m'y remet.

Il n'y a pas de contraintes WLA fonctionne à priori sous XP à Seven. Je dis à priori car la toute dernière version je l'utilise uniquement sous Vista et Seven. Mais je ne fais appel à rien d’ésotérique donc ça doit aussi fonctionner sous XP.

Le seul ôint faible actuele est que je ne détecte pas le taille des logs donc potentiellement le logociel peut se figer s'il n'y a plus de RAM, ça m'est arrivé avec les logs de spout (650Mo)
Haut
Messages: 727

Enregistré le: 18 Nov 2010

Message le Mer Oct 28, 2015 9:28

Pour GNU/Linux, regarde du coté des VM (comme VirtualBox), ça te sera d'une grande utilité (mais tu connais peut-être déjà :) )
Haut
Messages: 50

Enregistré le: 9 Avr 2009

Message le Jeu Oct 29, 2015 23:40

Salut,

Caine_DVP a écrit:Ecoutes, ne te bile pas je mets en haut de la pile le départ du développement sous linux.

Ne te presse pas trop : je pense que c'est le moment judicieux de bien réfléchir à l'éventuelle reconversion en C. A moins que tu n'aies déjà décidé et ne souhaites pas revenir là-dessus, il faut bien considérer que le C a de nombreux avantages !

Je ne connais pour ainsi dire pas Delphi(*) ni Lazareus, mais je crains qu'un logiciel multiplateforme soit quand même difficile à développer dans cet environnement (si Lazareus est comme Delphi, c'est autant un environnement complet qu'un langage). La version Linux de Delphi (Kylix, qui devait aussi faire du C++ et être en même temps la version Linux de C++Builder) n'a jamais eu le succès escompté, si tant est qu'elle ait été finie : tout cet environnement lourd est certainement très difficilement portable... Alors que les logiciels libres développés en C sont souvent disponibles aussi bien sous Linux que sous Windows.

D'ailleurs, quand il a fallu que je fasse du développement multi-plateforme, j'ai vite cherché autre chose que le C++Builder que je pratiquais... Même si c'était du C, l'environnement qui allait avec (quasiment le même que celui de Delphi, avec qui il partageait d'ailleurs une grande partie des bibliothèques) était bien trop contraignant.

De mon point de vue, il y a tant d'arguments en faveur du C que ce serait bien dommage de ne pas au moins se poser la question de saisir l'occasion du portage sous Linux pour faire la conversion. Ce serait trop dommage de foncer avec Lazareus Linux pour finir par s'apercevoir que ça ne convient pas, ou qu'il faut maintenir deux versions de VMA différentes au niveau des sources !

Mais bon, tu connais Delphi/Lazareus et tu dis être expert en C, c'est toi le mieux placé pour savoir ce qui est préfrérable. Mais si l'IHM peut être développée à part, là je pense qu'il faudra la faire en C, ne serait-ce que pour la facilité de coder pour deux environnements graphiques si différents.

Caine_DVP a écrit:Ce qui à moi va me poser problème c'est que j'ai abandonné linux depuis vingt ans

Effectivement, en 20 ans les choses ont pas mal évolué ! Mais bon, je pense que tes connaissances de l'époque sont, à quelques bricoles près, suffisantes pour développer cette application et la faire tourner sous Linux. Après, bien sûr, il reste l'installation, la maintenance et l'utilisation de l'OS. Mais bon, tu devrais pouvoir y arriver rapidement.

En tous cas, si besoin, n'hésite pas à me contacter : même si je cours un peu après le temps, je devrais bien arriver à trouver un moment pour répondre à tes questions ou te donner un coup de main pour le développement de certaines parties un peu pointues par rapport à l'OS.

Caine_DVP a écrit:Il n'y a pas de contraintes WLA fonctionne à priori sous XP à Seven.

Super ! (même si je m'y attendais un peu) Je vais pouvoir tester ça sur ma VM XP. Mais je crains que ce soit difficile avant la fin de la semaine prochaine.

(*) Je connais juste assez de syntaxe pascal pour avoir pu faire les conversions en C qy'on m'avait demandées, en complétant avec un peu d'expérience en C++Builder.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Ven Oct 30, 2015 14:23

Merci Jibe de cet engouement.

Ecoutes comme je l'ai dit, pour l'instant le projet est sous Lazarus en langage Pascal car je n'ai pas le temps de m'investir dans un portage en C (même si j'aime et maîtrise ce langage).

Découvre déjà l'outil, propose des améliorations ou indique quel serait ton besoin et je verrai de prendre en compte les modification éventuelles.

Vivement que tu le teste donc sous une VM (Tient Zeb, tu ne veux pas faire de même?)

Bon Week-end tous.
Haut
Messages: 50

Enregistré le: 9 Avr 2009

Message le Mar Nov 10, 2015 12:55

Salut,

Me revoilà après pas mal de galères sur d'autres affaires...

Bon, j'ai installé et testé : marche pas.

Après ce constat, passons quand même aux bonnes nouvelles :
- S'installe et se lance sous XP
- Fonctionne sous Wine, avec la restriction ci-dessous,
- Fonctionne avec le log fourni, mais pas avec les miens

Cela dit, ne nous affolons pas : mes logs sont légèrement différents (logs apache de mon serveur SME, pas (encore) testé avec d'autres). C'est probablement la cause du problème, et ça m'amène à parler de la conception de l'outil : je n'ai trouvé que WeblogAnalyzer-Onelog.zip sur ton site, qu'en est-il de Commander et Manager dont tu parles ? La réalisation en deux ou trois modules me semble intéressante pour plusieurs raisons :
  • La partie parser/analyseur en ligne de commande peut être développée en autant de versions différentes que de types de log, ce qui l'allège et simplifie l'adaptation à tous types de logs y compris exotiques.
  • Si on a plusieurs serveurs, avec des logs de formats différents, il suffit d'avoir les différents parsers voulus,
  • Les parsers pourraient être installés sur les serveurs, le Onelog ou autre Manager n'aurait qu'à récupérer les fichiers parsés pour en présenter les résultas globaux ou individuels,
  • Ça permettrait de séparer le parsage de la présentation des résultats, et d'avoir éventuellement un affichage beaucoup plus rapide
Mais bon, c'est peut-être ce que tu as déjà prévu au final, cette version d'essai étant une version tout-en-un pour simplifier ?

Question fonctionnement, ça me parait très lent ! Peut-être que je ne me rends pas compte du travail de parsage/analyse à réaliser, mais pour ce qui me semble à priori devoir être fait, j'aurais réalisé quelque chose de beaucoup plus rapide en C ! Je ne sais pas si c'est Lazareus qui est si lent, ou si je passe à côté de certaines complexltés du parsage/analyse qui font que je sous-estime grandement le temps nécessaire ? Cela dit, j'ai bien conscience que le fait d'être dans une VM n'arrange pas les choses ! Ce n'est pas mieux avec Wine, mais je n'ai jamais remarqué de différences flagrantes entre Wine et une VM, bien que ça semblerait logique puisque Wine "is not an emulator". Mais bon, quand même : en C dans une VM, tout ce que j'ai fait en parsage et gestion de BD est nettement plus rapide !

Question fonctionnalités, je dirais que ça me semble parfait : on a déjà pas mal de renseignements, qu'on peut éventuellement croiser avec d'autres (comparaison avec des résultats antérieurs, comparaison de plusieurs sites etc.) si besoin (c'est ce que tu prévoyais avec ton Manager, non ?). Tout ça sans avoir besoin de rajouter quoi que ce soit dans les sites, et donc en restant parfaitement conforme à ce que demande la CNIL sans rien faire de plus (pas de ces affreux avertissements concernant les cookies, tout au moins ils n'ont pas besoin d'être ajoutés simplement pour le suivi).

Pour ce qui est de mes logs qui ne passent pas, en voici une ligne exemple :
Code: Tout sélectionner
domaine.tld 123.456.789.321 - - [08/Nov/2015:01:25:30 +0100] "GET /conformite.php?lang=fr HTTP/1.0" 200 13282 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)"

Bon, faut encore voir s'il n'y a pas des séparateurs spéciaux et comment sont faits les fins de ligne et de fichier, mais le simple fait que domaine et IP soient inversés chez moi par rapport à chez toi peut déjà éventuellement expliquer le problème. En tous cas, il sera probablement simple à régler.

Reste donc à voir comment mettre ça en place dans la pratique, pour gérer des sites différents sur des serveurs différents, rendre disponibles les résultats des sites à leurs propriétaires respectifs, et accélérer l'analyse. Tout ça ne me ferait aucun souci sur un LL développé en C, mais dans ce cadre je suis un peu plus inquiet...
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mar Nov 10, 2015 14:01

Merci pour ce retour @Jibe :)

Donc pour la lenteur, tu as bien récupérer la 2.0 de OnleLog?

Il y a eu une grosse lenteur dans la géolocalisation avec la première version de l'outil.Oui le parse serait bien plus rapide et adaptable en langage C :)

Enfin les grands esprits ce rencontre, pour permettre la spécialisation des parsers j'avais envisagé des dll écrites en langage...C. Mais ça ne va pas être pour tout de suite.

Les autres modules arriveront plus tard. Les premiers intéressés de ce post m'ayant indiquer que la version Onelog était la plus "préssente". Le module de statistiques existe mais il n'est plus à jour par rapport au parser. EN fait le module qui t'intéresse est probablement le Commandeur ligne de commande.

Comme pour spout je te propose de m'envoyer tes logs ce qui va me permettre de valider la conception actuelle sur l'adaptation du parser.

Pour mon information, la taille de tes logs varie dans quelle plage en Koctets?
Haut
Messages: 50

Enregistré le: 9 Avr 2009

Message le Mar Nov 10, 2015 16:19

Caine_DVP a écrit:Donc pour la lenteur, tu as bien récupérer la 2.0 de OnleLog?

Ben... je vois ça où ? J'ai pris le zip sur ton site, le .exe est du 1e Juin à 22h50...

Caine_DVP a écrit:Pour mon information, la taille de tes logs varie dans quelle plage en Koctets?

Sur mon serveur, ils peuvent monter jusqu'à 350Mo, en partant de 0 bien sûr juste après le logrotate.

Ceux que j'ai essayés en vain faisaient respectivement 630Ko et 2Ko.

Caine_DVP a écrit:pour permettre la spécialisation des parsers j'avais envisagé des dll écrites en langage...C

Argh... On a bien la même manière de voir les choses dans l'ensemble, mais pas du tout sur ce point !

Déjà, en ce qui me concerne, DLL est le mot qui fâche ! Ça serait mieux passé su tu avais parlé de library, terme plus universel : DLL, c'est du Windows !

D'autre part, je ne sais pas comment tu fais ta récupération de logs et ton parsage/analyse, et je n'ai pas assez étudié la question pour savoir quelles sont les contraintes exactes et donc les moyens à mettre en oeuvre. Par contre, il y en a une qui est évidente : il faut pouvoir récupérer et analyser facilement les logs sous quelque forme qu'ils soient, et de quelque serveur qu'ils viennent. Et pour cela, le moyen à priori le plus simple, le plus rapide et le plus efficace me semble être un petit module qu'on installe sur le serveur (donc, majoritairement du Linux), et qui fait au moins la partie spécifique du parsage et sort un fichier que l'outil graphique pourra aller chercher et traiter directement.

Donc, je suis désolé mais je pense que ton outil n'est pas celui qui me convient. Je suis pourtant tout à fait favorable au développement perso, mais il faudrait soit que tout soit bien fonctionnel, soit que je puisse finir ou adapter ce qui doit l'être. Or, déjà que le choix du langage me semble inadéquat, il semble que nous ayons des vues très divergentes sur l'évolution à envisager ce qui rend ma participation très problématique voire impossible, même en supposant que tu l'acceptes.

Cela dit, ça n'empêche pas que ton idée soit excellente et que si tu la mènes à bout tu aboutiras certainement à quelque chose de très intéressant. Bonne continuation !
Haut
Messages: 50

Enregistré le: 9 Avr 2009

Message le Jeu Nov 12, 2015 1:30

Salut,

Bon, ton post datant de la nuit dernière et Caine_DVP n'étant pas repassé, je tente une réponse en attendant.

Son logiciel fonctionne sous XP et devrait te satisfaire, s'il peut lire les logs IIS, ce dont je n'ai aucune idée. Mais comme il n'a pas fonctionné avec mes logs apache, il y a une petite chance pour qu'il soit prévu pour les logs IIS.

De toutes manières, ça ne te coûte rien d'essayer : tu télécharges son logiciel ici, tu crées un répertoire dans Program Files, tu y décompresses l'archive et tu lances le truc. Il y a un log d'essai, si celui-ci fonctionne et pas le tien, il faudra voir avec Caine_DVP pour qu'il fasse l'adaptation voulue.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Lun Nov 16, 2015 9:58

Salut Jibe,

Désolé je suis un newbie en GG drive, ce n'est pas le bon lien!

https://drive.google.com/open?id=0B5-H5lFU6NGETnB3aEZYbU00Z0E

Bon je mets à jour le site à la pause repas.

C'est donc la version très lente. Celle-ci marchera peut-être avec tes logs. Corrections mineures, moins sensible au changement de formats.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Lun Nov 16, 2015 13:51

@Jibe: Merci j'ai lis à jour le lien sur le site. Il daté paut-être d'avant la création du versionning sur le fichier dans google drive. Désolé pour le temps que tu as perdu.

Comme pour Spout, un log représentatif m'aidera à appréhender la meilleure conception du parser sur le spécialisation du format de log.

Comme tu l'as indiqué tu ne garanti pas le temps à consacrer au projet. Ta participation en m'envoyant un log aidera déjà beaucoup.

Le format actuel est :

Code: Tout sélectionner
<adresse ip> <nom de domaine> - [<date et heure> +/-<fuseau horaire>] "GET <fichier demandé" <code serveur> <taille fichier> "<referrer>" "<user agent>"


En fait je pense lire un fichier de configuration de ce style pour configurer le parser. Il devrait satisfaire les utilisateurs avancés comme toi ou spout et les utilisateurs qui ne comprennent pas forcement le format de log.

Le parser actuellement décortique la ligne par les espaces et reconstruit la position de chaque morceau du format. Comme il n'y a rien de natif en Pascal en expression régulières ;)
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Lun Nov 23, 2015 13:39

La bonne nouvelle c'est qu'il existe apparemment en Freepascal un pportage de sscanf :

http://www.freepascal.org/docs-html/rtl/sysutils/sscanf.html

Je vais tester ça derechef.
Haut
Messages: 311

Enregistré le: 26 Nov 2010

Message le Mer Mar 23, 2016 13:47

Bonjour,

Juste pour vous rassurer le projet est vivant mais là je le développe moins et je l'utilise plus.

En théorie la nouvelle mouture sera moins sensible au logs de format différents, comprenez que l'analyse ne plantera pas au moins.

Si le fichier est très volumineux, la grille n'est plus rafraîchis pour éviter de consommer toutes les ressources du PC.

Maintenant je vais ajouter les statistiques, dans un premier temps sous forme textuelles.
----

En analysant les logs je me suis aperçu que j'ai des visites de facebook alors que le compteur sur la page fans reste à zéro. Et j'ai compris que FB ne compte pas d'actions si vous n'introduisez pas son script dans vos pages web! Un comble quand même!

Si ce n'est pas pour lire les cookies et tout connaître de nos visiteurs hein ;)
Haut
Messages: 37898

Enregistré le: 7 Juil 2004

Message le Mer Mar 23, 2016 17:20

Bonjour,
spout a écrit:C'est comme ça que la plupart des projets open source fonctionnent avec les contributeurs extérieurs.
help.github.com/articles/using-pull-requests/

+1, Caine_DVP vous pouvez indiquer quand le projet sera disponible sur GitHub (ou autre).

Cordialement.
Haut