Mon logiciel perso d'analyse de logs

Discussion dans 'Demandes d'avis et de conseils sur vos sites' créé par Caine_DVP, 21 Octobre 2014.

  1. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Bonsoir,

    Et voilà je me décide à demander au plus grand nombre si mon logiciel personnel leur serait utile.

    Mais qu'est-ce qu'il fait? Le café? non, mais il en a fallu pour développer le moteur d'analyse.

    Oui, il analyse les logs de connexion à mon site. Mon hébergeur fournit des logs pour chaque journée, logs provenant d'un serveur http Appache.

    L'utilitaire décortique les logs.

    Premier intérêt basé sur 5 méthodes il différencie les visites des robots et des humains.

    Il insère dans une BDD (base de donnée) les informations suivantes pour un visiteur humain:

    l'adresse IP de la visite, la date, l'heure, le nom de domaine du site, la page demandée, le referrer, l'OS, le navigateur, la langue.

    Pour les robots: Rien étant donné que je m'y suis moins intéressé. Mais je pense insérer la date, l'heure la page, le code de la page (détection des erreurs) , le nom du robot, son IP, l'OS et navigateur.

    Vous allez me dire mes pourquoi il c'est fait cette moulinette?

    J'ai un fort taux de rebond et si je mets analytics je me ferais surement sanctionné. Et puis j'aime coder quand je trouve un problème à résoudre. Enfin je suis libre de croiser les informations sous tous les angles.

    Et là vous vous dites 'où en est-il de se projet?"

    Le moteur d'analyse est fonctionnel. J'ai une interface utilisateur pauvres pour sélectionner les logs à analyser. C'est en fait une IHM de débug du projet.

    Donc 2 questions:
    -Ce projet vous intéresse?
    -Les requêtes SQL ne vous font pas peur, vous vous contenterez de sa version actuelle pour le tester?

    Précision: Il est gratuit, sans licence ni engagements de ma part, vous utiliserez en l'état.

    IL m'a été d'une grande aide en 2010 pour optimiser ma fréquentation, mais avec 3 enfants depuis je n'ai pas trop avancer sur l'IHM.

    Et dans l'avenir?

    Je réfléchis à une IHM Dashboard de référencement: Taux de rebond, Nombre de visiteurs par pages. Nombre de pages par visiteur. Tout ceci: sur toute la période, sur une année, sur un moi ou pour une sélection.

    Qui sait peut être une version d'analyse Oneshot : Analyse d'un fichier de log seul ou un groupe juste pour avoir ses informations. Comme une instantané sur une période.
     
  2. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 136
    J'aime reçus:
    273
    Bonjour,

    Cela semble intéressant, pourquoi ne pas créer un projet sur GitHub pour faire avancer le projet, c'est une idée.

    Cordialement.
     
  3. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Merci Madrileno,

    Pour ce qui est de GItHub, je m'interrogeai. Le principal problème est la licence CreativeCommon ou GPL.

    Alors une requête SQL et voilà les statistiques: 350 visiteurs unique par moi sauf pour Janvier, Février, Mars ou j'ai moins de 20 visites!

    Ensuite, je pense de plus en plus à une version pour visualiser un log (ou plusieurs) sans forcément insérer dans une BDD. Pour analyser une journée particulière ou un ensemble de journée.

    Enfin le moteur actuel pourrait aussi servir à transformer les logs en fichier XML pour que chaque utilisateur créer ses rapports avec tout outil gérant XML.
     
  4. f_trt
    f_trt WRInaute impliqué
    Inscrit:
    17 Septembre 2005
    Messages:
    970
    J'aime reçus:
    0
    Quel problème svp ?
     
  5. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Je réutilise 80% de mes sources de projet à projet.

    Pour l'instant j'ai stoppé toute activité non salarié mais qui sait dans quelques années.

    Donc je veux conserver le droit d'utiliser mes sources même dans du logiciel non open-source.
     
  6. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Tient je viens de trouver une requête intéressante et surtout le résultat:

    les mois Janvier,Février et mars j'ai 20 visiteurs uniques mais le reste du temps, 350 visiteurs uniques:)

    Pas mal cette année.

    Pour le logiciel, je commence à penser à une suite:
    1/Mode ligne de commande: Extraction des informations des logs et enregistrement dans une fichier de sortie XML
    2/Mode ONelog: visualiser log par log soit une table avec les informations, soit même n tableau de bord
    3/Mode Statistiques: Parser tous les logs et enregistrement dans une base de donnée, avec tableau de bord, production de rapports.

    Pour GitHub: J'y songerai plus sérieusement quand le projet sera bien conceptualisé.
     
  7. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Bonjour,

    J'ai mis en ligne le début de la description du logiciel.

    WebLogAnalyzer

    Je ferai vivre la page au fur et à mesure,

    N'hésitez pas à venir sur mon profil GG+ pour faire vos commentaires.

    Bon WE pour bientôt.
     
  8. salva
    salva WRInaute accro
    Inscrit:
    16 Avril 2006
    Messages:
    3 577
    J'aime reçus:
    0
    Bonjour,

    Pour ma part, c'est ce point précis qui a retenu mon attention.

    Tu as une idée de date pour une première mouture ?
     
  9. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 136
    J'aime reçus:
    273
    Bonjour,

    Merci pour la mise à jour du sujet.
    +1, merci d'avance.

    Cordialement.
     
  10. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Bonjour à vous deux,

    La version actuelle permet déjà de visualiser le log sous forme de table MASI:
    -L'IHM est moche
    -Parfois quelque bugs lié à des exceptions dans la forme du log.

    Il suffit de ne pas utiliser "insertion massive". Sinon, début 2015 j'espère finaliser quelque chose de sympathique.
     
  11. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 136
    J'aime reçus:
    273
    Merci pour l'information. :)
     
  12. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 196
    J'aime reçus:
    1
    hors sujet > c'est toi ça -http://www.like-rank.com/search/blog ? si oui ton nuage de tag SVG tu fait comment ? c'est sympa ce truc.
     
  13. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 136
    J'aime reçus:
    273
    Bonjour,

    C'est de Nifrou.

    Cordialement.
     
  14. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    [HS] Le nuage de tag est une image-map réactive côté client ou serveur. Mais je ne sais pas le faire, juste que ça existe.

    Pour en revenir au logiciel, dans l'analyse de log unaire, ce qui vous interesse c'est l'affichage en colonne je suppose?
     
  15. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Bonjour à tous,

    J'ai commencé la partie onlog. Copier coller du projet actuel pour en extraire le nécessaire au module Onelog.

    En fait d'ici la semaine prochaine j'espère vous fournir une première version.

    Bon côté look elle ne sera pas jolie car j'ai le grand défaut de ne pas m'intéressé au look des logiciels mais plutôt à ce qu'il font.

    J'ai axé sur la décomposition dans une grille du log, ventiler en traffic vue et traffic robot pour cette première version.

    Je sais vous trépignez de tester Onelog ;)

    HS/ Bonne et heureuse, fructueuse année 2015.
     
  16. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
  17. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 136
    J'aime reçus:
    273
    Bonjour,

    Un drapeau de la géolocalisation serait bien.

    Cordialement.
     
  18. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 809
    J'aime reçus:
    242
    Et on doit rapatrier les logs sous Winzobe pour les consulter ?
    Avec Selenium, PhantomJS, Scrapy, etc... j'ai des doutes concernant le traffic "humain".
     
  19. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    @Madrileno: Le problème de la géolocalisation c'est que les BDD d'IP gratuites sont limitées ou les API de certains sites sont limitée en nombre de connexion. Ce n'est pas évident de décortiquer une adresse IP poour avoir le pays, la région etc. Si tu as des infos sur le sujet je suis intéressé.

    @spout: Chez OVH, il faut visiblement télécharger les logs à la main, ça fait plusieurs fois que je leur demande une autre solution mais...autant pisser dans la mer.

    Pour la deuxième partie à quoi correspondent les noms que tu cites? Je n'ai pas bien compris.

    A part avec un qui va mer forcer à renforcer la ventilation humain/robot, quand j'ouvre mes logs ça correspond bien entre trafic humain et robot.

    J'ai pensais mettre quelques statistiques pour le log: Nombre de visiteur unique humain, nombre de robots unique. Nombre de pages vues par visiteurs etc.

    Donc la version tableau vous intéresse où vous préferez attendre que j'ai mis en place les statistiques.
     
  20. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 883
    J'aime reçus:
    0
  21. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 809
    J'aime reçus:
    242
    Du coup ça serait bien de pouvoir browser le serveur (FTP, SFTP, FTPS, ...) via ton soft.

    Selenium & PhantomJS ce sont des browsers (headless) automatisables.
    Scrapy c'est un web page scraper.

    Et qu'un UA ça se change facilement et beaucoup de visites sont des bots, 56% d'après ce rapport: http://www.incapsula.com/blog/bot-traffic-report-2014.html

    De plus, tu dois prévoir la configuration du "LogFormat" qui n'est p-e pas celui par défaut pour tout le monde:
    http://httpd.apache.org/docs/current/fr/mod/mod_log_config.html#logformat
    Sans oublier qu'il n'y a pas que Apache comme serveur HTTP.
     
  22. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Merci pour tous ces liens.

    Pour rapatrier les logs automatiquement j'ai aussi une autre idée mais à tester. Je ne pense pas que ce soit la priorité.

    En effet en analyse "OnleLog" le référenceur/Webmasteur essai de focaliser sur une journée particulière.

    Je vais mettre en ligne la version actuelle, Comme je l'ai expliqué elle correspond à mes besoins. Dans un premier temps j'espère que cette version vous sera quand même utile en l'état.

    J'ai amélioré ce WE l'extraction du nom de robots.
     
  23. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    VOici vos demandes et mon estimation d'inpact:

    • -@Madrileno:
      • Géolocalisation des adresses IP=> Vérifier propagation de la licence de la base fournie par @Jean-luc. Voir comment on retrouve une IP la dedans. Co^té intégration dans le soft actuel ça ne semble pas difificile. En cours de recherche.
      -@Spout:
      • Automatisation de la récupération des logs => Vérifier dans le détail la solution que tu proposes mais dans l'absolu ce genre de solution est difficile à intégrer. Je pense aussi à un logiciel dont j'ai oublié le nom qui rapattrie depuis une URL donner en paramètre. En cours d'étude sur la faisabilité et la solution à retenir.
      -@Spout:
      • Adaptation au log format=> Là très difficile, revoir la conception du parser voir coder dans un autre langage. Non traité pour l'instant.
     
  24. fobec
    fobec WRInaute discret
    Inscrit:
    10 Mai 2005
    Messages:
    189
    J'aime reçus:
    0
    Pour la localisation des adresses ip, je peux te proposer des bases de données,
    A priori, pour le logiciel d'analyse de log une version light qui comprend le code pays de l'ip est suffisant, 2 versions existent:
    - csv pour les ip V4 et ip V6, temps de réponse en lecture env 100ms,
    - binaire compatible ipV4 et ipV6, temps de réponse en lecture 1 ms
    - api pour les petits volumes <1000 requetes / heure

    Y a pas grand chose à intégrer à ton projet, 2-3 lignes de code.
     
  25. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Bonjour et Merci Fobec,

    Les utilisateurs m'ont déjà fournis un lien vers une BDD gratuite et à priori libre d'adresse IP.

    Votre proposition est-elle gratuite et sous quelle licence?

    Et à priori je viens de comprendre comment rechercher une adresse IP dans la BDD.
     
  26. fobec
    fobec WRInaute discret
    Inscrit:
    10 Mai 2005
    Messages:
    189
    J'aime reçus:
    0
    Oui Maxmind est un bon produit, de toute façon, il existe peu de bases de localisation d'ip ouvert au public, la plupart des sites de localisation se basent sur la version gratuite de Maxmind.

    Par contre, pour ton projet de quelles infos as-tu besoin ?
    - localisation par pays,
    - localisation poussée (précision ville) + nom du fai,
    - whois de l'adresse ip.

    Il n'y a pas vraiment de licence, pour des volumes raisonnables, les 3 api et les versions à installer sont gratuites.
     
  27. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    C'est les utilisateur de ce post qui en ont besoin. Je pense que localiser le pays suffira dans un premier temps.

    Bon j'ai découvert un outil super sous windows BITSADMIN.

    Je réussi à rapatrier un fichier depuis un autre PC et avec mot de passe dans un Intranet, je réussit à rapatrier un fichier depuis le FTP anonyme d'orange mais impossible de rapatrier un logs chez OVH. J'ai ouvert une demande support mais avec un offre start10m...je vais attendre u moment.
     
  28. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    J'ai avancé ce soir sur la Géolocalisation:
    - Création scriots Sql des bases correspondant à GeoLite2
    - Création de la base et des tables
    -Après modifications de fichiers de Geolite import par la ligne de commande dans la base.

    C'est un bon début, il me reste à testre l'algorithme auquel j'ai pensais pour géolocaliser les IP et ajout à l'IHM.

    Bientôt si mes jumeaux dorment le soir:)
     
  29. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Je vous ai laissé sans nouvelle,

    Excusez moi. Mais je n'ai pas eu le temps de reprendre le developpement avant hier soir.

    Intégration de la classe objet qui gère la BDD Geolite. Bientôt les premiers tests de l'algorithme.

    A bientôt.
     
  30. cedric_g
    cedric_g WRInaute accro
    Inscrit:
    18 Janvier 2006
    Messages:
    2 958
    J'aime reçus:
    0
    Bonjour

    Juste pour ma culture, tu développes avec quel langage ?
     
  31. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Pour ce projet je développe initialement sous Delphi turbo edition 2006 (personnal),
    j'ai migré sur Lazarus depuis milieu 2014 puisque il est impossible de trouver une version gratuite de delphi.

    Si tu parles plus généralement, je dirais qu'il y a le choix parmi 32 langages de programmation ou scripting :)
     
  32. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    J'ai eu enfin le temps d'avancer, et quelle avancée.

    Je récupère bien les lignes en fonction de l'adresse IP analysée du log. La je planche sur l'algorithme qui construit le masque en fonction de chaque CIDR pour vérifier si l'adresse IP correspond.

    L'étape la plus difficile a été de reprendre un code non commenté vieux de 4 ans :) Mais ça y est j'ai compris comment j'ai conçu ma classe qui encapsule la base de donnée.

    Donc d'ici peu vous aurez une version. Pas forcement complète sur la géolocalisation mais la majorité des adresses IP passeront j'espère.
     
  33. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Bonsoir, la géolocalisation est intégré, je commence les tests.

    Un aperçu ici:
    [img href="https://plus.google.com/u/0/b/111943540565506609158/111943540565506609158/posts/6B8YaXa7UiZ?pid=6153267258593948162&oid=111943540565506609158"][/img]
     
  34. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
  35. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 196
    J'aime reçus:
    1
  36. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Merci Zeb.

    Voici le lien sur gdrive:
    https://drive.google.com/file/d/0B5-H5lFU6NGERUFIRmtUOUNRd0U/view?usp=sharing

    Testé sans virus à ce jour.

    Vous dézippez et il y a un de mes logs à la racine.

    Comme le montre la capture toutes les adresses ne sont pas localisés. En fait pour certaines ça nuirait fortement aux performances avec l'algorithme de recherche actuelle (imaginez 2^256 possibilités)

    A lire vos retours.
     
  37. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 196
    J'aime reçus:
    1
    J'aimerais bien mais j'ai pas windows :cry:
     
  38. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 809
    J'aime reçus:
    242
    Moi j'ai Windaube mais pas Apache :mrgreen:
     
  39. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Vous êtes exigent :)

    Même pas pû mettre la première version et déjà demande d'ajout.

    Bon pour WIndows: Ca tombe mal car j'ai utilisé des fonctions OS spécifiques de Lazarus. Je regarde l'impact des modifications.

    Pour ceux qui n'ont pas appache=> Si vous fournissez des exemples de logs, je regarde l'impact.

    Je ne garanti pas ma réactivité :)
     
  40. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 196
    J'aime reçus:
    1
    Je voulais t'en parler mais vu l'empleur possible du truc j'ai laissé pisser, mais dans le principe prévoir que ça soit compilable sur du système unix like c'est pas con car tu as forcement ça sous la main dans la plupart des environnement web.
    De la des possibilité d'utilisation en ligne aussi (CGI ?)
     
  41. fobec
    fobec WRInaute discret
    Inscrit:
    10 Mai 2005
    Messages:
    189
    J'aime reçus:
    0
    A quoi corresponde 2^256 possibilités ?
    Pour la geoloc, essaie d'utiliser un tri dichotomique ou un arbre binaire, la recherche d'une IP prend moins de 1 ms :wink:

    Lazarus, s'agit-il du compilateur FreePascal ?
    De mémoire, l'ide permettait de compiler sous différents OS y compris Linux.
     
  42. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Oui il s'agit de l'IDE freepascal. Il permet de compiler sous différents OS mais comme il y a eu un problème avec les fonctions d'accès disque j'ai remis les fonctions pures windows.

    Je sais mais là déjà voyons si vous lui trouver une utiliré en l'état.

    @Seb: Je vais voir comment compiler sous windons pour Linux et l'ampleur/Compatibilité des modifications à faire.

    Le portage sous Linux/Mac, ainsi que prendre en compte d'autres formats de logs étaient un objectif plus lointain pour moi.

    Je vous tient informés.

    Merci de votre intérêt.
     
  43. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    @Zeb: J'ai lu plusieurs sujet et pour le cross-compiling ce n'est pas gagner.

    Mais j'y pense il y a Wine sous linux pour émuler windows. En attendant que je m'y colle.
     
  44. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 196
    J'aime reçus:
    1
    Cherche pas, j'ai vérifié, Lazarus est dispo sous ma distrib bref ça dois pas être compliqué de porter ton projet si tu fais pas des appel sur l'OS. Je n'ai pas pu l'installer car je n'ai pas assez de place en revanche. (putain de disque mal partitionné par le vendeur et j'ai pas pu le refaire car la machine n'était a moi a l'origine, bref je l'ai installé a l'arrache)
     
  45. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    @Zeb:
    Oui je sais que Lazarus existe sous Linux et d'ailleurs MAc.
    Je n'ai pas envie d'installer chaque OS et le cross compiling me paraît avantageux mais au final ça semble pénible.

    Du coup je pars sur une machine virtuelle. D'ailleurs, tu peux me donner ta distribution linux, ensuite je téléchargerai une VM linux de la même distribution puis compilation native sous l'OS.
     
  46. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 196
    J'aime reçus:
    1
  47. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    J'ai bien fait de demander sinon j'aurai pris une Ubuntu :)

    Bon je télécharge une VM pour Virtualbox si ça existe.
     
  48. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 196
    J'aime reçus:
    1
    boeurk !
     
  49. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Voici vos demandes et mon estimation d'impact:

    -@Madrileno:
    Géolocalisation des adresses IP=> Licence Geolite OK, merci @Jean-luc. Intégration et faisabilité établie de la géolocalisation. Merci @Fobec pour l'idée de dichotomie.
    -@Spout:
    Automatisation de la récupération des logs => Vérifier dans le détail la solution que tu proposes mais dans l'absolu ce genre de solution est difficile à intégrer. Solution non fournie par OVH ils restent sur voir la page web. Non traité pour l'instant. Etude de faisabilité cet été.
    -@Spout, Fobec:
    Adaptation au log format=> Revoir la conception du parser donc assez difficile. Mais une idée m'est venue: Développez un wrapper de vos logs vers le format accepter actuel. Non traité pour l'instant. Si vous fournissez au moins un log chacun je commence l'étude cet été.
    -@Zeb: Portage sous Linux: Pourquoi pas, l'IDE LAzarus s'y prête bien. J'ai télécharger une Virtual Box OpenMandriva, reste plus qu'à y installer l'IDE et voir si le projet compile. Etude de faisabilité cet été.

    PS: Bon je pense utiliser soit un blog, soit la page GG+ pour le suivi de vos demande, suis-je autorisé à citer vos pseudo?

    Bonne journée.
     
  50. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 809
    J'aime reçus:
    242
  51. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    J'ai déjà ces liens il me semble, ce qu'il me manque c'est de vrai logs pour tester qui collent à vos config (SPout et @fobec).

    Bon je vais chercher si des exemples existent sur le net.
     
  52. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 136
    J'aime reçus:
    273
    Bonjour,

    Des graphiques seraient bien pour compléter les statistiques.

    Cordialement.
     
  53. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Oui Madrileno, c'est la phase 2 du développement. Mais vous (plusieurs membres) m'avez donner à développer quelques fonctions avant d'en arriver là.
     
  54. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Bonjour à tous,

    Voilà l'algorithme optimisé est finalisé et le bug est corrigé. Et vous savez ce que j'ai oublié? Mettre un index sur la base.

    Je n'ai pas fait attention mais une fois importée elle fait quand même 6Mo! C'est ça mon goulot d'étranglement.

    J'espère une version ce WE ;)
     
  55. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Il y avait deux coupable:
    le premier facile était l'index. C'est modifié mais j'ai totu juste gagné 1 s/

    Le deuxième c'est le TStringGrid: Une recherche GG a confirmer mes craintes, dans Lazarus c'est un goulot de performance.

    Donc a midi je met en ligne la version.
    Réapprendre la patiente: 3s pour 90 Ko.
     
  56. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
  57. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 809
    J'aime reçus:
    242
    J'ai téléchargé et testé le logiciel avec le log d'exemple fourni.
    Ça a un peu laggué (Windows à indiqué: Ne répond pas).

    Il y a une inversion avec langue, la colonne Navigateur affiche "en-us", et la colonne langue "MSIE 7.0".
    Pareil pour la colonne "url referrer" qui affiche le statut HTTP.
    Un screenshot sera probablement plus parlant:
    [​IMG]

    Petite coquille: Traffic => Trafic (Traffic c'est en anglais).
     
  58. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Merci spout pour ce retour.

    Effectivement inversion des en-têtes.

    Oui ça lague méchamment. Je travaille à résoudre le problème. Il vient de la base.

    Il semble que malgré l'index et la suppression des TSringGrid toujours aussi long. Je vais reconstruire la BDD et tester ça cette semaine.

    Pour les statistiques de visites j'ai pensé à des statistique web-marketing comme nombre de visiteurs unique. Nb page par visiteurs; Nombre de visiteur unique par referrer (notamment Google seacrh).

    Mais aussi des statistiques de maintenance comme temps de chargement des CSS, nombre de css par page, temps réponse, nombre de page en 404.
     
  59. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Bonjour Mise en ligne nouvelle version sous le même nom pour garder le lien GG Drive.

    Correction des noms de colonnes...Mais surtout Geolocalisation sans Lag! C'est instantané.

    Une bonne soirée de rework complet de la base et ré-inplémentation de l'objt database mais le succès est au rendez-vous: Géolocalisation intégrée.

    Allez je passe aux autres demandes:)
     
  60. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 809
    J'aime reçus:
    242
    Je confirme que ça lag plus et les colonnes sont correctes ;)
     
  61. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    @Spout: J'ai parcouru la page. Je pense pouvoir modifier le parser mais il me faut absolument des exemples de logs pour les tests. Peux-tu me faire passer un log par MP, confidentialité assurée. il ne me servira qu'a testé les modifications.

     
  62. Blount
    Blount WRInaute impliqué
    Inscrit:
    18 Novembre 2010
    Messages:
    707
    J'aime reçus:
    0
    Je n'ai pas vu si c'était Open Source ?

    Sinon, pourquoi Piwik ne te satisferait pas ? Quelle est la différence avec ton logiciel ?
    J'ai vu que tu indiquais ne pas vouloir utiliser Google Analytics pour éviter d'être pénalisé. Piwik ne te poserait pas ce problème.
    Il a aussi une API assez puissante pouvant permettre l’extraction des données dans différents formats (CSV, XML, etc.).

    Tu pourrais voir à convertir ton logiciel en site internet (dans le sens application web). L'avantage, c'est que tu oublies complètements le système d'exploitation. Ça te permet aussi d'avoir des contributeurs plus facilement.

    Après, j'ai bien compris que c'était un logiciel personnel et un plaisir pour toi de coder.
     
  63. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 136
    J'aime reçus:
    273
    Bonjour,
    Bonne question. :)

    Cordialement.
     
  64. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    @Blount: En premier c'est parce que je ne suis pas un professionnel du référencement et le jour où j'ai voulu analyser mes logs, ne connaissant pas d'outils je l'ai codé.

    Je le fournis à la communauté mais il deviendra Open Source quand il sera plus avancé. Pourquoi pas. Quoique dans l'open source la tendance reste au fork.

    @Madrileno et @Blount : Qu'est-ce qui vous gêne dans le fait qu'il ne soit pas open-source? Il est libre et gratuit.

    Pour une version Web, pour l'instant exclus car je ne sais pas comment faire de CGI chez OVH.
     
  65. Blount
    Blount WRInaute impliqué
    Inscrit:
    18 Novembre 2010
    Messages:
    707
    J'aime reçus:
    0
    C'est pas que ça gène que ce ne soit pas Open Source, mais ça laisse toujours un doute sur l'utilisation des données du logiciel.
    Qui nous dit que tu ne les envoies pas sur un de tes serveurs ? Ce ne serait pas bien compliqué de le savoir (même si ce n'est pas à la porté de tous le monde) mais quand même. On peut dire que c'est parano, mais bon c'est une réalité dans les logiciels propriétaires.

    Tu fais erreur en pensant qu'il faut attendre que ce soit plus avancé pour le passer Open Source. Ouvrir le code ne signifie pas faire du professionnel. Tu peux juste le mettre sur un dépôt et laisser les utilisateurs se débrouiller ;)
    Les devs peuvent ainsi te proposer des améliorations beaucoup plus rapidement (avec le code à intégrer).

    Le fork (le vrai) n'existe que par divergence d'opinion et peut être le sauveur du logiciel. Il suffit de regarder OpenOffice et LibreOffice et comment ça s'est terminé (merci Oracle ^^).
    Mais c'est aussi pour rendre service à tes utilisateurs. Si je souhaite intégrer une fonctionnalité à ton logiciel et que tu n'es pas d'accord, je peux alors créer une copie (voir Github), effectuer mes modifications et continuer à intégrer tes modifications (merge).
    Et tous le monde est content ;)

    Sinon, la version web n'a rien à voir avec le CGI OVH.
    L'avantage est que tous le monde peut l'installer sur son propre serveur. Et en allant plus loin, la version 5.4 de PHP permet de lancer un serveur web indépendant d'apache et autre. On peut donc l'utiliser pour créer des applications autonomes.
    C'est fait pour le dev, mais rien n'empêche de l'utiliser dans ce cas.
     
  66. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 136
    J'aime reçus:
    273
    Bonjour,
    Rien, c'était par curiosité (code source).

    Cordialement.
     
  67. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    @Madrileno: Pas de problème, moi aussi j'ai posé la question par curiosité

    @Blnout: EN fait quand je dis que je veux un projet plus aboutis avant de le rendre Open-source c'est pour justement assurer la viabilité de celui-ci et éviter le fork.

    Merci @blnout, je n'avais pas pensé au côté récupération des données. Voilà qui justifie l'open-source. Même si je ne vois pas l'intérêt de récupérer des données de logs de sites que je ne gère pas ;)

    Et ça va aussi dans le sens de l'utilisateur qui modifierait le logiciel surtout parce que je n'aurais pas le temps de prendre en compte.

    Là encore il faut que je trie et j'améliore le projet qui reste actuellement un dev personnel.

    Objectif de l'année 2016: Passer en Open Source; Allez je me décide.
     
  68. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 809
    J'aime reçus:
    242
    Très bonne idée.
    Met ça sur github ou bitbucket.
    Tu risques juste d'avoir des gens qui font des pull requests :)
     
  69. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 136
    J'aime reçus:
    273
    Bonjour,
    Excellente nouvelle pour les fans d'Open Source. :)

    Cordialement.
     
  70. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Merci, mais ce n'est pas dans 5 jours.

    Pull request késako?

    Ou simplement sur mon site pour profiter du trafic ;)
     
  71. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 809
    J'aime reçus:
    242
    En bref: quelqu'un qui a forké et fait des modifs sur ton code et qui demande que tu le fusionnes avec le tiens.
    C'est comme ça que la plupart des projets open source fonctionnent avec les contributeurs extérieurs.
    https://help.github.com/articles/using-pull-requests/
     
  72. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Merci @Spout, voilà en 2016 je vais manager mon premier projet open source et justement les pull-request, il faudra que je status sur comment je vais gérer ça.

    Bon, pour ta demande @spout, je vais refondre le parser en premier car il y a trop d'informations erronées. Si avec le peu de visites en 2012-2014 le parser remonté les bon champs, je m'aperçois qu'il y a trop d'erreurs.

    C'est le premier pas vers la prise en compte de format de logs différents.

    Pour établir la faisabilité de cette fonction, je vais me cantonner (comme le riz) à un format par site. Mais je sens déjà que ça ne va pas être suffisant :)

    En résumer: Patiente...En attendant je vais étudier la possibilité d'un wrapper de format de logs, espérant qu'un simple batch soit suffisant.
     
  73. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    @Spout: Hé bien j'ai de quoi faire, 360Mo de logs, merci :) La bonne nouvelle est que le format est compatible, en fait ce qui pêche c'est le user-agent. Je travaille sur un développement spécifique pour toi qui me permettra d'étudier une méthode plus générique dans un deuxième temps.

    Ca avance doucement ;)
     
  74. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Sacré benchmark du soft avec les logs de spouts. Heureusement que les 360 Mo ne sont pas intégralement remontés.

    Quand même 50 Mo de logs dans la grille. J'avais un doute sur la capacité de Lazarus à tenir. C'est bon. Je cherche à comprendre le nom des pages. A priori j'en ai trouvé en '.html' mais je pense qu'il y a bien plus que ces pages à remonter.

    Enfin àa me permet de réfléchir à plusieurs problématiques en même temps.

    Merci.
     
  75. jibe
    jibe Nouveau WRInaute
    Inscrit:
    9 Avril 2009
    Messages:
    40
    J'aime reçus:
    0
    Salut,

    Merci pour ta réponse à mon post, Caine_DVP :)

    Je te réponds ici parce que ça me parait plus approprié, je te ferai une brève réponse dans mon sujet quand j'aurai d'autres avis.

    Très intéressant, ton truc ! J'ai parcouru rapidement, et voici mes premières impressions :

    Piwik, analyseur de logs ou dev perso ?

    J'avais choisi à priori piwik parce qu'il faisait plus qu'un analyseur de logs. Mais c'est vrai qu'avec les logs, on a déjà beaucoup, et c'est peut-être assez. Après, je ne sais pas ce qu'il existe comme analyseurs de logs open source (pas cherché de ce côté... pas encore !). Ce n'est peut-être pas la peine de réinventer l'eau chaude ? Cela dit, je suis moi aussi victime du syndrome NIH, donc je comprends parfaitement ta démarche. D'ailleurs, avant de lire ta réponse, je me posais la question de me faire un petit truc perso léger qui me sorte juste les infos dont j'ai besoin.

    Appli web, logiciel Windows ou multiplateformes ?

    Les applis web ont certes l'avantage de ne pas dépendre de la plateforme, ou assez peu (cela dit, je n'ai jamais pratiqué qu'Apache, donc je ne sais pas si une appli web développée pour Apache tourne automatiquement sans modifs sur un autre serveur... Quand on voit déjà les galères avec les versions PHP/MySQL, je ne suis pas sûr que ce soit si simple de passer à un serveur sous IIS/ASP... Mais surtout, PHP est très lent, assez peu sécurisé, varie beaucoup, ce qui est nettement moins le cas de "vrais" langages de programmation. Ou alors, il faudrait faire des CGI en C, mais on risque de retrouver les mêmes problèmes de compatibilité.

    Développer pour Windows sous Delphi/lazareus, c'est assez classique, mais AMHA pas très facile pour faire du code portable et multiplateforme. Donc, je me propose de faire un fork en C :p

    Plus sérieusement, je ne pense pas vraiment que lazareus sous Linux soit une bonne solution, ni wine. Mais bon, je ne sais pas si tu pratiques le C, ni combien de temps ça prendrait pour convertir (j'ai déjà converti pas mal de trucs Delphi en C, ce n'est généralement pas trop problématique, reste quand même à savoir combien de lignes de code il y a, y compris les bibliothèques Delphi/Lazareus utilisées... De plus, si c'est une aventure qui me tenterait bien, j'habite malheureusement un pays où les jours n'ont que 24h...

    Mais bon, je crois que si tu veux que ton truc ait un peu de succès, il va quand même falloir penser à la portabilité sous unix-like : sans parler forcément d'appli web, ça pourrait permettre à ton parser de tourner sur un serveur, voire sur le serveur du site, où se trouvent les logs. Ça pourrait peut-être faciliter la prise en compte des différents formats de logs, en ayant un parser spécifique pour chaque... Mais bon, je n'ai pas du tout étudié la problématique du sujet, il se peut que je dise des bêtises !

    Autre point en faveur du C : je pense que si tu mets ton projet sur Github ou autre, tu auras plus facilement des développeurs C pour t'aider que des développeurs Lazareus. Mais bon, ce n'est basé que sur mon impression perso, je peux me tromper.

    Open source or not ?

    Tu sembles avoir pris ta décision, et je pense que c'est la bonne : plus vite tu passeras en open source, plus tu seras crédible et plus vite tu trouveras des gens pour t'aider. Après, il y a la question de la licence : c'est à étudier, mais tu parlais de pouvoir librement réutiliser ton code dans un projet privateur comme dirait RMS, et je ne crois pas, à partir du moment où tu en es propriétaire et qu'il existait avant ton projet GPL, que ça ne te soit pas possible. A vérifier quand même, et voir les différences entre GPL2 et GPL3 : il me semble que la réutilisation d'une partie de code dans un projet non open source était une des raisons d'être de la GPL3. Sinon, tu peux peut-être aussi regarder du côté de Creative Commons : je ne crois pas que CC-BY interdise que tu réutilises ton code de la manière que tu veux. AMHA, il faut juste bannir le CC-SA.

    En conclusion

    Ton projet me plait beaucoup, je pense qu'on a assez la même manière de voir les choses. J'hésite à m'engager plus avant faute de temps, mais ça ne me déplairait pas de te donner un coup de main. Je vais essayer de regarder ça de plus près...
     
  76. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Bonsoir Jibe et merci de ta réponse; Tu as eu la bonne démarche en venant répondre sur ce fil "dédié".

    Pour le langage C, il se trouve que je suis un expert, plus de vingts années de code; même si je code beaucoup moins (pour info j'assiste de nombreuses entreprise du monde embarqué à choisir leur règles de codage, fin de la parenthèse avec mon univers professionnel).

    Mais je renonce à chaque fois car je n'ai jamais trouver de framework suffisamment rapide pour écrire une IHM et puis le temps d'apprendre un framework maintenant.

    Pour la version linux, hé bien ça a pris du retard; tu es sous linux également? Normalement Lazarus est sous linux il faut que je vérifie l'effort de portabilité du projet. Sachant que le deuxième point va être la base de donnée Sqlite, elle aussi existe sous linux.

    Le seul truc donc sur lequel je suis charrette en C c'est les IHM. J'ai appris X11 il y a vingt ans mais beaucoup trop long pour pondre la moindre interface.
     
  77. jibe
    jibe Nouveau WRInaute
    Inscrit:
    9 Avril 2009
    Messages:
    40
    J'aime reçus:
    0
    Oui, je suis sous Fedora.

    Pour les IHM, en C, j'utilise ultimatepp qui existe en Windows et Linux, peut assez facilement cross-compiler et générer du code multi-plateformes, éventuellement avec des #ifdef WINDOWS/POSIX etc. Le concept est assez intéressant, la communauté active et sympa, la doc assez peu fournie mais ça s'améliore peu à peu.

    Côté BDD, il y a possibilité de travailler avec SQLite, MySQL et PostGreSQL. J'avais commencé à faire le plugin pour Firebird, mais j'ai abandonné faute de temps. Il me semble que quelqu'un a repris le flambeau, mais je ne sais pas où ça en est, et je n'utilise plus Firebird. Mais bon, cela pour dire qu'on peut toujours faire un plugin pour n'importe quelle base.

    Le code n'est pas très standard si on veut profiter au max de l'IDE et des bibliothèques fournies, mais si c'est assez déroutant au départ, à l'usage ça s'avère redoutablement efficace.

    J'ai lu quelque part que tu avais divisé ton code en plusieurs parties. Peut-être est-il possible de développer la partie IHM en C et, soit en attendant une conversion en C, soit de manière définitive, porter le reste sous Lazareus/Linux ? Je pourrais peut-être dégager un peu de temps pour m'occuper de l'IHM, mais je répète que je ne promets rien.

    Dans un premier temps, il faudrait déjà que je voie un peu ce que donne ton analyseur. Il faut donc que je prenne le temps d'installer ça dans une VM Windows (y a-t-il une containte de version ? XP (j'ai déjà une VM) peut-il convenir ou faut-il une version plus récente ?

    Mais bon, tout ça s'annonce mal : j'ai une fin de semaine très chargée, et la semaine prochaine risque bien de l'être aussi...
     
  78. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Ecoutes, ne te bile pas je mets en haut de la pile le départ du développement sous linux. Ce qui à moi va me poser problème c'est que j'ai abandonné linux depuis vingt ans mais bon je m'y remet.

    Il n'y a pas de contraintes WLA fonctionne à priori sous XP à Seven. Je dis à priori car la toute dernière version je l'utilise uniquement sous Vista et Seven. Mais je ne fais appel à rien d’ésotérique donc ça doit aussi fonctionner sous XP.

    Le seul ôint faible actuele est que je ne détecte pas le taille des logs donc potentiellement le logociel peut se figer s'il n'y a plus de RAM, ça m'est arrivé avec les logs de spout (650Mo)
     
  79. Blount
    Blount WRInaute impliqué
    Inscrit:
    18 Novembre 2010
    Messages:
    707
    J'aime reçus:
    0
    Pour GNU/Linux, regarde du coté des VM (comme VirtualBox), ça te sera d'une grande utilité (mais tu connais peut-être déjà :) )
     
  80. jibe
    jibe Nouveau WRInaute
    Inscrit:
    9 Avril 2009
    Messages:
    40
    J'aime reçus:
    0
    Salut,

    Ne te presse pas trop : je pense que c'est le moment judicieux de bien réfléchir à l'éventuelle reconversion en C. A moins que tu n'aies déjà décidé et ne souhaites pas revenir là-dessus, il faut bien considérer que le C a de nombreux avantages !

    Je ne connais pour ainsi dire pas Delphi(*) ni Lazareus, mais je crains qu'un logiciel multiplateforme soit quand même difficile à développer dans cet environnement (si Lazareus est comme Delphi, c'est autant un environnement complet qu'un langage). La version Linux de Delphi (Kylix, qui devait aussi faire du C++ et être en même temps la version Linux de C++Builder) n'a jamais eu le succès escompté, si tant est qu'elle ait été finie : tout cet environnement lourd est certainement très difficilement portable... Alors que les logiciels libres développés en C sont souvent disponibles aussi bien sous Linux que sous Windows.

    D'ailleurs, quand il a fallu que je fasse du développement multi-plateforme, j'ai vite cherché autre chose que le C++Builder que je pratiquais... Même si c'était du C, l'environnement qui allait avec (quasiment le même que celui de Delphi, avec qui il partageait d'ailleurs une grande partie des bibliothèques) était bien trop contraignant.

    De mon point de vue, il y a tant d'arguments en faveur du C que ce serait bien dommage de ne pas au moins se poser la question de saisir l'occasion du portage sous Linux pour faire la conversion. Ce serait trop dommage de foncer avec Lazareus Linux pour finir par s'apercevoir que ça ne convient pas, ou qu'il faut maintenir deux versions de VMA différentes au niveau des sources !

    Mais bon, tu connais Delphi/Lazareus et tu dis être expert en C, c'est toi le mieux placé pour savoir ce qui est préfrérable. Mais si l'IHM peut être développée à part, là je pense qu'il faudra la faire en C, ne serait-ce que pour la facilité de coder pour deux environnements graphiques si différents.

    Effectivement, en 20 ans les choses ont pas mal évolué ! Mais bon, je pense que tes connaissances de l'époque sont, à quelques bricoles près, suffisantes pour développer cette application et la faire tourner sous Linux. Après, bien sûr, il reste l'installation, la maintenance et l'utilisation de l'OS. Mais bon, tu devrais pouvoir y arriver rapidement.

    En tous cas, si besoin, n'hésite pas à me contacter : même si je cours un peu après le temps, je devrais bien arriver à trouver un moment pour répondre à tes questions ou te donner un coup de main pour le développement de certaines parties un peu pointues par rapport à l'OS.

    Super ! (même si je m'y attendais un peu) Je vais pouvoir tester ça sur ma VM XP. Mais je crains que ce soit difficile avant la fin de la semaine prochaine.

    (*) Je connais juste assez de syntaxe pascal pour avoir pu faire les conversions en C qy'on m'avait demandées, en complétant avec un peu d'expérience en C++Builder.
     
  81. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Merci Jibe de cet engouement.

    Ecoutes comme je l'ai dit, pour l'instant le projet est sous Lazarus en langage Pascal car je n'ai pas le temps de m'investir dans un portage en C (même si j'aime et maîtrise ce langage).

    Découvre déjà l'outil, propose des améliorations ou indique quel serait ton besoin et je verrai de prendre en compte les modification éventuelles.

    Vivement que tu le teste donc sous une VM (Tient Zeb, tu ne veux pas faire de même?)

    Bon Week-end tous.
     
  82. jibe
    jibe Nouveau WRInaute
    Inscrit:
    9 Avril 2009
    Messages:
    40
    J'aime reçus:
    0
    Salut,

    Me revoilà après pas mal de galères sur d'autres affaires...

    Bon, j'ai installé et testé : marche pas.

    Après ce constat, passons quand même aux bonnes nouvelles :
    - S'installe et se lance sous XP
    - Fonctionne sous Wine, avec la restriction ci-dessous,
    - Fonctionne avec le log fourni, mais pas avec les miens

    Cela dit, ne nous affolons pas : mes logs sont légèrement différents (logs apache de mon serveur SME, pas (encore) testé avec d'autres). C'est probablement la cause du problème, et ça m'amène à parler de la conception de l'outil : je n'ai trouvé que WeblogAnalyzer-Onelog.zip sur ton site, qu'en est-il de Commander et Manager dont tu parles ? La réalisation en deux ou trois modules me semble intéressante pour plusieurs raisons :
    • La partie parser/analyseur en ligne de commande peut être développée en autant de versions différentes que de types de log, ce qui l'allège et simplifie l'adaptation à tous types de logs y compris exotiques.
    • Si on a plusieurs serveurs, avec des logs de formats différents, il suffit d'avoir les différents parsers voulus,
    • Les parsers pourraient être installés sur les serveurs, le Onelog ou autre Manager n'aurait qu'à récupérer les fichiers parsés pour en présenter les résultas globaux ou individuels,
    • Ça permettrait de séparer le parsage de la présentation des résultats, et d'avoir éventuellement un affichage beaucoup plus rapide
    Mais bon, c'est peut-être ce que tu as déjà prévu au final, cette version d'essai étant une version tout-en-un pour simplifier ?

    Question fonctionnement, ça me parait très lent ! Peut-être que je ne me rends pas compte du travail de parsage/analyse à réaliser, mais pour ce qui me semble à priori devoir être fait, j'aurais réalisé quelque chose de beaucoup plus rapide en C ! Je ne sais pas si c'est Lazareus qui est si lent, ou si je passe à côté de certaines complexltés du parsage/analyse qui font que je sous-estime grandement le temps nécessaire ? Cela dit, j'ai bien conscience que le fait d'être dans une VM n'arrange pas les choses ! Ce n'est pas mieux avec Wine, mais je n'ai jamais remarqué de différences flagrantes entre Wine et une VM, bien que ça semblerait logique puisque Wine "is not an emulator". Mais bon, quand même : en C dans une VM, tout ce que j'ai fait en parsage et gestion de BD est nettement plus rapide !

    Question fonctionnalités, je dirais que ça me semble parfait : on a déjà pas mal de renseignements, qu'on peut éventuellement croiser avec d'autres (comparaison avec des résultats antérieurs, comparaison de plusieurs sites etc.) si besoin (c'est ce que tu prévoyais avec ton Manager, non ?). Tout ça sans avoir besoin de rajouter quoi que ce soit dans les sites, et donc en restant parfaitement conforme à ce que demande la CNIL sans rien faire de plus (pas de ces affreux avertissements concernant les cookies, tout au moins ils n'ont pas besoin d'être ajoutés simplement pour le suivi).

    Pour ce qui est de mes logs qui ne passent pas, en voici une ligne exemple :
    Code:
    domaine.tld 123.456.789.321 - - [08/Nov/2015:01:25:30 +0100] "GET /conformite.php?lang=fr HTTP/1.0" 200 13282 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)"
    Bon, faut encore voir s'il n'y a pas des séparateurs spéciaux et comment sont faits les fins de ligne et de fichier, mais le simple fait que domaine et IP soient inversés chez moi par rapport à chez toi peut déjà éventuellement expliquer le problème. En tous cas, il sera probablement simple à régler.

    Reste donc à voir comment mettre ça en place dans la pratique, pour gérer des sites différents sur des serveurs différents, rendre disponibles les résultats des sites à leurs propriétaires respectifs, et accélérer l'analyse. Tout ça ne me ferait aucun souci sur un LL développé en C, mais dans ce cadre je suis un peu plus inquiet...
     
  83. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Merci pour ce retour @Jibe :)

    Donc pour la lenteur, tu as bien récupérer la 2.0 de OnleLog?

    Il y a eu une grosse lenteur dans la géolocalisation avec la première version de l'outil.Oui le parse serait bien plus rapide et adaptable en langage C :)

    Enfin les grands esprits ce rencontre, pour permettre la spécialisation des parsers j'avais envisagé des dll écrites en langage...C. Mais ça ne va pas être pour tout de suite.

    Les autres modules arriveront plus tard. Les premiers intéressés de ce post m'ayant indiquer que la version Onelog était la plus "préssente". Le module de statistiques existe mais il n'est plus à jour par rapport au parser. EN fait le module qui t'intéresse est probablement le Commandeur ligne de commande.

    Comme pour spout je te propose de m'envoyer tes logs ce qui va me permettre de valider la conception actuelle sur l'adaptation du parser.

    Pour mon information, la taille de tes logs varie dans quelle plage en Koctets?
     
  84. jibe
    jibe Nouveau WRInaute
    Inscrit:
    9 Avril 2009
    Messages:
    40
    J'aime reçus:
    0
    Ben... je vois ça où ? J'ai pris le zip sur ton site, le .exe est du 1e Juin à 22h50...

    Sur mon serveur, ils peuvent monter jusqu'à 350Mo, en partant de 0 bien sûr juste après le logrotate.

    Ceux que j'ai essayés en vain faisaient respectivement 630Ko et 2Ko.

    Argh... On a bien la même manière de voir les choses dans l'ensemble, mais pas du tout sur ce point !

    Déjà, en ce qui me concerne, DLL est le mot qui fâche ! Ça serait mieux passé su tu avais parlé de library, terme plus universel : DLL, c'est du Windows !

    D'autre part, je ne sais pas comment tu fais ta récupération de logs et ton parsage/analyse, et je n'ai pas assez étudié la question pour savoir quelles sont les contraintes exactes et donc les moyens à mettre en oeuvre. Par contre, il y en a une qui est évidente : il faut pouvoir récupérer et analyser facilement les logs sous quelque forme qu'ils soient, et de quelque serveur qu'ils viennent. Et pour cela, le moyen à priori le plus simple, le plus rapide et le plus efficace me semble être un petit module qu'on installe sur le serveur (donc, majoritairement du Linux), et qui fait au moins la partie spécifique du parsage et sort un fichier que l'outil graphique pourra aller chercher et traiter directement.

    Donc, je suis désolé mais je pense que ton outil n'est pas celui qui me convient. Je suis pourtant tout à fait favorable au développement perso, mais il faudrait soit que tout soit bien fonctionnel, soit que je puisse finir ou adapter ce qui doit l'être. Or, déjà que le choix du langage me semble inadéquat, il semble que nous ayons des vues très divergentes sur l'évolution à envisager ce qui rend ma participation très problématique voire impossible, même en supposant que tu l'acceptes.

    Cela dit, ça n'empêche pas que ton idée soit excellente et que si tu la mènes à bout tu aboutiras certainement à quelque chose de très intéressant. Bonne continuation !
     
  85. jibe
    jibe Nouveau WRInaute
    Inscrit:
    9 Avril 2009
    Messages:
    40
    J'aime reçus:
    0
    Salut,

    Bon, ton post datant de la nuit dernière et Caine_DVP n'étant pas repassé, je tente une réponse en attendant.

    Son logiciel fonctionne sous XP et devrait te satisfaire, s'il peut lire les logs IIS, ce dont je n'ai aucune idée. Mais comme il n'a pas fonctionné avec mes logs apache, il y a une petite chance pour qu'il soit prévu pour les logs IIS.

    De toutes manières, ça ne te coûte rien d'essayer : tu télécharges son logiciel ici, tu crées un répertoire dans Program Files, tu y décompresses l'archive et tu lances le truc. Il y a un log d'essai, si celui-ci fonctionne et pas le tien, il faudra voir avec Caine_DVP pour qu'il fasse l'adaptation voulue.
     
  86. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Salut Jibe,

    Désolé je suis un newbie en GG drive, ce n'est pas le bon lien!

    https://drive.google.com/open?id=0B5-H5lFU6NGETnB3aEZYbU00Z0E

    Bon je mets à jour le site à la pause repas.

    C'est donc la version très lente. Celle-ci marchera peut-être avec tes logs. Corrections mineures, moins sensible au changement de formats.
     
  87. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    @Jibe: Merci j'ai lis à jour le lien sur le site. Il daté paut-être d'avant la création du versionning sur le fichier dans google drive. Désolé pour le temps que tu as perdu.

    Comme pour Spout, un log représentatif m'aidera à appréhender la meilleure conception du parser sur le spécialisation du format de log.

    Comme tu l'as indiqué tu ne garanti pas le temps à consacrer au projet. Ta participation en m'envoyant un log aidera déjà beaucoup.

    Le format actuel est :

    Code:
    <adresse ip> <nom de domaine> - [<date et heure> +/-<fuseau horaire>] "GET <fichier demandé" <code serveur> <taille fichier> "<referrer>" "<user agent>" 
    En fait je pense lire un fichier de configuration de ce style pour configurer le parser. Il devrait satisfaire les utilisateurs avancés comme toi ou spout et les utilisateurs qui ne comprennent pas forcement le format de log.

    Le parser actuellement décortique la ligne par les espaces et reconstruit la position de chaque morceau du format. Comme il n'y a rien de natif en Pascal en expression régulières ;)
     
  88. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
  89. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Bonjour,

    Juste pour vous rassurer le projet est vivant mais là je le développe moins et je l'utilise plus.

    En théorie la nouvelle mouture sera moins sensible au logs de format différents, comprenez que l'analyse ne plantera pas au moins.

    Si le fichier est très volumineux, la grille n'est plus rafraîchis pour éviter de consommer toutes les ressources du PC.

    Maintenant je vais ajouter les statistiques, dans un premier temps sous forme textuelles.
    ----

    En analysant les logs je me suis aperçu que j'ai des visites de facebook alors que le compteur sur la page fans reste à zéro. Et j'ai compris que FB ne compte pas d'actions si vous n'introduisez pas son script dans vos pages web! Un comble quand même!

    Si ce n'est pas pour lire les cookies et tout connaître de nos visiteurs hein ;)
     
  90. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 136
    J'aime reçus:
    273
    Bonjour,
    +1, Caine_DVP vous pouvez indiquer quand le projet sera disponible sur GitHub (ou autre).

    Cordialement.
     
  91. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Bonjour @Madrileno (on se vousvois? Aîe je prends un coup de vieux) voilà comment je vais procéder:

    Phase 1: Mettre les sources du logiciel en l'état sur github. Cette phase na pas de but participatif mais uniquement de vous permettre de voir que le logiciel n'exploite pas vos données. Si des développeurs souhaitent participer dès cette phase il leur appartient de se mettre à jour avec la phase 2.

    Phase 2: Documentation sur mon site de la conception logicielle, réintégration du reste de la suite Webloganalyzer. Possible refonte de l'architecture des dossiers. Objectif avoir une documentation pour aider les participants à coder leur fonctionnalités. Je risque de revoir l'architecture pour des demandes comme celle de @jibe qui souhaite un autre langage que le Pascal. Les participants à cette phase devront se mettre à jour par rapport à la phase 3.

    Phase 3: L'objectif de cette phase est d'intégrer des modifications à plusieurs niveau après un retour sur l'expérience open-source. Le deuxième objectif est de développer les tests modulaires, tests système et validation du logiciel. Chaque participant aura alors l'opportunité de vérifier que ces développements ne cassent pas le projet global.

    Pour la phase 1, elle ira vite je pense: Créer un compte github, sélection de la licence, mettre la licence sur chaque sources et push sur github.

    Disons 3 semaines.
     
  92. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Salut,

    Je suis allez faire un tour sur le site de la FSF (Free Software foundation) et à priori je pense partir sur la licence Appache 2.0 qui est non-copyleft.

    @Spout: Bonne nouvelle tes logs passent sans problèmes. J'attends le développement des statistiques pour mettre une nouvelle version en ligne.

    @Jibe: Oui l'exemple de log que tu as donné posera problème et ce cas là je pense le résoudre facilement. J'ai une idée plus simple qu'un moteur de regexpr finalement. J'avais raté le morceau de log désolé.

    Pour les linuxiens, je dirais que dans un premier temps @Jibe ayant montré que WeblogAnalyzer tourne sous WINE, j'espère que ça vous suffira.
     
  93. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 809
    J'aime reçus:
    242
    Nice :wink:
     
  94. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Bonjour mes "followers" :)

    Voilà je viens de mettre en ligne les sources du projet:

    https://github.com/CaineDVP/WeblogAnalyzer-Onelog.git

    Comme indiqué le projet ne compile pas, l'objectif est de vous rassuré sur "l'espionnage éventuel". Mon nom est Bond... James bond.

    Non plus sérieusement, vous êtes curieux je le sait :)

    Voilà votre curiosité satisfaite.

    Maintenant je vais faire le tri des fichiers indispensables, différentes licences à ajouter comme pour Geolite, Sqlite etc...

    PS: Bon évidemment il faut être un peu développeur:)

    Ensuite je fait la première implémentation des statistiques (textuelles pour l'instant)
     
  95. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Bonjour,

    Je me suis demandé ce que je devais redonner au site Maximind propriétaire de la base Geolite2 que j'utilise pour WLA. Recherche google sur le licencsing et je tombe sur cette page:

    https://www.maxmind.com/en/geolite2-developer-package

    Je panique en me disant que par le passé c'était gratuit et redistribuable. Puis je retrouve la page où j'ai téléchargé le CVS:

    https://dev.maxmind.com/geoip/geoip2/geolite2/

    Moi ce que j'en comprend c'est que la base CVS est sous creative common 4.0 et que je peux la redistribuée...Je suis aller lire la licence.

    Mais du coup le package "payant" c'est pour ceux qui souhaitent payer une licence?

    Je vais leur envouyer un email.

    Du coup j'ai supprimé l'archive de téléchargement.
     
  96. Caine_DVP
    Caine_DVP WRInaute discret
    Inscrit:
    26 Novembre 2010
    Messages:
    248
    J'aime reçus:
    0
    Bonjour,

    J'ai fait une grande pause cet été, pas de programmation :) Profitez du beau temps.

    Le support de Geolite a été réactif puisque j'ai reçu la réponse le lendemain du jour de ma question et voici leur réponse:

    Donc me voilà rassuré sur la fonction de géolocalisation :)
     
Chargement...
Similar Threads - logiciel perso analyse Forum Date
site/logiciel pour savoir si notre texte est optimisé Rédaction web et référencement 28 Octobre 2019
Quel type de logiciel utiliser pour créer un site web simple et performant ? Demandes d'avis et de conseils sur vos sites 14 Octobre 2019
Loterie SEO : linking, logiciels, domaines Le café de WebRankInfo 16 Septembre 2019
Que pensez vous du logiciel Upseo Référencement Google 25 Août 2019
Logiciel de montage vidéo très simple ? Le café de WebRankInfo 12 Août 2019
Google Adword et logiciel malveillant Administration d'un site Web 5 Avril 2019
Logiciel ou script gratuit ou payant pour récupérer les mots clés !! Rédaction web et référencement 5 Juillet 2018
Un logiciel pour remplacer Google Analytics ? Google Analytics 20 Juin 2018
Logiciel anti-plagiat Rédaction web et référencement 14 Juin 2018
Le logiciel SEO Soft est-il encore d'actualité ? Débuter en référencement 27 Février 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice