Quels logiciels/scripts utilisaient vous pour suivre les 3xx/4xx etc..

Discussion dans 'Administration d'un site Web' créé par Nic'O, 8 Juillet 2010.

  1. Nic'O
    Nic'O WRInaute discret
    Inscrit:
    13 Mai 2009
    Messages:
    180
    J'aime reçus:
    0
    Bonjour,

    J'aimerai savoir parmi ceux qui gèrent des gros sites, quelles solutions utilisaient vous pour suivre en graphique et détail les différentes statuts au jour de vos urls.
    Nous avions une solution @position, mais le contrat n'a pas été reconduit.


    Merci d'avance de vos retours.
     
  2. YoyoS
    YoyoS WRInaute accro
    Inscrit:
    14 Septembre 2006
    Messages:
    3 249
    J'aime reçus:
    0
    un coup de grep sur les fichiers logs =D
     
  3. Nic'O
    Nic'O WRInaute discret
    Inscrit:
    13 Mai 2009
    Messages:
    180
    J'aime reçus:
    0
    Sur les sites faisant plus d' 1 Million de pages par jour, c'est pas très rapide et surtout efficace :/
     
  4. aladdin
    aladdin WRInaute passionné
    Inscrit:
    29 Avril 2005
    Messages:
    1 246
    J'aime reçus:
    0
    grep | more alors :p
     
  5. Julia41
    Julia41 WRInaute passionné
    Inscrit:
    31 Août 2007
    Messages:
    1 779
    J'aime reçus:
    0
    un mix de :
    Code:
    grep / uniq / count / sort / awl
    et zou.

    Je te recherche ma commande et je te la file.
     
  6. Julia41
    Julia41 WRInaute passionné
    Inscrit:
    31 Août 2007
    Messages:
    1 779
    J'aime reçus:
    0
    Code:
     cat adminserv.log | grep " 404 " | awk {'print $7'} | sort | uniq -c | sort -n
    Avec ça j'ai les pages ayant faites le plus de 404 et leur nombre à la fin.
    J'ignore si c'est ce que tu veux mais il y a moyen de faire des trucs corrects.

    Edit ça me sort :
    Code:
         25 /scrape?passkey=&info_hash=%B19%B2%EF%D7%0C%1C%EC%1C%27%EA%F7R%9B%0E%EC%EB%04%C2%14
         32 /rss/autoget/b654c42b7d201ab61a90854777cd4f44
         34 /feeds/239216b997cd0516faa0f3aed377d055
         36 /scrape?passkey=20f45b33dbd8e1744a24b5ff9a77ce2c&info_hash=m%10%8D%A7%FF%06y%C8%94%87%80%28%CC%EB%CA%C7%0C%86%D2%EF
         37 /rss/autoget/d31f325bf554834ceeb7b0a9aaebea52
         40 /rss/autoget/24db7e15959a80777d744ba7d7cd6a24
         40 /rss/autoget/631be66525189d9ed0644363c81d1483
         41 /feeds/f0a690d7d1a24bad9c56687613be2df9
         41 /rss/autoget/f0a690d7d1a24bad9c56687613be2df9
         78 /rss/autoget/4779df78dd01e517c69619c8314989f6
        118 /feeds/5318d02555e975684e201147c38e8752
        187 /feeds/06c42457ac91a7d370fdb93b0c46e441
    
     
  7. Julia41
    Julia41 WRInaute passionné
    Inscrit:
    31 Août 2007
    Messages:
    1 779
    J'aime reçus:
    0
    un peu de filtrage :
    Code:
    cat adminserv.log | grep " 404 " | awk {'print $7'} | sort | uniq -c | sort -n | awk {'if ($1 > 10) print $1 " " $2'}
    Ca t'affiche que les "ayant fait plus de 10 404"

    En script ça pourrait donner ça :
    Code:
    #!/bin/bash
    for file in `ls`;
    do
            if [[ ${file##*.} == 'log' ]]; then
                    echo "==== 404 $file ==== ";
                    cat $file | grep " 404 " | awk {'print $7'} | sort | uniq -c | sort -n | awk {'if ($1 > 100) print $1 " " $2'};
                    echo "==== 500 $file ==== ";
                    cat $file | grep " 500 " | awk {'print $7'} | sort | uniq -c | sort -n | awk {'if ($1 > 100) print $1 " " $2'};
            fi
    done
    
    Ca dépends un peu de "comment" sont tes logs.
     
  8. aladdin
    aladdin WRInaute passionné
    Inscrit:
    29 Avril 2005
    Messages:
    1 246
    J'aime reçus:
    0
    a quand les nom de domaines en .geek ? !!
     
  9. Nic'O
    Nic'O WRInaute discret
    Inscrit:
    13 Mai 2009
    Messages:
    180
    J'aime reçus:
    0
    En fait, j'aurai besoin d'une solution qui remplace ce type d'interpretation : http://prntscr.com/k4ec

    Avec possibilité de zoomer, etc..
     
  10. YoyoS
    YoyoS WRInaute accro
    Inscrit:
    14 Septembre 2006
    Messages:
    3 249
    J'aime reçus:
    0
    Un truc visuel quoi pour faire mumuse :d
    Dans ce cas tu as des scripts à installer genre Crawltrack, phpmyvisite. Le genre de script qui alourdit à mort tes pages :)
     
  11. Nic'O
    Nic'O WRInaute discret
    Inscrit:
    13 Mai 2009
    Messages:
    180
    J'aime reçus:
    0
    Justement, je ne demande pas des applis pour petit/moyen site, qui ne servent pas pour les sites à forte charge car pas étudié pour.

    Je ne cherche pas forcement des applis gratuites, si l'outil est performant, le prix n'a presque pas d'importance( dans la limite du raisonnable naturellement).

    Disons que j'ai environ 1Go de logs journalier, à la main c'est impensable, et il faut des outils performants et surtout optimisés afin d'avoir les stats de la veille dès le lendemain matin.

    Et ma connaissance s'arrête aux outils pour les petits et moyens sites, et ne connait pas (encore) le milieu des gros..
     
  12. YoyoS
    YoyoS WRInaute accro
    Inscrit:
    14 Septembre 2006
    Messages:
    3 249
    J'aime reçus:
    0
    On te dit que pour les plus gros sites, c'est à coup de grep que c'est le plus efficace -_-
    Une application visuelle va tout analyser non stop, donc ca va être encore pire :d
     
  13. Julia41
    Julia41 WRInaute passionné
    Inscrit:
    31 Août 2007
    Messages:
    1 779
    J'aime reçus:
    0
    ça doit être faisable simplement quand même, dans le graphique que tu as filé, c'est quoi la "légende" ? C'est le nombre de "chaque type" ou autre chose ?
    Perso webalizer le fait très bien même sur des logs de 5Go (par contre faut l'externaliser)
     
  14. Nic'O
    Nic'O WRInaute discret
    Inscrit:
    13 Mai 2009
    Messages:
    180
    J'aime reçus:
    0
    Désolé, si je paressai sec, mais je vois d'avance le chef de projet me dire, tu veux que je fasse quoi avec cette m*rde ?
    Lui il veut des graphes tous les jours sans connaissance technique et accessible sur simple url, d'où ma question sur des outils spécialisés dans ce type de graphe.
     
  15. aladdin
    aladdin WRInaute passionné
    Inscrit:
    29 Avril 2005
    Messages:
    1 246
    J'aime reçus:
    0
    il me semble que awstats fait ce que tu demande, et tu peux le configurer de façon à ce qu'il ne genère pas les stats en continue mais à des heures données.
     
  16. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 877
    J'aime reçus:
    73
    A ce niveau, il me semble qu'Awstats ne pond qu'une liste réduite avec un pourcentage des header renvoyés pour chaque type de header trouvé (du moins par défaut ça ne va pas plus loin).
     
  17. Julia41
    Julia41 WRInaute passionné
    Inscrit:
    31 Août 2007
    Messages:
    1 779
    J'aime reçus:
    0
    Ton "nombre" de résultat "greppé" tu les balances dans une table SQL, un coup de google Chart API et c'est réglé. C'est le coup d'une ou deux journées de dev pour un truc "propre" en php/sql avec les scripts bash qui vont bien avec et en plus pas de frais de licence après.
    Perso je suis un dingue de stats et de graphs, mais souvent les graphs sont moins parlant :p
     
  18. aladdin
    aladdin WRInaute passionné
    Inscrit:
    29 Avril 2005
    Messages:
    1 246
    J'aime reçus:
    0
    ou alors si tu veux pas faire beaucoup de dev, tu te créé un profil analytics spécial pour les pages 3xx et 4xx.
    et tu ajoute un bout de script à tes pages pour logger dans ce profil quand une page renvoi 3xx ou 4xx
     
Chargement...
Similar Threads - logiciels scripts utilisaient Forum Date
Loterie SEO : linking, logiciels, domaines Le café de WebRankInfo 16 Septembre 2019
Google rachète Orbitera (logiciels vendus dans le cloud) Google : l'entreprise, les sites web, les services 9 Août 2016
Creation Logiciel- réseaux sociaux - promotion de mes logiciels Demandes d'avis et de conseils sur vos sites 4 Juin 2015
Avis et échanges sur les logiciels SEO payants Référencement Google 19 Juin 2014
Quels sont vos logiciels/site web SEO favoris ? Débuter en référencement 16 Septembre 2013
Achat de logiciels Droit du web (juridique, fiscalité...) 30 Juin 2013
SEMrush et autres logiciels SEM pour veille concurrentielle AdWords 20 Février 2013
Peut on mettre des logiciels gratuits en téléchargement sur son serveur Développement d'un site Web ou d'une appli mobile 10 Septembre 2012
Google et logiciels malveillants Administration d'un site Web 16 Mars 2012
Logiciels SEO : votre avis ? Débuter en référencement 24 Janvier 2012
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice