Quels logiciels/scripts utilisaient vous pour suivre les 3xx/4xx etc..

[Nic'O]

Bonjour,

J'aimerai savoir parmi ceux qui gèrent des gros sites, quelles solutions utilisaient vous pour suivre en graphique et détail les différentes statuts au jour de vos urls.
Nous avions une solution @position, mais le contrat n'a pas été reconduit.


Merci d'avance de vos retours.

 

[YoyoS]

un coup de grep sur les fichiers logs =D

 

[Nic'O]

Sur les sites faisant plus d' 1 Million de pages par jour, c'est pas très rapide et surtout efficace :/

 

[aladdin]

grep | more alors

 

[Julia41]

un mix de :

grep / uniq / count / sort / awl

et zou.

Je te recherche ma commande et je te la file.

 

[Julia41]

 cat adminserv.log | grep " 404 " | awk {'print $7'} | sort | uniq -c | sort -n

Avec ça j'ai les pages ayant faites le plus de 404 et leur nombre à la fin.
J'ignore si c'est ce que tu veux mais il y a moyen de faire des trucs corrects.

Edit ça me sort :

     25 /scrape?passkey=&info_hash=%B19%B2%EF%D7%0C%1C%EC%1C%27%EA%F7R%9B%0E%EC%EB%04%C2%14
     32 /rss/autoget/b654c42b7d201ab61a90854777cd4f44
     34 /feeds/239216b997cd0516faa0f3aed377d055
     36 /scrape?passkey=20f45b33dbd8e1744a24b5ff9a77ce2c&info_hash=m%10%8D%A7%FF%06y%C8%94%87%80%28%CC%EB%CA%C7%0C%86%D2%EF
     37 /rss/autoget/d31f325bf554834ceeb7b0a9aaebea52
     40 /rss/autoget/24db7e15959a80777d744ba7d7cd6a24
     40 /rss/autoget/631be66525189d9ed0644363c81d1483
     41 /feeds/f0a690d7d1a24bad9c56687613be2df9
     41 /rss/autoget/f0a690d7d1a24bad9c56687613be2df9
     78 /rss/autoget/4779df78dd01e517c69619c8314989f6
    118 /feeds/5318d02555e975684e201147c38e8752
    187 /feeds/06c42457ac91a7d370fdb93b0c46e441

 

[Julia41]

un peu de filtrage :

cat adminserv.log | grep " 404 " | awk {'print $7'} | sort | uniq -c | sort -n | awk {'if ($1 > 10) print $1 " " $2'}

Ca t'affiche que les "ayant fait plus de 10 404"

En script ça pourrait donner ça :

#!/bin/bash
for file in `ls`;
do
        if [[ ${file##*.} == 'log' ]]; then
                echo "==== 404 $file ==== ";
                cat $file | grep " 404 " | awk {'print $7'} | sort | uniq -c | sort -n | awk {'if ($1 > 100) print $1 " " $2'};
                echo "==== 500 $file ==== ";
                cat $file | grep " 500 " | awk {'print $7'} | sort | uniq -c | sort -n | awk {'if ($1 > 100) print $1 " " $2'};
        fi
done

Ca dépends un peu de "comment" sont tes logs.

 

[aladdin]

a quand les nom de domaines en .geek ? !!

 

[Nic'O]

En fait, j'aurai besoin d'une solution qui remplace ce type d'interpretation : http://prntscr.com/k4ec

Avec possibilité de zoomer, etc..

 

[YoyoS]

Un truc visuel quoi pour faire mumuse :d
Dans ce cas tu as des scripts à installer genre Crawltrack, phpmyvisite. Le genre de script qui alourdit à mort tes pages

 

[Nic'O]

Justement, je ne demande pas des applis pour petit/moyen site, qui ne servent pas pour les sites à forte charge car pas étudié pour.

Je ne cherche pas forcement des applis gratuites, si l'outil est performant, le prix n'a presque pas d'importance( dans la limite du raisonnable naturellement).

Disons que j'ai environ 1Go de logs journalier, à la main c'est impensable, et il faut des outils performants et surtout optimisés afin d'avoir les stats de la veille dès le lendemain matin.

Et ma connaissance s'arrête aux outils pour les petits et moyens sites, et ne connait pas (encore) le milieu des gros..

 

[YoyoS]

On te dit que pour les plus gros sites, c'est à coup de grep que c'est le plus efficace -_-
Une application visuelle va tout analyser non stop, donc ca va être encore pire :d

 

[Julia41]

ça doit être faisable simplement quand même, dans le graphique que tu as filé, c'est quoi la "légende" ? C'est le nombre de "chaque type" ou autre chose ?
Perso webalizer le fait très bien même sur des logs de 5Go (par contre faut l'externaliser)

 

[Nic'O]

On te dit que pour les plus gros sites, c'est à coup de grep que c'est le plus efficace -_-
Une application visuelle va tout analyser non stop, donc ca va être encore pire :d

Désolé, si je paressai sec, mais je vois d'avance le chef de projet me dire, tu veux que je fasse quoi avec cette m*rde ?
Lui il veut des graphes tous les jours sans connaissance technique et accessible sur simple url, d'où ma question sur des outils spécialisés dans ce type de graphe.

 

[aladdin]

il me semble que awstats fait ce que tu demande, et tu peux le configurer de façon à ce qu'il ne genère pas les stats en continue mais à des heures données.

 

[UsagiYojimbo]

A ce niveau, il me semble qu'Awstats ne pond qu'une liste réduite avec un pourcentage des header renvoyés pour chaque type de header trouvé (du moins par défaut ça ne va pas plus loin).

 

[Julia41]

On te dit que pour les plus gros sites, c'est à coup de grep que c'est le plus efficace -_-
Une application visuelle va tout analyser non stop, donc ca va être encore pire :d

Désolé, si je paressai sec, mais je vois d'avance le chef de projet me dire, tu veux que je fasse quoi avec cette m*rde ?
Lui il veut des graphes tous les jours sans connaissance technique et accessible sur simple url, d'où ma question sur des outils spécialisés dans ce type de graphe.

Ton "nombre" de résultat "greppé" tu les balances dans une table SQL, un coup de google Chart API et c'est réglé. C'est le coup d'une ou deux journées de dev pour un truc "propre" en php/sql avec les scripts bash qui vont bien avec et en plus pas de frais de licence après.
Perso je suis un dingue de stats et de graphs, mais souvent les graphs sont moins parlant

 

[aladdin]

ou alors si tu veux pas faire beaucoup de dev, tu te créé un profil analytics spécial pour les pages 3xx et 4xx.
et tu ajoute un bout de script à tes pages pour logger dans ce profil quand une page renvoi 3xx ou 4xx