Logs OVH : rapatriement ftp possible ?

bamby · 3 Août 2004

Saluche à tous !

je suis nouveau ici, j' espère juste avoir posté au bon endroit :? :?:

Voilà, j' aimerai récupérer mes logs (je suis sur OVH), mais comme vous le savez, y' a un fichier par jour, alors les clics-droit/enregistrer sous... ça m' en fait plusieurs centaines à faire 8O

Savez-vous s' il existe une adresse ftp pour accéder à nos stats et ainsi les télécharger plus rapidement ?

Merci d' avance !

Phobos · 3 Août 2004

Bienvenue sur WRI

!
Avant il y'avait cette possibilité je crois mais plus maintenant :/
Voici le forum de OVH http://forums.ovh.com/

BadProcESs · 3 Août 2004

Je peut pas t'aider pour ton problème mais... Bienvenue sur WRI !

bamby · 3 Août 2004

Merci les gars ! :wink:

J' étais allé m' inscrire sur le forum d' OVH, mais ils mettent beaucoup de temps pour "modérer" mon inscription 8O (je dois attendre que leur modérateur veuille bien accepter mon inscription).

@+ !

Remi L. · 4 Août 2004

Non, actuellement il n'y a pas d'accès ftp possible aux répertoires de logs.

bamby · 4 Août 2004

Tant pis alors.

J' y suis arrivé assez vite en faisant des listes incrémentales à télécharger. Je me suis rendu compte, du coup, que certains jours n' avaient pas de logs ! 8O

Merciche à vous

tugdual · 1 Septembre 2004

Un petit script bash pour aller chercher les logs :

Code:

#!/bin/bash
# Remplacer les ********* par les paramètres qui vous correspondent
# Cela fonctionne avec les hébergements mutualisés OVH
# Le format des logs n'est pas *.log.gz pour les mois de février à mi-mai
# il faut donc modifier un peu
# Ce script rapatrie tous les logs encore présents depuis le premier janvier
# de l'année courante

DOMAIN="***********"
LOGIN="***********"

LOGS_DIR="/**********/$DOMAIN/"
LOCATION="logs.ovh.net/$DOMAIN/"

  cd $LOGS_DIR

  read -s -p "Mot de passe : " password

JOURS=$(date '+%j')
while [ $JOURS != '0' ]
do
	let "JOURS -= 1"
	echo $DOMAIN-$(date '+%d-%m-%Y' --date "$JOURS days ago").log.gz
	wget -q http://$LOGIN:$password@$LOCATION/logs-$(date '+%m-%Y' --date "$JOURS days ago")/$DOMAIN-$(date '+%d-%m-%Y' --date "$JOURS days ago").log.gz

done

On peut ensuite s'amuser avec awstats.

Tugdual

shrom · 1 Septembre 2004

Attention, les logs OVH sont plutôt fantaisistes depuis quelques temps:
- enregistrements dupliqués
- dates aléatoires
...

Neptune · 1 Septembre 2004

ok et comment on fait ca avec un dédié lol

nan parce que je suis toujours avec le fabuleux webalizer et c'est tellement bien...

tugdual · 1 Septembre 2004

Tu installes directement webalizer ou awstats sur ton serveur non ?

Pour ce qui est de la qualité des logs ovh, moi j'ai des trous sur les mois de février, mars, avril et mai. Sinon, pour ce qui est des doublons, awstats semble les éliminer. On peut par exemple passer deux fois le même fichier de logs, lors de la phase 2 de l'analyse awstats recherche ceux qu'il a déjà analysés. Donc, il me semble que ça ne pose pas de problèmes.

Qu'est-ce que webalizer a de mieux qu'awstats ?

Tugdual

Neptune · 1 Septembre 2004

lol nan mais je me suis mal exprimé , webalizer c est A CHIER , c est le stats que ovh install de base sur les dédié

et awstat je ne sais pas l'installer je suis nul pour tout ce qui concerne les dédié :/

tugdual · 1 Septembre 2004

Il y a un semblant de how-to à l'adresse suivante :
http://forum.ovh.net/showthread.php?s=&threadid=202

cybervince · 2 Septembre 2004

shrom a dit:
Attention, les logs OVH sont plutôt fantaisistes depuis quelques temps:
- enregistrements dupliqués
- dates aléatoires
...

Moi j'ai fait un script semblable à celui de tugdual mais en perl, et une fois importé dans awstats ca me sort pas loin de 80% d'enregistrements corrompus.
J'avoue également être un peu perplexe quand à ca.

Vivement qu'ils nous mettent directement leur awstats sur le serveur.

Remi L. · 2 Septembre 2004

Les enregistrements corrompus sous Awstats, ce sont les enregistrements qui ne respectent pas la séquence temporelle.
Or, avec ce nouveau système de logs en temps réel d'OVH, les enregistrements ne sont plus triés par date. Donc pour éviter de sauter des enregistrements, il faut régler la tolérance de awstats:
Il faut modifier la ligne suivante directement dans awstats.pl (dans les déclarations au tout début). Moi, je l'ai mis à 250000 (soit 25h) pour être tranquille.

Code:

$NOTSORTEDRECORDTOLERANCE=250000;

bamby · 2 Septembre 2004

Bonjour à tous,

Merci pour les infos, très utiles

Au sujet du batch : je ne comprends pas cette ligne :

LOGS_DIR="/**********/$DOMAIN/" :?:

Concernant les logiciels, je suis débutant, je regarde juste ce que propose urchin. Awstats, ça s'installe sur le serveur ou sur son ordi ? C'est vraiment mieux qu' urchin ?

Merci de vos réponses

tugdual · 2 Septembre 2004

Il n'y a pas grand-chose à comprendre. C'est le chemin du répertoire local où tu veux rapatrier tes logs.
Tugdual

bamby · 3 Septembre 2004

Merci

cybervince · 3 Septembre 2004

Remi L. a dit:
Les enregistrements corrompus sous Awstats, ce sont les enregistrements qui ne respectent pas la séquence temporelle.
Or, avec ce nouveau système de logs en temps réel d'OVH, les enregistrements ne sont plus triés par date. Donc pour éviter de sauter des enregistrements, il faut régler la tolérance de awstats:
Il faut modifier la ligne suivante directement dans awstats.pl (dans les déclarations au tout début). Moi, je l'ai mis à 250000 (soit 25h) pour être tranquille.

Code:

$NOTSORTEDRECORDTOLERANCE=250000;

Ca veut donc dire que s'il a un enregistrement à 12h et le suivant à 10h, le deuxième sera quand même valide ?

Remi L. · 3 Septembre 2004

Oui, c'est tout à fait cela...

cybervince · 3 Septembre 2004

Remi L. a dit:
Oui, c'est tout à fait cela...

Bon ben je vais tester de suite et recalculer tout mes logs pour ce mois ci, et pis si ca marche, jferai de même pour tout les anciens mois

cybervince · 3 Septembre 2004

Bon ben y'a déjà 8 jours de logs qui sont analysés et visiblement y'a pas d'enregistrements corrompus.
C'était donc bien ca.
Merci pour l'astuce

thecrazywasher · 9 Mars 2005

tugdual a dit:

Un petit script bash pour aller chercher les logs :

Code:

#!/bin/bash
# Remplacer les ********* par les paramètres qui vous correspondent
# Cela fonctionne avec les hébergements mutualisés OVH
# Le format des logs n'est pas *.log.gz pour les mois de février à mi-mai
# il faut donc modifier un peu
# Ce script rapatrie tous les logs encore présents depuis le premier janvier
# de l'année courante

DOMAIN="***********"
LOGIN="***********"

LOGS_DIR="/**********/$DOMAIN/"
LOCATION="logs.ovh.net/$DOMAIN/"

  cd $LOGS_DIR

  read -s -p "Mot de passe : " password

JOURS=$(date '+%j')
while [ $JOURS != '0' ]
do
	let "JOURS -= 1"
	echo $DOMAIN-$(date '+%d-%m-%Y' --date "$JOURS days ago").log.gz
	wget -q http://$LOGIN:$password@$LOCATION/logs-$(date '+%m-%Y' --date "$JOURS days ago")/$DOMAIN-$(date '+%d-%m-%Y' --date "$JOURS days ago").log.gz

done

On peut ensuite s'amuser avec awstats.

Tugdual

Bonjour,

comment et où doit on mettre ce script ?

Merci

tugdual · 9 Mars 2005

En fait, ce script était inspiré d'un autre, mais j'ai trouvé quelque-chose de plus simple. C'était pas mal pour apprendre à faire des boucles avec le bash.
Enfin, le plus simple est d'utiliser lftp :

Code:

#!/bin/bash

lftp -e "open http://logs.ovh.net; user <nickname-ovh> <mot-de-passe>;lcd /<répertoire-local>; cd <nom-de-domaine>/osl; mirror; exit"

Et après, avec une ligne dans crontab, vous rapatriez régulièrement vos logs, et vous les traitez comme vous voulez. Moi je le fais avec awstats.
Attention, là, il n'y a que les logs dits "temps réel". Pour les autres, il faudra des boucles. Mais c'est parfois lourd de rapatrier une année entière. Je préconise de placer le rapatriement juste après minuit, c'est le changement de logs.

Il n'y a pas d'endroit imposé pour le script, donc soit dans un répertoire d'utilisateur où on réunis tout (script+logs), soit dans un nouveau répertoire dans /usr/local/<appli-perso>.

Bon courage,

Tugdual.

Blini · 10 Mars 2005

Salut bamby,

J'ai installé récement Awstats sur ma machine, et je me suis fait un script (en DOS) pour rapatrier les logs, calculer les stats, etc...
J'ai essayé de le faire le plus générique possible, donc il devrait être adaptable à tes besoins. Si ça t'intéresse, dis-le moi et je t'envoie le script.
En gros, il permet ça:

Code:

Usage: dostats [-m YYYYMM] [-d] [-b] [-r]
  YYYYMM : month to compute. if not provided, download and process
           new logs since last use of dostats (or beginning of month if no stats available)
  -d     : if set, do not download files, use existing ones
  -s     : if set, do not compute aw stats
  -d     : if set, do not build reports

bamby · 16 Mars 2005

Salut Blini et tout le monde

J'aimerais comprendre qqchose si tu as la patience de me répondre :

est-ce que je peux installer awstats en local sur ma machine et voir mes logs une fois rapatriées sur mon disque dur ?

Si oui, est-ce qu'il y a un tuto pour expliquer comment faire (je n'en trouve pas) ?

Une petite explication rapide m'aiderait à me mettre sur la bonne voie

Blini · 17 Mars 2005

Oui, c'est ce que j'ai fait.
1. Tu récupères awstats en exe (dernière version stable: 6.4):
http://prdownloads.sourceforge.net/awst ... ts-6.4.exe
2. Tu l'installes et tu réponds aux questions comme suit:
- web server > none
- create a configuration file > yes
- enter website name > tonsite
3. Si ton site est chez OVH, les logs ont la méchante habitude d'être très mal classé temporellement. Pour que awstats fonctionne correctement, tu ouvres le fichier awstats\wwwroot\cgi-bin\awstats.pl et tu modifie la ligne:
$NOTSORTEDRECORDTOLERANCE=20000;
en:
$NOTSORTEDRECORDTOLERANCE=250000;
4. Ensuite, tu te tapes la doc awstats pour l'utiliser
Si tu veux un truc plus automatisé (rappatriement logs ovh + mise à jour des stats), passe moi un message en MP, je te fournirai mon script et la manière de le personnaliser.