comment suivre et analyser les visites robots

WRInaute accro
Bonjour,

afin de suivre le comportement des moteurs de recherche sur votre site, vaut-il mieux utiliser un analyseur de log apache type AWSTATS (il y a mieux?) ou partir sur une solution de type crawltrack.

en gros si c est kiff kiff, alors autant partir sur un analyseur de log, ca évite de devoir acheter un serveur juste pour y mettre crawltrack, mais peut-être est-ce bien moins puissant ?

merci pour vos avis :)

mon problème : j'ai 180.000 erreurs HTTP et 190.000 erreur "introuvable" sur le webmaster tools, et j'aimerai pouvoir corriger cela et bien contrôler que les robots ne se perdent plus dans cette fausse navigation
 
WRInaute impliqué
Je viens de mettre en place le code pour awstat, et ça roule au poil.

Par contre, ce n'est que pour Google Bot, il faut mettre à la main pour inclure les autres bots. Il existe sans doute une liste quelque part.

Crawltrack inclue tous les bots par défaut ?
 
WRInaute accro
milkiway a dit:
Pas mal pour Awstats. Je ne connaissais pas. Ici on m'a recommandé Crawltrack qui fait bien son job mais les rapports ne m'aident pas tellement (pas assez d'analyses faites par le soft).
Je le mets tout de même car il a beaucoup de fonctions intéressantes http://www.crawltrack.net/fr/download.php

je l'ai cité, mais comme dit, il me faudrait acheter un serveur pour le dédier aux collectes d'infos ... pas possible d'utiliser ça sur des sites a forts trafic
 
WRInaute discret
Crawltrack est très bon pour suivre les bot et sa base de bot est maintenue à jour. Par contre, pour les sites très crawlés, la base de donnée risque de prendre du volume très très rapidement.
 
WRInaute accro
e-kiwi a dit:
milkiway a dit:
Pas mal pour Awstats. Je ne connaissais pas. Ici on m'a recommandé Crawltrack qui fait bien son job mais les rapports ne m'aident pas tellement (pas assez d'analyses faites par le soft).
Je le mets tout de même car il a beaucoup de fonctions intéressantes http://www.crawltrack.net/fr/download.php

je l'ai cité, mais comme dit, il me faudrait acheter un serveur pour le dédier aux collectes d'infos ... pas possible d'utiliser ça sur des sites a forts trafic
Pardon je n'avais pas vu.
Bien évidemment dans l'hypothèse d'un site à fort trafic il faut passer par un analyseur de log type Awstats, je ne pense pas que tu puisses faire mieux et plus light puisqu'il se base sur des infos enregistrées de toutes façons.
Et puis ce sera plus fiable que de se baser sur un logiciel un peu inconnu installé sur un dédié qui peut tomber en rade ou provoquer des lenteurs.
 
WRInaute accro
Oui, mais existe-t-il mieux qu'AWstats ? certes il est plus complet que webalizer, mais il y a peu être plus complet que lui, c'était ma question, vu que j'y connais rien là dedans
 
WRInaute passionné
Bonjour, a priori, Awstats reste le ténor dans l'analyse en direct. Il faut bien mettre à jour les fichiers, assez fréquemment, pour rester à jour par rapport aux nouveautés.

C'est awstats qui m'a permis de détecter les activités de 80legs par exemple (une version étendue américaine du Munax suédois) qui est un bot officiel mais un vrai "tueur" de serveur.
 
Discussions similaires
Haut