comment suivre et analyser les visites robots

Discussion dans 'Crawl et indexation Google, sitemaps' créé par e-kiwi, 24 Novembre 2010.

  1. e-kiwi
    e-kiwi WRInaute accro
    Inscrit:
    23 Décembre 2003
    Messages:
    13 257
    J'aime reçus:
    1
    Bonjour,

    afin de suivre le comportement des moteurs de recherche sur votre site, vaut-il mieux utiliser un analyseur de log apache type AWSTATS (il y a mieux?) ou partir sur une solution de type crawltrack.

    en gros si c est kiff kiff, alors autant partir sur un analyseur de log, ca évite de devoir acheter un serveur juste pour y mettre crawltrack, mais peut-être est-ce bien moins puissant ?

    merci pour vos avis :)

    mon problème : j'ai 180.000 erreurs HTTP et 190.000 erreur "introuvable" sur le webmaster tools, et j'aimerai pouvoir corriger cela et bien contrôler que les robots ne se perdent plus dans cette fausse navigation
     
    #1 e-kiwi, 24 Novembre 2010
  2. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    Bonjour,

    Dans le fichier de configuration AWStats, tu ajoutes une extra section qui suit les passages de Googlebot comme expliqué ici : http://www.internetofficer.com/awstats/track-googlebot/ . Cela te donne la liste de toutes les pages crawlées par Googlebot avec la date et l'heure de la dernière visite.

    Jean-Luc
     
    #2 jeanluc, 24 Novembre 2010
  3. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 237
    J'aime reçus:
    0
    Pas mal pour Awstats. Je ne connaissais pas. Ici on m'a recommandé Crawltrack qui fait bien son job mais les rapports ne m'aident pas tellement (pas assez d'analyses faites par le soft).
    Je le mets tout de même car il a beaucoup de fonctions intéressantes http://www.crawltrack.net/fr/download.php
     
    #3 milkiway, 24 Novembre 2010
  4. Blount
    Blount WRInaute impliqué
    Inscrit:
    18 Novembre 2010
    Messages:
    701
    J'aime reçus:
    0
    Je viens de mettre en place le code pour awstat, et ça roule au poil.

    Par contre, ce n'est que pour Google Bot, il faut mettre à la main pour inclure les autres bots. Il existe sans doute une liste quelque part.

    Crawltrack inclue tous les bots par défaut ?
     
    #4 Blount, 24 Novembre 2010
  5. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 237
    J'aime reçus:
    0
    Oui
     
    #5 milkiway, 24 Novembre 2010
  6. e-kiwi
    e-kiwi WRInaute accro
    Inscrit:
    23 Décembre 2003
    Messages:
    13 257
    J'aime reçus:
    1
    je l'ai cité, mais comme dit, il me faudrait acheter un serveur pour le dédier aux collectes d'infos ... pas possible d'utiliser ça sur des sites a forts trafic
     
    #6 e-kiwi, 24 Novembre 2010
  7. amph37
    amph37 WRInaute discret
    Inscrit:
    27 Février 2007
    Messages:
    218
    J'aime reçus:
    0
    Crawltrack est très bon pour suivre les bot et sa base de bot est maintenue à jour. Par contre, pour les sites très crawlés, la base de donnée risque de prendre du volume très très rapidement.
     
    #7 amph37, 24 Novembre 2010
  8. e-kiwi
    e-kiwi WRInaute accro
    Inscrit:
    23 Décembre 2003
    Messages:
    13 257
    J'aime reçus:
    1
    Oui, c'est ce que je dis, il crawle jusqu'à 655 945 pages par jour, donc base très vite plaine
     
    #8 e-kiwi, 24 Novembre 2010
  9. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 237
    J'aime reçus:
    0
    Pardon je n'avais pas vu.
    Bien évidemment dans l'hypothèse d'un site à fort trafic il faut passer par un analyseur de log type Awstats, je ne pense pas que tu puisses faire mieux et plus light puisqu'il se base sur des infos enregistrées de toutes façons.
    Et puis ce sera plus fiable que de se baser sur un logiciel un peu inconnu installé sur un dédié qui peut tomber en rade ou provoquer des lenteurs.
     
    #9 milkiway, 24 Novembre 2010
  10. e-kiwi
    e-kiwi WRInaute accro
    Inscrit:
    23 Décembre 2003
    Messages:
    13 257
    J'aime reçus:
    1
    Oui, mais existe-t-il mieux qu'AWstats ? certes il est plus complet que webalizer, mais il y a peu être plus complet que lui, c'était ma question, vu que j'y connais rien là dedans
     
    #10 e-kiwi, 24 Novembre 2010
  11. anemone-clown
    anemone-clown WRInaute passionné
    Inscrit:
    11 Novembre 2007
    Messages:
    1 602
    J'aime reçus:
    21
    Bonjour, a priori, Awstats reste le ténor dans l'analyse en direct. Il faut bien mettre à jour les fichiers, assez fréquemment, pour rester à jour par rapport aux nouveautés.

    C'est awstats qui m'a permis de détecter les activités de 80legs par exemple (une version étendue américaine du Munax suédois) qui est un bot officiel mais un vrai "tueur" de serveur.
     
    #11 anemone-clown, 24 Novembre 2010
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - suivre analyser visites Forum Date
Etapes à suivre pour supprimer une url de google Netlinking, backlinks, liens et redirections 29 Décembre 2019
Comment suivre les événements et le trafic en temps réel avec Tag Manager - Analytics Google Analytics 7 Août 2019
SEO : les comptes Twitter à suivre Google : l'entreprise, les sites web, les services 26 Juillet 2019
Suivre plusieurs urls de téléchargements de pdf dans un rapport personnalisé Google Analytics 30 Avril 2019
Comment suivre des liens entre 2 sites différents Google Analytics 13 Mars 2019
Exemple qu'il (ne) faut (pas) suivre ? Référencement Google 27 Septembre 2018
Plugin Wordpress pour suivre ses articles Développement d'un site Web ou d'une appli mobile 29 Juillet 2017
Suivre le trafic de deux sites : contenu du site indésirable + fiablilité technique Google Analytics 29 Juin 2016
Suivre les tags et catégories wordpress Google Analytics 26 Avril 2016
Comment suivre les liens Google Map dans résultats de recherche Google Google Analytics 22 Décembre 2015