Nos amis les bots

Discussion dans 'Crawl et indexation Google, sitemaps' créé par kuvett, 7 Octobre 2004.

  1. kuvett
    kuvett WRInaute discret
    Inscrit:
    17 Septembre 2004
    Messages:
    85
    J'aime reçus:
    0
    J'utilise Webalizer pour mes stats (de série en mutualisé chez Amen), et je peine un peu pour identifier les différents noms d'hôtes des bots qui viennent me faire un petit coucou.

    - Comment les identifier ? (bots GG, Yahoo, Voila, AOL...)
    - Pourquoi vois je quelquefois des adresses IP se connecter, d'autres fois des trucs du type abordeaus-chateaumescouilles-"IP"-proxad.blabla ?
    - C'est qui ce lui la : ng1.exabot.com ?
     
  2. e-kiwi
    e-kiwi WRInaute accro
    Inscrit:
    23 Décembre 2003
    Messages:
    13 257
    J'aime reçus:
    1
    t as installé robotstats ? :)
     
  3. TOMHTML
    TOMHTML WRInaute accro
    Inscrit:
    25 Août 2004
    Messages:
    2 524
    J'aime reçus:
    0
    Y a-t'il un substitut à Robotstats ?
    Parce que ça fonctionne avec php, et tous les sites ne sont pas en php...
     
  4. kuvett
    kuvett WRInaute discret
    Inscrit:
    17 Septembre 2004
    Messages:
    85
    J'aime reçus:
    0
    'ffectiv'ment, ca serait le plus simple. et pour cette question ?
    qqun a une reponse ?
     
  5. kuvett
    kuvett WRInaute discret
    Inscrit:
    17 Septembre 2004
    Messages:
    85
    J'aime reçus:
    0
    mmmh, ya un marqueur, dans robotstats. Pas envie de me taper toute mes pages, je fais ca sur des sites pro.

    ya rien de basé sur les fichiers log ? par rapport aux stats, je compte rapatrier mes logs une fois par semaine, et analyser en offline via AWStats. Ya pas un outil qui me ferait la meme chose sur les fichiers log ? moins complet, vu que RS "trace" les robots, mais au moins leurs noms et meur frequence de visite. apres, les pages visitees, sur les logs, je sais pas si c'est possible.
     
  6. tom_pascal
    tom_pascal WRInaute discret
    Inscrit:
    17 Novembre 2003
    Messages:
    249
    J'aime reçus:
    0
    J'ai bien une réponse courte à te proposer qui fonctionne bien, mais je ne sais pas si elle va te satisfaire :

    grep, sed, wc ?

    et éventuellement cygwin si t'es pas sur un vrai système d'exploitation ;)
     
  7. kuvett
    kuvett WRInaute discret
    Inscrit:
    17 Septembre 2004
    Messages:
    85
    J'aime reçus:
    0
    Un décodeur, quelqu'un ? :oops:
     
  8. niceunef
    niceunef WRInaute passionné
    Inscrit:
    19 Janvier 2004
    Messages:
    1 380
    J'aime reçus:
    0
    En gros: chercher dans le fichier log (grep, etc... sont des commandes linux de filtrage genre grep tsoin fichier.log ne te donnera que les lignes contenant tsoin).
    Pour les IPs, si elles ont un nom (meme pourri quand c'est des adresses de FAI courants), elles apparaissent avec ce nom, et sinon ben juste l'adresse IP.
    Pour Googlebot, il y a 2 séries d'adresses IP en 64.zzz et 66.zzz (de tete je ne sais plus, une recherche dans le forum pourrait t'en dire plus) et normalement (?) un user-agent contenant le mot Googlebot (donc un petit grep pourrait servir).
    Sinon, il y a des logiciels de stats qui se basent sur l'analyse des logs.
    Exabot: voir dans le forum "autres moteurs de recherche".
     
  9. kuvett
    kuvett WRInaute discret
    Inscrit:
    17 Septembre 2004
    Messages:
    85
    J'aime reçus:
    0
    Ouf ! Merci ! :lol:
     
Chargement...
Similar Threads - amis bots Forum Date
Ajout d'amis dans des groupes Facebook impossible Facebook 9 Juillet 2018
Conversion de profil en page: mes amis n'ont pas été transférés! Facebook 10 Janvier 2016
votre avis sur faire-des-amis.com Demandes d'avis et de conseils sur vos sites 27 Octobre 2015
QAMIS Débuter en référencement 18 Juin 2015
Un site pour ceux qui partent en vacances entre amis Demandes d'avis et de conseils sur vos sites 25 Octobre 2014
Site pour réunir les pronostics entre amis Développement d'un site Web ou d'une appli mobile 7 Juillet 2014
Devenir amis en naviguant en tant que page Facebook 20 Mai 2014
php - Diffuser des infos à des utilisateurs spécifiques (amis, abonnés) Développement d'un site Web ou d'une appli mobile 17 Mars 2014
transformer page amis en page fan Facebook 29 Août 2013
perte anormale d'amis sur Fqcebook Facebook 4 Juillet 2013