detection du passage de google bot : la meilleure methode ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par aladdin, 3 Décembre 2005.

  1. aladdin
    aladdin WRInaute passionné
    Inscrit:
    29 Avril 2005
    Messages:
    1 235
    J'aime reçus:
    0
    bonjour
    j'aimerai savoir quelle est la meilleure methode (la plus sure) pour detecter le passage du bot google :

    - detecter les IP du bot ?
    - detecter le UserAgent ?
    - autre methode ?



    merci
     
  2. Borower
    Borower WRInaute passionné
    Inscrit:
    18 Avril 2005
    Messages:
    1 671
    J'aime reçus:
    0
    RobotStats ne fait pas ça ?
    Je ne l'ai jamais testé donc je ne peux pas te dire.
     
  3. Luj
    Luj WRInaute occasionnel
    Inscrit:
    17 Juillet 2005
    Messages:
    295
    J'aime reçus:
    0
    BBclone m'affiche tous les moteurs qui viennent.
     
  4. aladdin
    aladdin WRInaute passionné
    Inscrit:
    29 Avril 2005
    Messages:
    1 235
    J'aime reçus:
    0
    je sais qu'il y'a pleins de scripts qui detectent les moteurs, mais moi je ne cherche pas un script, je veux juste savoir quelle methode est plus fiable pour detecter le passage du bot .
    Car justement j'ai étudier quelques scripts, et ils n'utilisent pas tous la meme methode !
     
  5. yuston
    yuston WRInaute impliqué
    Inscrit:
    24 Septembre 2004
    Messages:
    600
    J'aime reçus:
    0
    L'IP du bot je pense....
    Car avec l'user agent, les visiteurs peuvent le modifier sans difficulté.... meme que Firefox propose une extension pour ca!
     
  6. aladdin
    aladdin WRInaute passionné
    Inscrit:
    29 Avril 2005
    Messages:
    1 235
    J'aime reçus:
    0
    bein si c'est le seul inconvenion, ça pose pas de problème, je crois pas qu'il y'a énormement de surfeurs qui mettent googlebot dans leur variable useragent :D
     
  7. wullon
    wullon WRInaute accro
    Inscrit:
    18 Septembre 2004
    Messages:
    2 788
    J'aime reçus:
    0
    Ben IP+UserAgent ^^.
     
  8. tcctitan
    tcctitan WRInaute discret
    Inscrit:
    15 Janvier 2005
    Messages:
    202
    J'aime reçus:
    0
    RobotStats, il est assez complet
     
  9. aladdin
    aladdin WRInaute passionné
    Inscrit:
    29 Avril 2005
    Messages:
    1 235
    J'aime reçus:
    0
    :cry: :cry: :cry:

    mais personne ne me comprend ou koi ? :cry: :cry:

    j'ai dis que je ne veux pas installer un truc pour tracker les passages de robots , je veux juste savoir quel method est la meilleur pour la detection ...


    je connais robotstats et d'autres scripts qui font ça, mais ils le font differement, moi je veux juste savoir laquelle des methodes est la meilleure, sans combinant deux methodes .
     
  10. wullon
    wullon WRInaute accro
    Inscrit:
    18 Septembre 2004
    Messages:
    2 788
    J'aime reçus:
    0
    Ben par IP, c'est évident ^^.
     
  11. kevinss
    kevinss WRInaute discret
    Inscrit:
    15 Décembre 2003
    Messages:
    164
    J'aime reçus:
    0
    moi je suis d'avis de coupler les 2
     
  12. LeFlacon
    LeFlacon Nouveau WRInaute
    Inscrit:
    19 Septembre 2005
    Messages:
    9
    J'aime reçus:
    0
    Je ne suis pas un spécialiste mais le nom du UserAgent reste le même

    deep crawl : "Googlebot/2.1 (+https://www.google.com/bot.html)"
    si tu exclus le numéro de version (recherche uniquement de la chaine "Googlebot" au *début* du nom du UserAgent) je pense que tu es tranquille pour un bout de temps.

    fast crawl : "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

    Alors que les IP changent tout le temps, et en plus avec seulement les IP on ne peut pas distinguer le fast crawl de Google des visites de MediaPartners (mêmes IP utilisées).

    Donc si tu ne dois en chosir qu'un je dirais le UserAgent.
    A moins qu'un point important m'ait échappé ?
     
  13. kevinss
    kevinss WRInaute discret
    Inscrit:
    15 Décembre 2003
    Messages:
    164
    J'aime reçus:
    0
    les IP aussi mais on ne peut pas les simuler

     
  14. wullon
    wullon WRInaute accro
    Inscrit:
    18 Septembre 2004
    Messages:
    2 788
    J'aime reçus:
    0
    En même temps, tout dépend ce que l'on veut faire :
    - prendre tout ce qui est Google et un peu plus
    - ne prendre absolument que Google
     
  15. agilis
    agilis WRInaute discret
    Inscrit:
    18 Septembre 2005
    Messages:
    68
    J'aime reçus:
    0
  16. wullon
    wullon WRInaute accro
    Inscrit:
    18 Septembre 2004
    Messages:
    2 788
    J'aime reçus:
    0
    robotstats ?
     
  17. agilis
    agilis WRInaute discret
    Inscrit:
    18 Septembre 2005
    Messages:
    68
    J'aime reçus:
    0
    Oui, merci beaucoup!!

    Je pensais que robotstats était un service sfonctionnant comme xiti par exemple (script hébergé sur le serveur du service).

    Merci
     
  18. Ohax
    Ohax WRInaute accro
    Inscrit:
    5 Juillet 2004
    Messages:
    4 900
    J'aime reçus:
    0
    User agent...

    C'est beaucoup plus simple...

    Pour ce qui est de ceux qui s'amusent à le modifier ils ne sont pas très nombreux...
     
  19. wullon
    wullon WRInaute accro
    Inscrit:
    18 Septembre 2004
    Messages:
    2 788
    J'aime reçus:
    0
    agilis>Pas de problème :p.

    Ohax>tout dépend ce que tu veux faire. Si c'est pour des statistiques, l'UA me paraît être la meilleure solution. Si tu veux faire une page réservée à Google uniquement (bon, en général, c'est pas pour faire des choses très très zoulies ^^), le filtrage sur IP garantit une meilleure sécurité.

    Donc la méthode "la plus sûre" est par l'IP.
     
Chargement...
Similar Threads - detection passage google Forum Date
Email de détection de non conformités AdSense AdSense 3 Février 2020
Détection tablette marche pas Développement d'un site Web ou d'une appli mobile 1 Juillet 2019
Détection Google de réseau de sites avec un même compte Search Console Netlinking, backlinks, liens et redirections 16 Novembre 2018
Détection des vidéos en doublon sur YouTube [brevet Google] YouTube, Google Images et Google Maps 11 Janvier 2017
Détection des mobiles, pour AMP Google : l'entreprise, les sites web, les services 12 Décembre 2016
SEO : détection des pages trop profondes avec myrankingmetrics Débuter en référencement 20 Avril 2016
Site multirégional et multilingue : Détection et stratégie Référencement international (langues, pays) 18 Janvier 2015
Détection de la pénalité suroptimisation Problèmes de référencement spécifiques à vos sites 5 Septembre 2014
Détection flash chez le client Développement d'un site Web ou d'une appli mobile 26 Juin 2014
Site multilanguage detection par Localisation ou par Langue? Référencement international (langues, pays) 8 Juin 2014
Plus de détection dans Google Analytics Google Analytics 3 Mai 2014
Outils de detection de mauvais liens Référencement Google 24 Février 2014
Détection automatique du contenu illicite/soumis aux droits d'auteur Droit du web (juridique, fiscalité...) 7 Février 2014
Détection automatique de la langue et référencement Débuter en référencement 18 Septembre 2013
Problème et mauvaise détection automatique de recherche Google Problèmes de référencement spécifiques à vos sites 9 Juillet 2013
Détection de lien factice Netlinking, backlinks, liens et redirections 23 Avril 2013
Detection ip et redirection sur url URL Rewriting et .htaccess 3 Novembre 2012
Detection pc, tablette ou smartphone ? Développement d'un site Web ou d'une appli mobile 17 Octobre 2012
Détection de mobile pour site Développement d'un site Web ou d'une appli mobile 5 Septembre 2012
Que pensez-vous de cette détection des bots ? Développement d'un site Web ou d'une appli mobile 1 Juillet 2012