Crawl36.googlebot.com C'est quoi ça ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par achtungbaby, 2 Septembre 2004.

  1. achtungbaby
    achtungbaby WRInaute accro
    Inscrit:
    14 Juin 2004
    Messages:
    3 147
    J'aime reçus:
    1
    Depuis quelques jours, j'ai systématiquement un truc google dans les hotes qui vistent le site :

    crawl36.googlebot.com

    Auparavant je n'avais jamais ça. Les visiteurs Robots étant bien distingués au niveau de awstats.
     
  2. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    Bonjour,

    Je ne connais pas crawl36.googlebot.com, mais je reçois la visite de crawl31.googlebot.com sur mes pages avec des AdSense et il s'agit du robot d'inspection des pages AdSense de Google. Il s'identifie comme Mediapartners-Google/2.1.

    J'utilise AWStats et, en standard, ce crawler n'est pas reconnu comme un robot, mais comme un visiteur normal. Comme on peut ajouter ses propres définitions de robots dans robot.pm, je viens de l'ajouter pour qu'il soit reconnu correctement à sa prochaine visite!

    Jean-Luc
     
  3. achtungbaby
    achtungbaby WRInaute accro
    Inscrit:
    14 Juin 2004
    Messages:
    3 147
    J'aime reçus:
    1
    ok, merci pour ta réponse.
     
Chargement...
Similar Threads - Crawl36 googlebot ça Forum Date
Comment augmenter la fréquence de passage de GoogleBot Crawl et indexation Google, sitemaps 10 Décembre 2019
Site inaccessible pour GoogleBot Crawl et indexation Google, sitemaps 21 Octobre 2019
En décembre 2019 changement de l'user agent de Googlebot Crawl et indexation Google, sitemaps 5 Octobre 2019
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps 16 Août 2019
Les pages 404 avec googlebot Crawl et indexation Google, sitemaps 14 Juin 2019
Evergreen Googlebot, basé sur Chromium (Chrome open source) Référencement Google 9 Mai 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
GoogleBot scan url inexistante Crawl et indexation Google, sitemaps 17 Avril 2019
feuilles de styles non obtenues par Googlebot Crawl et indexation Google, sitemaps 28 Septembre 2018
Temps de réponse serveur googlebot Développement d'un site Web ou d'une appli mobile 23 Mai 2018