Nouveau site est pas de Googlebot officiel, mais la visite d'un bot noname

Discussion dans 'Crawl et indexation Google, sitemaps' créé par gnupower, 20 Janvier 2009.

  1. gnupower
    gnupower Nouveau WRInaute
    Inscrit:
    28 Avril 2008
    Messages:
    33
    J'aime reçus:
    0
    Nouveau site est pas de Googlebot officiel, mais la visite d

    Bonsoir,

    Le 12 janvier j'ai lancé un nouveau site. Afin de faire un test, j'ai décidé de ne pas le soumettre à Google ni à ces petits copains. J'attends sagement qu'il découvre mon site via quelques liens qui sont disséminés sur la toile.

    Je vérifie régulièrement mes logs afin de savoir quand enfin il va ce décider à visiter mon site.

    J'utilise la commande suivante pour détecter son passage :

    grep Googlebot access_log

    Ce que je trouve étrange ce n'est pas sa non venu ce qui me paraitrait normal, mais la venu d'un robot provenant de chez Google, mais qui ne s'annonce pas et qui ne respecte absolument rien.

    grep 66.249* access_log

    example.com 66.249.67.27 [17/Jan/2009:14:28:46 +0000] "GET / HTTP/1.1" 200 17983
    example.com 66.249.67.27 [19/Jan/2009:02:36:24 +0000] "GET /robots.txt HTTP/1.1" 200 783
    example.com 66.249.67.27 [18/Jan/2009:23:21:37 +0000] "GET /rep1/ HTTP/1.1" 200 15554
    example.com 66.249.67.27 [19/Jan/2009:00:28:17 +0000] "GET /rep2/sous-rep3/ HTTP/1.1" 200 9949
    example.com 66.249.67.27 [19/Jan/2009:09:00:57 +0000] "GET / HTTP/1.1" 200 17983
    example.com 66.249.67.27 [19/Jan/2009:16:31:11 +0000] "GET /vcssratkq.html HTTP/1.1" 404 5080

    Il suit les liens en nofollow, il suit des pages qui lui sont interdites via un fichier robots.txt, etc.

    Qui plus est; il va sur des pages (Ex : 404), qui n'ont jamais existé.

    Avez-vous déjà vu ça sur vos sites ?

    Pour votre information la plage d'IP appartient à Google.

    whois 66.249.67.27

    OrgName: Google Inc.
    OrgID: GOGL
    Address: 1600 Amphitheatre Parkway
    City: Mountain View
    StateProv: CA
    PostalCode: 94043
    Country: US

    NetRange: 66.249.64.0 - 66.249.95.255
    CIDR: 66.249.64.0/19
    NetName: GOOGLE
    NetHandle: NET-66-249-64-0-1
    Parent: NET-66-0-0-0-0
    NetType: Direct Allocation
    NameServer: NS1.GOOGLE.COM
    NameServer: NS2.GOOGLE.COM
    NameServer: NS3.GOOGLE.COM
    NameServer: NS4.GOOGLE.COM
    Comment:
    RegDate: 2004-03-05
    Updated: 2007-04-10

    OrgTechHandle: ZG39-ARIN
    OrgTechName: Google Inc.
    OrgTechPhone: +1-650-318-0200
    OrgTechEmail: arin-contact@google.com

    Geekement votre,
    Un curieux qui recherche d'autres curieux afin de faire un croisement d'information
     
  2. Audiofeeline
    Audiofeeline WRInaute accro
    Inscrit:
    20 Octobre 2005
    Messages:
    4 201
    J'aime reçus:
    2
    C'est bien Googlebot qui fait son travail.
    Il fouine tout pour comprendre la structure du site.
    Ces derniers mois il est devenu très virulent du fait de la recherche "en temps réel".
    Si tu le trouves un peu trop gourmand tu peux le calmer dans Google Webmasters Tools.
     
  3. gnupower
    gnupower Nouveau WRInaute
    Inscrit:
    28 Avril 2008
    Messages:
    33
    J'aime reçus:
    0
    Je ne confonds pas. Ce n'est pas le robot de Google qui passe sur mon site.

    Le robot officiel ce présent sou la forme :

    66.249.66.16 - - [21/Jan/2009:11:19:26 +0100] "GET /robots.txt HTTP/1.1" 200 796 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

    Le mystère reste donc entier.
     
  4. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 414
    J'aime reçus:
    0
    il indique quoi comme UA ?
     
  5. gnupower
    gnupower Nouveau WRInaute
    Inscrit:
    28 Avril 2008
    Messages:
    33
    J'aime reçus:
    0
  6. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 414
    J'aime reçus:
    0
    User Agent
     
  7. gnupower
    gnupower Nouveau WRInaute
    Inscrit:
    28 Avril 2008
    Messages:
    33
    J'aime reçus:
    0
    Merci de m'avoir éclairé sur la signification de cet acronyme.

    Justement, il n'en affiche aucun. C'est ça qui m'intrigue.
     
  8. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 414
    J'aime reçus:
    0
    est ce que les logs prennent en compte les UA ? si non, les rajouter au format de fichier log
     
Chargement...
Similar Threads - Nouveau Googlebot officiel Forum Date
Attention, OVH semble à nouveau bloquer Googlebot Administration d'un site Web 18 Octobre 2012
Sous domaine ou nouveau domaine Référencement Google Lundi à 17:29
Création d'un nouveau site dans un site déjà existant Débuter en référencement 16 Avril 2020
Quoi de nouveau en SEO depuis 2016 ? Débuter en référencement 14 Avril 2020
Besoin d'avis sur mon nouveau site Demandes d'avis et de conseils sur vos sites 9 Avril 2020
Besoin d'avis sur mon nouveau site. Demandes d'avis et de conseils sur vos sites 26 Mars 2020
QWANT mars 2020 : index à nouveau périmé, liens 404, manipulation des résultats... Autres moteurs de recherche connus 5 Mars 2020
Quel pays pour le nouveau Google News ? Google : l'entreprise, les sites web, les services 21 Février 2020
Nouveau Forum Qwanturank Annuaires et moteurs 28 Décembre 2019
WebAssembly, un nouveau standard de langage w3c Développement d'un site Web ou d'une appli mobile 8 Décembre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice