Nouveau site est pas de Googlebot officiel, mais la visite d'un bot noname

Discussion dans 'Crawl et indexation Google, sitemaps' créé par gnupower, 20 Janvier 2009.

  1. gnupower
    gnupower Nouveau WRInaute
    Inscrit:
    28 Avril 2008
    Messages:
    33
    J'aime reçus:
    0
    Nouveau site est pas de Googlebot officiel, mais la visite d

    Bonsoir,

    Le 12 janvier j'ai lancé un nouveau site. Afin de faire un test, j'ai décidé de ne pas le soumettre à Google ni à ces petits copains. J'attends sagement qu'il découvre mon site via quelques liens qui sont disséminés sur la toile.

    Je vérifie régulièrement mes logs afin de savoir quand enfin il va ce décider à visiter mon site.

    J'utilise la commande suivante pour détecter son passage :

    grep Googlebot access_log

    Ce que je trouve étrange ce n'est pas sa non venu ce qui me paraitrait normal, mais la venu d'un robot provenant de chez Google, mais qui ne s'annonce pas et qui ne respecte absolument rien.

    grep 66.249* access_log

    example.com 66.249.67.27 [17/Jan/2009:14:28:46 +0000] "GET / HTTP/1.1" 200 17983
    example.com 66.249.67.27 [19/Jan/2009:02:36:24 +0000] "GET /robots.txt HTTP/1.1" 200 783
    example.com 66.249.67.27 [18/Jan/2009:23:21:37 +0000] "GET /rep1/ HTTP/1.1" 200 15554
    example.com 66.249.67.27 [19/Jan/2009:00:28:17 +0000] "GET /rep2/sous-rep3/ HTTP/1.1" 200 9949
    example.com 66.249.67.27 [19/Jan/2009:09:00:57 +0000] "GET / HTTP/1.1" 200 17983
    example.com 66.249.67.27 [19/Jan/2009:16:31:11 +0000] "GET /vcssratkq.html HTTP/1.1" 404 5080

    Il suit les liens en nofollow, il suit des pages qui lui sont interdites via un fichier robots.txt, etc.

    Qui plus est; il va sur des pages (Ex : 404), qui n'ont jamais existé.

    Avez-vous déjà vu ça sur vos sites ?

    Pour votre information la plage d'IP appartient à Google.

    whois 66.249.67.27

    OrgName: Google Inc.
    OrgID: GOGL
    Address: 1600 Amphitheatre Parkway
    City: Mountain View
    StateProv: CA
    PostalCode: 94043
    Country: US

    NetRange: 66.249.64.0 - 66.249.95.255
    CIDR: 66.249.64.0/19
    NetName: GOOGLE
    NetHandle: NET-66-249-64-0-1
    Parent: NET-66-0-0-0-0
    NetType: Direct Allocation
    NameServer: NS1.GOOGLE.COM
    NameServer: NS2.GOOGLE.COM
    NameServer: NS3.GOOGLE.COM
    NameServer: NS4.GOOGLE.COM
    Comment:
    RegDate: 2004-03-05
    Updated: 2007-04-10

    OrgTechHandle: ZG39-ARIN
    OrgTechName: Google Inc.
    OrgTechPhone: +1-650-318-0200
    OrgTechEmail: arin-contact@google.com

    Geekement votre,
    Un curieux qui recherche d'autres curieux afin de faire un croisement d'information
     
  2. Audiofeeline
    Audiofeeline WRInaute accro
    Inscrit:
    20 Octobre 2005
    Messages:
    4 200
    J'aime reçus:
    2
    C'est bien Googlebot qui fait son travail.
    Il fouine tout pour comprendre la structure du site.
    Ces derniers mois il est devenu très virulent du fait de la recherche "en temps réel".
    Si tu le trouves un peu trop gourmand tu peux le calmer dans Google Webmasters Tools.
     
  3. gnupower
    gnupower Nouveau WRInaute
    Inscrit:
    28 Avril 2008
    Messages:
    33
    J'aime reçus:
    0
    Je ne confonds pas. Ce n'est pas le robot de Google qui passe sur mon site.

    Le robot officiel ce présent sou la forme :

    66.249.66.16 - - [21/Jan/2009:11:19:26 +0100] "GET /robots.txt HTTP/1.1" 200 796 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

    Le mystère reste donc entier.
     
  4. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 417
    J'aime reçus:
    0
    il indique quoi comme UA ?
     
  5. gnupower
    gnupower Nouveau WRInaute
    Inscrit:
    28 Avril 2008
    Messages:
    33
    J'aime reçus:
    0
  6. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 417
    J'aime reçus:
    0
    User Agent
     
  7. gnupower
    gnupower Nouveau WRInaute
    Inscrit:
    28 Avril 2008
    Messages:
    33
    J'aime reçus:
    0
    Merci de m'avoir éclairé sur la signification de cet acronyme.

    Justement, il n'en affiche aucun. C'est ça qui m'intrigue.
     
  8. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 417
    J'aime reçus:
    0
    est ce que les logs prennent en compte les UA ? si non, les rajouter au format de fichier log
     
Chargement...
Similar Threads - Nouveau Googlebot officiel Forum Date
Attention, OVH semble à nouveau bloquer Googlebot Administration d'un site Web 18 Octobre 2012
WebAssembly, un nouveau standard de langage w3c Développement d'un site Web ou d'une appli mobile Dimanche à 09:07
Référencement nouveau site Débuter en référencement 26 Novembre 2019
Blog wordpress piraté ? Des dizaines de nouveaux mauvais Backlinks Netlinking, backlinks, liens et redirections 10 Novembre 2019
Nouveaux utilisateurs + visites directes Google Analytics 30 Septembre 2019
Vous créez un nouveau site web ? un outil interressant Développement d'un site Web ou d'une appli mobile 4 Septembre 2019
Comment rediriger si la langue n'est plus dispo sur le nouveau site Référencement international (langues, pays) 27 Août 2019
Nouveau annuaire immobilier Annuaires et moteurs 17 Août 2019
Cibler de nouveaux pays/langues Référencement international (langues, pays) 1 Août 2019
Petit nouveau en quête de repères :) Merci de votre aide Demandes d'avis et de conseils sur vos sites 25 Juin 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice