Nouveaux Bots

Discussion dans 'Crawl et indexation Google, sitemaps' créé par kendos, 1 Mars 2003.

  1. kendos
    kendos WRInaute impliqué
    Inscrit:
    25 Janvier 2003
    Messages:
    560
    J'aime reçus:
    0
    Il semblerait que de nouveaux bots soient apparus dans les logs de certains internautes dans des classes d'adresses inconnues jusqu'a présents.

    En faisant une petite étude à ce propos, j'ai pu constitué une liste assez exhaustive des différentes IP utilisées par Googlebot :

    http://www.maxhoo.com/crawl.shtm

    Quelques questions cependant :

    - J'ai toujours été persuadé que crawlx.googlebot.com concernait la "Deep Craw" en opposition à crawlerx.googlebot.com pour le "Fresh Crawl" et que les classes d'IP étaient respectivement 216.239.46.* et 64.68.82.* Comme on peut le voir, il n'en est rien !

    - Si l'on considère que ma liste est juste, il y a 2 anomalies pour "crawl7" et "crawl9" qui ont 29 et 21 IP dans leur plage, alors que toutes les autres en ont 20 ou 30. Etonnant de la part de Google ! Néanmoins, le total des bots égal 800. Pile !

    - Pour les "crawler", on retrouve les 2 mêmes différences (29, 21) mais la plus grande question est : Ou est donc "crawler19" ?

    Kendos
    Maxhoo
     
  2. Jocelyn
    Jocelyn WRInaute occasionnel
    Inscrit:
    6 Novembre 2002
    Messages:
    382
    J'aime reçus:
    0
    Je n'ai pas compris à quoi servaient les numéros de 1 à 30 présents dans la colonne de gauche. Est-ce lié aux noms des bots (crawlerx, x étant le numéro dans la colonne de gauche ?)
    Je n'ai pas compris également pourquoi les plages d'adresses IP n'étaient pas regroupées. Mais peut-être la réponse à ma précédente question explique cette disposition.

    Jocelyn
     
  3. kendos
    kendos WRInaute impliqué
    Inscrit:
    25 Janvier 2003
    Messages:
    560
    J'aime reçus:
    0
    # veut dire numéro en anglais :wink:
    Donc Crawl # 1 = crawl1.googlebot.com dont la plage d'adresse est de 216.239.46.1 à 216.239.46.30 et ainsi de suite...
     
  4. Jocelyn
    Jocelyn WRInaute occasionnel
    Inscrit:
    6 Novembre 2002
    Messages:
    382
    J'aime reçus:
    0
    Ca j'avais bien compris :)
    Surprenant, je n'avais jamais imaginé que plusieurs adresses IP de crawlers Google avaient en fait le "même nom". Quel est le but ou la raison d'un tel regroupement de plusieurs IP sous le même nom ?

    Je vais regarder mes logs une fois de plus pour repérer ça.

    Merci pour les précisions, ça n'était pas clair (pour moi)

    Jocelyn
     
  5. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Jocelyn,

    Voici une explication du "Round Robin" qui te permettra de comprendre comment plusieurs adresses IP peuvent avoir le même nom de host.

    Dan
     
  6. Jocelyn
    Jocelyn WRInaute occasionnel
    Inscrit:
    6 Novembre 2002
    Messages:
    382
    J'aime reçus:
    0
    Merci Dan pour le rappel de la technique du Round-Robin, l'une des plus simples à mettre en oeuvre. Elle est d'ailleurs abordée dans le Guide sur l'URL rewriting. Ca explique le comment de ma question précédente.

    Maintenant, pourquoi ? Là, je n'ai pas compris. On parle des crawlers de Google. Pour moi, que crawlerX vienne plein de fois sur mon site (avec différentes adresses IP), ou que ce soit une alternance de crawlerX, crawlerY et crawlerZ (chacun ayant une seule IP fixe) importe peu.

    Mais dans le cas des crawlers de Google, c'est à sens unique : ils contactent nos serveurs quand ils veulent, récupèrent le contenu et disparaissent.

    Jocelyn (un webmaster décidément curieux)
     
Chargement...
Similar Threads - Nouveaux Bots Forum Date
Blog wordpress piraté ? Des dizaines de nouveaux mauvais Backlinks Netlinking, backlinks, liens et redirections 10 Novembre 2019
Nouveaux utilisateurs + visites directes Google Analytics 30 Septembre 2019
Cibler de nouveaux pays/langues Référencement international (langues, pays) 1 Août 2019
Indexation de nouveaux url et crawl Référencement Google 15 Novembre 2018
Mise à jour / nouveaux contenus Référencement Google 15 Août 2017
Nouveaux encarts Google 1ère position sur certaines requêtes Débuter en référencement 24 Janvier 2017
Renouveler ou pas des nouveaux NDD ? Noms de domaine et référencement 12 Janvier 2016
Dmoz.org accepte-t-il encore des nouveaux sites ? Débuter en référencement 7 Octobre 2015
Comment indiquer mes nouveaux liens a Google ? Débuter en référencement 21 Mars 2015
Nouveaux types de Menu et SEO Débuter en référencement 6 Mars 2015
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice