Crawl et crawler googlebot ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par cariboo, 9 Mai 2003.

Tags:
  1. cariboo
    cariboo WRInaute impliqué
    Inscrit:
    8 Février 2003
    Messages:
    600
    J'aime reçus:
    0
    J'ai un certain nombre de "crawl" et de "crawler" qui sont passés récemment sur mon site, que je ne trouve pas dans les listes habituelles des IP des bots Google.

    Plus étrange, certains, qui se comportent comme des fresh bots, ne s'appellent pas "crawler" mais "crawl".

    Exemple 1 :
    64.68.80.157 2003/05/07 07:19 crawl25.googlebot.com

    Exemple 2:
    64.68.84.137 2003/05/03 21:39 crawl13.googlebot.com

    Exemple 3:
    64.68.84.43 2003/05/03 21:37 crawl11.googlebot.com

    Pour l'anecdocte le crawler11 était passé quelques heures avant

    Quelqu'un a-t'il des lumières pour m'éclairer ? Ces crawl(er) là ont-ils quelque chose de spécial ?
     
    #1 cariboo, 9 Mai 2003
  2. cariboo
    cariboo WRInaute impliqué
    Inscrit:
    8 Février 2003
    Messages:
    600
    J'aime reçus:
    0
    Tiens, encore deux nouveaux ce matin...

    Toujours personne pour éclairer ma lanterne ?

    64.68.80.71 2003/05/10 07:18 crawl24.googlebot.com
    64.68.80.69 2003/05/10 04:19 crawl24.googlebot.com

    64.68.80.203 2003/05/10 07:13 crawl27.googlebot.com

    Je précise que les "crawlers" normaux continuent à passer (crawler 12 par exemple)
     
    #2 cariboo, 10 Mai 2003
  3. Nitou
    Nitou WRInaute impliqué
    Inscrit:
    1 Décembre 2002
    Messages:
    696
    J'aime reçus:
    0
    Cela démontre bien que google change de méthode pour sa mise à jour car avant crawlxx.googlebot.com désignait un bot du fullcrawl 216.xx alors que crawlerxx.googlebot.com désignait le freshbot 64.xx
     
    #3 Nitou, 10 Mai 2003
  4. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Cela doit faire environ deux mois que de nouveaux crawlxx et crawlerxx sont apparus.
    C'est vrai qu'on se rend compte que certains bots en IP 64xxx se comportent maintenant comme se comportaient précédemment les deepcrawlers 216. Cela commence à devenir un peu confus ...

    Dan
     
    #4 hetzeld, 10 Mai 2003
  5. cariboo
    cariboo WRInaute impliqué
    Inscrit:
    8 Février 2003
    Messages:
    600
    J'aime reçus:
    0
    Après recherches, les crawl24, 25 26 et 27 passent sur certains sites depuis plusieurs mois...

    Sur webmasterworld, j'ai trouvé un thread du 1er mars sur le meme sujet. Il apparait dans des stats de sites de février 2003.

    Par contre, nos amis américains n'ont pas réussi à s'entendre visiblement sur leur statut (fresh ou deep)

    Trois hypothèses à vérifier :

    1°) Ces crawlxx sont aussi des freshbots (ce que laisse penser leur comportement, le moment où ils passent etc.). Donc il faut se fier aux IP, pas à la dénomination "crawl" ou "crawler". Et il faut corriger les listes publiées ça et là, parce que qu'elles sont archi fausses.

    2°) Ces crawlxx sont des deepbots. Alors là, c'est une révolution, parce que cela veut dire que je fais l'objet d'un deepcrawl en ce moment... ce qui serait étonnant

    3°) Ces crawlxx sont des bots "spéciaux". Par exemple, ils servent à compléter l'index en dehors des périodes de full crawl...
     
    #5 cariboo, 10 Mai 2003
  6. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Le problème actuel est que Google prend une direction qui n'a encore rien d'officiel et pour laquelle tout le monde se perd en conjectures... Il faudra attendre la fin (ou le début :wink: ) de la dance de mai pour espérer y voir plus clair.
    Peut-être qu'à l'heure actuelle les DeepCrawlers font déjà partie d'une époque révolue et qu'il n'y aura plus que des passages de simples bots, comme sur les autres moteurs ???

    Dan
     
    #6 hetzeld, 10 Mai 2003
  7. kendos
    kendos WRInaute impliqué
    Inscrit:
    25 Janvier 2003
    Messages:
    560
    J'aime reçus:
    0
    Idem pour moi, visite de crawl26 pour la 1ère fois. :?:

    Par contre, les listes comme celle que j'ai constitué ne sont pas fausses dans l'absolu. Ce qu'il ne faut pas associer sytématiquement c'est Deep+Crawl et Fresh+Crawler, mais les plages d'adresses et noms restent valables.

    Kendos

    http://www.maxhoo.com/crawl.shtm
     
    #7 kendos, 10 Mai 2003
  8. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 042
    J'aime reçus:
    532
    en tout cas quand on aura compris quelque chose précisément, il faudra que je fasse des modifs dans GoogleStats sinon les utilisateurs ne vont pas comprendre grand chose...
     
    #8 WebRankInfo, 10 Mai 2003
  9. cariboo
    cariboo WRInaute impliqué
    Inscrit:
    8 Février 2003
    Messages:
    600
    J'aime reçus:
    0
    Tiens, justement je pensais à la tienne :lol:

    Il va falloir pourtant que tu ajoutes quelques adresses IP...

    Quand à l'histoire des Deep et Fresh, décider que crawl27 est un fresh bot, c'est peut-être gonflé vu notre niveau d'information actuel...

    Tu fais ce que tu veux, mais pour l'instant je les classe dans les hermaphrodites... :lol:
     
    #9 cariboo, 10 Mai 2003
  10. kendos
    kendos WRInaute impliqué
    Inscrit:
    25 Janvier 2003
    Messages:
    560
    J'aime reçus:
    0
    Tout à fait d'accord, c'est pour cela que je n'ai jamais mentionné la notion de Deep ou Fresh...

    Par contre, je vais approfondir coté Google Image, Froogle etc...

    Pour les nouveaux bots, cette liste ne demande qu'a être compléter...un bon geste Caribou... :D
     
    #10 kendos, 10 Mai 2003
  11. cariboo
    cariboo WRInaute impliqué
    Inscrit:
    8 Février 2003
    Messages:
    600
    J'aime reçus:
    0
    Ce n'est pas ta page "crawl.shtm" qu'il faut revoir, plutôt la deepbots.shtml et freshbots.shtml :wink:

    Je ne sais pas quel geste tu attends ? Parce que j'ai déjà donné les IP des nouveaux bots détectés. Et les IP sont bien dans la page que tu communiques (crawl.shtm)

    Quoique... J'ai autre GooVNI à te donner... Un truc que tout le monde ne doit pas voir passer :

    Nokia-WAPToolkit/1.2 googlebot(at)googlebot.com 64.68.86.184 2003/05/10 03:28 crawler5.googlebot.com

    C'est le Googlebot spécial "sites wap"
     
    #11 cariboo, 10 Mai 2003
  12. sglasson
    sglasson WRInaute discret
    Inscrit:
    16 Juillet 2002
    Messages:
    91
    J'aime reçus:
    0
    Bonsoir,

    Ces fameux nv crawl continue a passer sur mon site.
    Et on retrouve la tendance de SJ et FI c'est a dire une indexation des pages datant du mois de mars.... Avant la mise en place de l'url Rewriting....

    Affaire a suivre 8O

    STéphane
     
    #12 sglasson, 14 Mai 2003
  13. luckyluk
    luckyluk WRInaute occasionnel
    Inscrit:
    23 Novembre 2002
    Messages:
    410
    J'aime reçus:
    0
    c'est ce que je me disais aussi..

    pourquoi il me recrawl mes anciennes urls!..
    8O


    dominic !! reveilles toi !...

    t'as encore fait guinze ?
     
    #13 luckyluk, 14 Mai 2003
  14. cariboo
    cariboo WRInaute impliqué
    Inscrit:
    8 Février 2003
    Messages:
    600
    J'aime reçus:
    0
    Oui, moi aussi, j'ai revu crawl23 dans mes logs hiers...

    Et quelques heures avant crawler11, 12, et 13

    Et ce matin crawler 10 et 11

    Crawl 23 se comporte plus comm un fresh crawler, pas comme un deep crawler... Mais il faudrait analyser les pages aspirées pour savoir si ce "crawl" n'a pas un comportement particulier
     
    #14 cariboo, 14 Mai 2003
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Crawl crawler googlebot Forum Date
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
CRAWLER GOOGLEBOT / ROBOT.txt et META ROBOT Débuter en référencement 31 Août 2012
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Crawler un site volumineux Crawl et indexation Google, sitemaps 4 Septembre 2019
Comment trouver la vraie adresse IP d'un crawler ? Développement d'un site Web ou d'une appli mobile 13 Février 2019
Crawler des URLs depuis un CSV Crawl et indexation Google, sitemaps 30 Août 2018
Projet : Crawler de site pour mise en cache chez Fasterize Développement d'un site Web ou d'une appli mobile 7 Septembre 2017
Comment crawler la version mobile de mon site? Administration d'un site Web 13 Juillet 2017
Crawler un site mobile m.monsite.fr avec Xenu Link Sleuth? Crawl et indexation Google, sitemaps 10 Janvier 2017