Les vrais/faux deepbots ne passent plus depuis Dominic

Discussion dans 'Crawl et indexation Google, sitemaps' créé par cariboo, 11 Juin 2003.

  1. cariboo
    cariboo WRInaute impliqué
    Inscrit:
    8 Février 2003
    Messages:
    600
    J'aime reçus:
    0
    J'avais observé, comme un certain nombre de webmasters, qu'un nouveau style de robots avait fait son apparition en février/mars 2003 (tiens ! février/mars 2003...)

    Ces "Googlebots" avaient une IP commençant par 64, comme un freshbot, mais au lieu de s'appeler "crawler", étaient dénommés crawlXX.googlebot.com, comme les deepbots...

    La fréquence de passage de ces "hybrides" avait augmenté, pour devenir quasi quotidienne juste avant Dominic.

    Mais depuis la "stabilisation" de l'index, plus rien...

    Le dernier passage date du 23 mai, une heure avant la fin de la phase 1...

    Avez-vous constaté le même phénomène ?
     
    #1 cariboo, 11 Juin 2003
  2. Mirgolth
    Mirgolth WRInaute occasionnel
    Inscrit:
    14 Octobre 2002
    Messages:
    419
    J'aime reçus:
    0
    Salut,

    Avec Robotstats ce type de question ne nescessite plus d'avoir une bonne mémoire, juste de connaitre un peu SQL:
    Code:
    SELECT `id` , `robot` , `url` , `date` , `ip` , `dns` , `code` 
FROM `rs_log` 
WHERE `robot` = 1 
AND `ip`LIKE '64.%' 
AND `dns` NOT LIKE 'crawler%'
    Donc, chez moi, la date de la première apparition d'un crawler hybride est le 2003-04-29 15:19:00 et le dernier est passé le 2003-05-25 20:52:00

    Plus d'info sur les volumes au jour le jour:

    Code:
    2003-04-29 14 
2003-04-30 79 
2003-05-02 24
2003-05-03 176 
2003-05-04 32 
2003-05-06 5 
2003-05-07 128
2003-05-08 5 
2003-05-09 48 
2003-05-10 2 
2003-05-12 11 
2003-05-13 169 
2003-05-14 155 
2003-05-15 127 
2003-05-16 144 
2003-05-20 128 
2003-05-21 106
2003-05-22 18 
2003-05-23 1 
2003-05-24 3 
2003-05-25 34
    Edit : J'ai viré le couleurs

    Mirgolth
     
    #2 Mirgolth, 11 Juin 2003
  3. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Salut,

    Chez moi, le dernier passage de ce type de bot remonte au 28 mai ... mais il est venu 2550 fois ce jour là !


    Dan

    Code:
    [ 98]  64.68.84.131
[109]  64.68.84.132
[133]  64.68.84.134
[128]  64.68.84.137
[ 86]  64.68.84.143
[118]  64.68.84.144
[ 86]  64.68.84.147
[ 81]  64.68.84.149
[ 89]  64.68.84.15
[ 98]  64.68.84.152
[ 99]  64.68.84.153
[108]  64.68.84.16
[108]  64.68.84.160
[ 81]  64.68.84.31
[ 85]  64.68.84.39
[ 80]  64.68.84.42
[ 81]  64.68.84.43
[ 75]  64.68.84.46
[ 87]  64.68.84.49
[ 85]  64.68.84.51
[106]  64.68.84.52
[ 98]  64.68.84.6
[ 73]  64.68.84.76
[152]  64.68.85.13
[101]  64.68.85.6
[105]  64.68.85.9
     
    #3 hetzeld, 11 Juin 2003
  4. indl56
    indl56 Nouveau WRInaute
    Inscrit:
    23 Février 2003
    Messages:
    44
    J'aime reçus:
    0
    Message supprimé.
     
    #4 indl56, 11 Juin 2003
  5. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Indl56,

    Non, ce ne sont pas ces bots là... celui qui est passé te voir est crawler10.googlebot.com

    Dan
     
    #5 hetzeld, 11 Juin 2003
  6. Sh@rdar
    Sh@rdar Nouveau WRInaute
    Inscrit:
    27 Mai 2003
    Messages:
    10
    J'aime reçus:
    0
    perso j'ai des visites régulières de crawler 10 11 et 12 (entre 100 & 500 visites / jour) depuis que j'ai passé le site avec mod_rewrite

    par contre, il n'a toujours pas "tapé" dans mes pages us (j'utilise un système de pseudos répertoires fr/xxx us/xxx)

    vivement que ces pages apparaissent dans le moteur :p
     
    #6 Sh@rdar, 11 Juin 2003
  7. zehunter
    zehunter WRInaute occasionnel
    Inscrit:
    10 Février 2003
    Messages:
    393
    J'aime reçus:
    0
    perso plus de google depuis le 22 mai .....
     
    #7 zehunter, 11 Juin 2003
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - vrais faux deepbots Forum Date
Google bloque les fraudeurs vrais ou faux ? Référencement Google 8 Juillet 2016
Mais où sont passés les vrais résultats de recherche ? Référencement Google 24 Novembre 2019
htaccess, vrais dossiers et dossiers simulés URL Rewriting et .htaccess 5 Novembre 2019
Calcul des frais de livraison ? e-commerce 20 Septembre 2019
Devrais-je passer mon site en https ou rester en http Demandes d'avis et de conseils sur vos sites 23 Septembre 2017
problème livraison Google Merchant center e-commerce 29 Mai 2016
Cherche document attestant de la livraison d'un site internet Le café de WebRankInfo 4 Avril 2016
Conseil pour 1 contrat simple pour garder le "désigné par" dans le footer après livraison Droit du web (juridique, fiscalité...) 15 Février 2016
Calcul des frais de livraison en fonction des pays e-commerce 30 Juillet 2015
e-commerce et solution de transport livraison e-commerce 28 Juillet 2015