On dirait que le deep crawl c'est commencer chez les amerlok

Discussion dans 'Crawl et indexation Google, sitemaps' créé par frenchtoast, 11 Juillet 2003.

  1. frenchtoast
    frenchtoast Nouveau WRInaute
    Inscrit:
    9 Juillet 2003
    Messages:
    12
    J'aime reçus:
    0
    Qu'est que vous en pensez,
    ca a commencer ce matin et continuer l' apres midi (nuit en Gaule):
    crawl35.googlebot.com - - [10/Jul/2003:17:10:35 -0400]
    crawl31.googlebot.com - - [10/Jul/2003:17:11:11 -0400]
    crawl35.googlebot.com - - [10/Jul/2003:17:30:52 -0400]
    crawl35.googlebot.com - - [10/Jul/2003:17:41:08 -0400]
    crawl32.googlebot.com - - [10/Jul/2003:17:43:27 -0400]
    crawl35.googlebot.com - - [10/Jul/2003:17:46:21 -0400]
    crawl35.googlebot.com - - [10/Jul/2003:16:53:11 -0400]
    crawl32.googlebot.com - - [10/Jul/2003:16:55:17 -0400]
    crawl33.googlebot.com
    crawl35.googlebot.com - - [10/Jul/2003:16:22:35 -0400]
    crawl34.googlebot.com - - [10/Jul/2003:15:42:45 -0400]
    crawler12.googlebot.com - - [10/Jul/2003:08:57:14 -0400]
    crawler10.googlebot.com - - [10/Jul/2003:09:06:12 -0400]
    crawler10.googlebot.com - - [10/Jul/2003:09:06:12 -0400]
    crawler11.googlebot.com - - [10/Jul/2003:09:11:48 -0400]
    crawler10.googlebot.com - - [10/Jul/2003:09:13:00 -0400]
    crawler12.googlebot.com - - [10/Jul/2003:09:13:58 -0400]
    crawler11.googlebot.com - - [10/Jul/2003:09:14:54 -0400]
    crawler10.googlebot.com - - [10/Jul/2003:09:15:41 -0400]
    crawler12.googlebot.com - - [10/Jul/2003:09:19:41 -0400]
     
  2. koros
    koros WRInaute discret
    Inscrit:
    16 Mai 2003
    Messages:
    70
    J'aime reçus:
    0
    Oui, j'ai un site US et il passe mais le comportement est très curieux.
    D'habitude, quand google se braque sur un site, il fait ça plutot rapidement.

    La, c'est 10 pages par jour maxi (vu que mon site en a 600, à ce rytme, on en a jusqu'a la fin de l'été).

    Je trouve ça bizzare, je preferai avant. Et je constate ça sur plusieurs sites complètement independants.

    Koros
     
  3. frenchtoast
    frenchtoast Nouveau WRInaute
    Inscrit:
    9 Juillet 2003
    Messages:
    12
    J'aime reçus:
    0
    Tu as raison, c'est pourquoi je n'etais pas sur..... On dirait que cette fois ci google bot tourne au ralentit pour ne pas "affoler la machine" comme il l'avait fait le mois passe.
    Stay tuned!!
     
  4. luckyluk
    luckyluk WRInaute occasionnel
    Inscrit:
    23 Novembre 2002
    Messages:
    410
    J'aime reçus:
    0
    salut,

    y a pas que chez les amerlok...

    moi il a crawlé la moitié de mon site...(bon d'accord, il n'y a que 60 pages...)
     
  5. nico__p
    nico__p WRInaute discret
    Inscrit:
    29 Avril 2003
    Messages:
    81
    J'aime reçus:
    0
    Ouaip pareil : je suis deepcrawlé depuis avant hier, cf msg que j'avais mis dans un topic qui me semblait approprié mais qui n'a manifestement pas été lu lol
    ------------------------------------------------------------------

    Avec mon PR redescendu a 4 depuis la derniere dance google ne crawlait pas les nouvelles pages. Aujourd'hui j'ai subi une sorte de full crawl partiel : visite d'environ 70% des pages du site et visite de TOUTES les nouvelles pages ( = pages mises en ligne depuis la derniere dance).
    Ces pages ne sont pas encore dans l'index mais c'est normal ca fait a peine 1h00 qu'il a fini de crawler, laissons le se reposer

    D'autres PR moyens qui etaient exclus des crawl de nouvelles pages ont ils constaté le meme phenomene ?

    (edit)Je precise que le dernier full crawl constaté sur mon site s'etait produit le 11 juin 2003 soit il y a tres exactement (ou presque :p ) un mois. Ca serait donc un nouveau deep, mais il semble etre moins profond car certaines pages n'ont pas ete revisitées..; ca va peut etre venir dans l'apres midi.(/edit)
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 051
    J'aime reçus:
    328
    quand vous parlez de DeepCrawl, en fait vous parlez d'un crawl classique (fresh crawl) de grande ampleur ? Car on ne voit toujours pas passer le GoogleBot Full Crawl (il est mort et enterré semble-t-il)
     
  7. herveG
    herveG WRInaute accro
    Inscrit:
    5 Mars 2003
    Messages:
    8 063
    J'aime reçus:
    0
    je serai effectivement de cet avis. ce ne sont que des fresh crwal qui semblent plus actifs ces derniers temps et visitent chaque page "individuellement". je n ai pas l impression qu ´ils "suivent" véritablement la profondeur des sites....enfin chez moi en tout cas....
     
  8. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    Bonjour,

    Chez moi il a pris 52 pages hier, et 220 depuis ce matin. Manifestement, il continue...
     
  9. Suede
    Suede WRInaute passionné
    Inscrit:
    4 Octobre 2002
    Messages:
    2 474
    J'aime reçus:
    0
    Bonjour,

    En fait, ca fait depuis début juillet qu'il a commencé à passer :
    286 visites/278 pages le 2
    15/13 le 4
    130/130 le 6
    45/36 le 7
    350/350 le 9
    50/48 le 10
    386/367 le 11 à 12h50
    (les autres jours 1 à 5 visites).
    En résumé depuis début juillet : 1276/1049 en julllet pour environ 2000-2200 pages indexées sur google.

    François
     
  10. herveG
    herveG WRInaute accro
    Inscrit:
    5 Mars 2003
    Messages:
    8 063
    J'aime reçus:
    0
    petite question : une de mes nouvelles pages a été visitée par un fresh il y a deja quelques jours de ca : 64.68.88.40 crawl32.googlebot.com
    cependant, je ne la vois touours pas indexée sur google. est ce que cela est "compatible" avec les nouvelles observations en matiere d indexation de nouvelles pages ou est-ce plutot compatible avec les methodes anciennes qui, si je ne me trompe pas, consistaient a deepcrawler les nouvelles pages et à ne les indexer qu au cours de la GD suivante ? merci. a+ Hervé

    la page en question est : http://www.location-poitiers.com/vacation-rentals.php

    PS: est ce que le fait que la page soit en anglais peut avoir un incidence négative dans la mesure ou ma page d acueil est indexée en francais ? par exemple, si les freshbots sont divisés en "freshbots pour la base "pages en francais" et freshbots pour la base "autres langues". genre "ah ben moi, je suis un fresh "france" donc si je trouve une page en anglais, je ne l indexe pas....."
     
  11. Suede
    Suede WRInaute passionné
    Inscrit:
    4 Octobre 2002
    Messages:
    2 474
    J'aime reçus:
    0
    Attendre, attendre :) Surtout si c'est il n'y a que qqs jours. Tu peux aussi tester sur tous les datacenters pour voir si elle est qqpart.

    François
     
  12. nico__p
    nico__p WRInaute discret
    Inscrit:
    29 Avril 2003
    Messages:
    81
    J'aime reçus:
    0
    Oui, exactement.

    Je pense que mon exemple est intéressant car avec mon pr4 j'etais exclu des MAJ en continu de l'index : seules les pages relevées en juin lors de la derniere dance etaient visitées et mises a jour dans le cache etc. Les liens vers des nouvelles pages n'etaient jamais visitées jusqu'à ces derniers jours.

    Un mois jour pour jour après le dernier full crawl (par des ips de fresh bots), il re-fullcrawl mon site. Il a aspiré presque toutes les pages mais pas encore la totalité absolue.
     
  13. DaViDe
    DaViDe Nouveau WRInaute
    Inscrit:
    30 Juin 2003
    Messages:
    43
    J'aime reçus:
    0
    Est-ce cela voudrait dire que dans un sens la google dance de juillet est lancée..? 8O
     
  14. cdpdf
    cdpdf WRInaute impliqué
    Inscrit:
    11 Mars 2003
    Messages:
    732
    J'aime reçus:
    0
  15. DaViDe
    DaViDe Nouveau WRInaute
    Inscrit:
    30 Juin 2003
    Messages:
    43
    J'aime reçus:
    0
    Mais pourront-t-ils tenir techniquement la cadence.. Si ils ne l'ont pas fait jusque maintenant c'est certainement pour cette raison!

    Si ils se plantent.. arf.. bel effet! :?
     
  16. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 051
    J'aime reçus:
    328
    la Google Dance et le crawl n'ont pas de rapport (en tout cas pas comme mentionné ici)
     
  17. stephwebmaster
    stephwebmaster WRInaute discret
    Inscrit:
    6 Février 2003
    Messages:
    51
    J'aime reçus:
    0
    moi aussi je constate une activite depuis quelque jours car je vois sur mon forum le nombre d'utilisateurs en ligne simultanement grimper anormalement :D

    Cela veut -il dire que ces pages seront en ligne à la prochaine dance car j'avais fait une modification du sid sur phpbb pour alors je ne sais pas si passage rime avec indexation?
     
  18. DaViDe
    DaViDe Nouveau WRInaute
    Inscrit:
    30 Juin 2003
    Messages:
    43
    J'aime reçus:
    0
    Moi cela fait quasi 1 mois que le site est en ligne mais je ne suis toujours pas référencé...
    Alors je ne sais pas si ce référencement constant s'applique à tout le monde.. grrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrr :x

    Et pourtant googlebot passe on peut dire fréquement.. (fin ca dépend les périodes..)
     
  19. Sh@rdar
    Sh@rdar Nouveau WRInaute
    Inscrit:
    27 Mai 2003
    Messages:
    10
    J'aime reçus:
    0
    grosse activité pour ma part depuis hier soir.


    en moins 24 H ça me fais plus de 1200 pages crawlées et ça continue à raison de 1 à 5 pages / minutes 8O
     
  20. moutyk
    moutyk WRInaute impliqué
    Inscrit:
    1 Mars 2003
    Messages:
    524
    J'aime reçus:
    0
    Salut

    Moi aussi tres grosse activitée depuis hier soir et en profondeur :D
     
  21. DaViDe
    DaViDe Nouveau WRInaute
    Inscrit:
    30 Juin 2003
    Messages:
    43
    J'aime reçus:
    0
    Si chez moi ce n'est pas la grosse activité est-ce parceque je ne suis pas encore référencé?

    Ca m'intrigue ca.. en même temps je n'ai pas encore beaucoups de pages!!! arf..
     
  22. frenchtoast
    frenchtoast Nouveau WRInaute
    Inscrit:
    9 Juillet 2003
    Messages:
    12
    J'aime reçus:
    0
    Ca y est, google a commencer aujourd'hui 11 juillet a indexer et mettre a jour certaines de mes pages, nouvelles et ou anciennent......
    Je peut trouver les pages indexees en cache desormais....
    Ce qui est zarbi c'est que bot continue a crawler mon site??? et en meme temps (casi) il les indexes????
     
  23. duch
    duch WRInaute discret
    Inscrit:
    9 Avril 2003
    Messages:
    177
    J'aime reçus:
    0
    bof, chez moi c'est pas la grosse activité, toujours une dizaine de pages par jour :(
     
  24. frenchtoast
    frenchtoast Nouveau WRInaute
    Inscrit:
    9 Juillet 2003
    Messages:
    12
    J'aime reçus:
    0
    Bien....
    Yeap google continue a "crawler" mon site... Il vas prendre au moins 6 mois pour finir a ce rythme!!
    Les pages qui etaient indexees hier, ne le sont plus aujourd'hui...???? je veut dire qu'elles n'apparaissent plus dans l'index a part les anciennes.
    Bof, c'est toujours la meme histoire avec google....Y'a plus qu'a attendre est voir
     
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice