Google bot est passé,..... questions :)

Discussion dans 'Crawl et indexation Google, sitemaps' créé par koros, 23 Mai 2003.

  1. koros
    koros WRInaute discret
    Inscrit:
    16 Mai 2003
    Messages:
    70
    J'aime reçus:
    0
    Bonjour,
    hier, il semblerai que mon site ait subi une full crawl de google bot.
    Tant mieux, je l'attendais depuis le 30 avril, cepandant j'ai quelques questions à ce propos:

    1) Avec google stat, j'ai pu suivre le crawler, et j'ai constaté sa lenteur: une journée entière pour indexer mon site, plusieurs minutes entre une page et l'autre. Est-ce normal ? Je m'attendais à une furie qui indexerai mon site en une heure maximum.

    2) J'ai environ 500 pages sur mon site, hors, "seulement" 390 ont été indexée.
    Elles sont pourtant toutes statiques, liées correctement..... avez vous une explication ?

    cordialement,
    Koros
     
  2. Kmacleod
    Kmacleod WRInaute passionné
    Inscrit:
    28 Novembre 2002
    Messages:
    2 468
    J'aime reçus:
    0
    Googlebot, heureusement n'indexe pas les sites à la vitesse grand V, et c'est tant mieux, les serveurs ainsi peuvent être disponibles pour les internautes.
    Imagines sinon; notre site est un peu lent durant une heure ... ou deux, le temps que googlebot passe dans nos 6512 pages.
    Googlebot est lent et c'est normal.
     
  3. cariboo
    cariboo WRInaute impliqué
    Inscrit:
    8 Février 2003
    Messages:
    600
    J'aime reçus:
    0
    L'explication, c'est que ce n'est pas un full crawl du tout... mais un fresh crawl.

    Les Googlebots qui passent en ce moment sont des freshcrawlers, les deepcrawlers n'ont pas montré leur bout de nez.

    Par contre, les fresh crawler ont une activité plus élevée qu'avant, ce qui explique que tu ais pu confondre.
     
  4. koros
    koros WRInaute discret
    Inscrit:
    16 Mai 2003
    Messages:
    70
    J'aime reçus:
    0
    Un fresh crawl qui parcours 390 pages ?!
    Bhein autant qu'ils remplacent le fresh crawl par un deep crawl alors....

    Koros
     
  5. cariboo
    cariboo WRInaute impliqué
    Inscrit:
    8 Février 2003
    Messages:
    600
    J'aime reçus:
    0
    Regarde attentivement les adresses ip des "bots", ce sont bien des freshcrawlers...

    Comme je l'ai expliqué dans un autre thread, ce mois-ci, les freshbots ont commencé à se comporter comme des deepbots... Enfin presque...

    Les freshbots aspirent toutes les pages d'un site, plus lentement qu'un deepbot, mais plus sûrement d'un freshbot ancienne formule.

    Peut-être que les crawl24/25/26/27 ont un rôle spécial à jouer...
     
  6. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 603
    J'aime reçus:
    0
    J'ai eu droit à 2548 passages en 58 minutes cette nuit, avec une répartition homogène sur 26 robots en 64.68.... soit des freshbots !
    C'est un peu rapide à mon goût :lol:

    Dan
     
  7. Suede
    Suede WRInaute passionné
    Inscrit:
    4 Octobre 2002
    Messages:
    2 474
    J'aime reçus:
    0
    Le deepcrawl est passé aussi :)

    Fanch
     
  8. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 073
    J'aime reçus:
    330
    tu es sûr ? quelles adresses ?
     
Chargement...
Similar Threads - Google bot passé Forum Date
le robot google ne passe plus sur mon site !! Crawl et indexation Google, sitemaps 12 Août 2016
Date à laquelle Googlebot est passé Crawl et indexation Google, sitemaps 15 Septembre 2013
Google passe outre mon fichier robots.txt , pages ré-indexées Crawl et indexation Google, sitemaps 26 Juin 2011
Googlebot est passé plusieurs fois mais pas d'indexation Crawl et indexation Google, sitemaps 6 Avril 2011
Quelles sont les critères pour que le robot degoogle puisse passer plusieurs fois par jour Problèmes de référencement spécifiques à vos sites 30 Mars 2011
Googlebot ne passe plus ? Crawl et indexation Google, sitemaps 7 Octobre 2009
Quand Googlebot fait l'impasse à robots.txt Crawl et indexation Google, sitemaps 29 Mai 2009
demander au robot google de repasser indexer ma page Crawl et indexation Google, sitemaps 27 Mai 2009
Site inaccessible pour GoogleBot Crawl et indexation Google, sitemaps 21 Octobre 2019
En décembre 2019 changement de l'user agent de Googlebot Crawl et indexation Google, sitemaps 5 Octobre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice