Google bot est passé,..... questions :)

[koros]

Bonjour,
hier, il semblerai que mon site ait subi une full crawl de google bot.
Tant mieux, je l'attendais depuis le 30 avril, cepandant j'ai quelques questions à ce propos:

1) Avec google stat, j'ai pu suivre le crawler, et j'ai constaté sa lenteur: une journée entière pour indexer mon site, plusieurs minutes entre une page et l'autre. Est-ce normal ? Je m'attendais à une furie qui indexerai mon site en une heure maximum.

2) J'ai environ 500 pages sur mon site, hors, "seulement" 390 ont été indexée.
Elles sont pourtant toutes statiques, liées correctement..... avez vous une explication ?

cordialement,
Koros

 

[Kmacleod]

Googlebot, heureusement n'indexe pas les sites à la vitesse grand V, et c'est tant mieux, les serveurs ainsi peuvent être disponibles pour les internautes.
Imagines sinon; notre site est un peu lent durant une heure ... ou deux, le temps que googlebot passe dans nos 6512 pages.
Googlebot est lent et c'est normal.

 

[cariboo]

Bonjour,
hier, il semblerai que mon site ait subi une full crawl de google bot.

L'explication, c'est que ce n'est pas un full crawl du tout... mais un fresh crawl.

Les Googlebots qui passent en ce moment sont des freshcrawlers, les deepcrawlers n'ont pas montré leur bout de nez.

Par contre, les fresh crawler ont une activité plus élevée qu'avant, ce qui explique que tu ais pu confondre.

 

[koros]

Un fresh crawl qui parcours 390 pages ?!
Bhein autant qu'ils remplacent le fresh crawl par un deep crawl alors....

Koros

 

[cariboo]

Regarde attentivement les adresses ip des "bots", ce sont bien des freshcrawlers...

Comme je l'ai expliqué dans un autre thread, ce mois-ci, les freshbots ont commencé à se comporter comme des deepbots... Enfin presque...

Les freshbots aspirent toutes les pages d'un site, plus lentement qu'un deepbot, mais plus sûrement d'un freshbot ancienne formule.

Peut-être que les crawl24/25/26/27 ont un rôle spécial à jouer...

 

[hetzeld]

Un fresh crawl qui parcours 390 pages ?!
Bhein autant qu'ils remplacent le fresh crawl par un deep crawl alors....

Koros

J'ai eu droit à 2548 passages en 58 minutes cette nuit, avec une répartition homogène sur 26 robots en 64.68.... soit des freshbots !
C'est un peu rapide à mon goût :lol:

Dan

 

[Suede]

Le deepcrawl est passé aussi

Fanch

 

[WebRankInfo]

Le deepcrawl est passé aussi

Fanch

tu es sûr ? quelles adresses ?