Le crawl qui suit la Google Dance

[sdamain]

Ce crawl a t'il déjà eu lieu sur vos sites?

 

[Digit]

A en croire l'agent placé sur différents sites, le nombre de pages crawlées par jour a été plus élevé ces trois derniers jours.

 

[sdamain]

Le tien en fait il partie?

 

[Digit]

Le mien en fait partie, et ça se voit très nettement sur le rapport
Mais il semblerait que ça ait commencé la veille de la GGdance.
Si on regarde le graph de WRI c'est également le cas.
Cependant, pour d'autres sites c'est moins visible, plus étalé.

 

[sdamain]

Malgré mon PR5 (depuis l'avant dernière GD) je n'ai pas eu cette chance encore.
Ca va probablement venir.

 

[moutyk]

Ca n'existe plus les crawl !!??

Moi en tout cas ca ne se confirme pas sur mon site

 

[anguenot.com]

Ca crawle dur en ce moment même chez mois. 4GGBots me font l'honneur de leur visite:
64.68.82.176
64.68.82.135
64.68.82.144
64.68.82.199

 

[legolfquebecois]

Plus de nouvelles de google bot depuis 48h alors qu'il crawle normalement au moins deux pages par jour chez moi???

 

[sdamain]

Ca crawl depuis ce matin

 

[mixmax06]

Salut.
moi aussi, j'ai 5 bots , allez les petits ......


André

 

[WebRankInfo]

Le mien en fait partie, et ça se voit très nettement sur le rapport
Mais il semblerait que ça ait commencé la veille de la GGdance.
Si on regarde le graph de WRI c'est également le cas.
Cependant, pour d'autres sites c'est moins visible, plus étalé.

pourrais-tu changer la taille des graphiques ? on n'y voit pas grand chose pour l'instant... pourtant ça a l'air très intéressant.

pour info : j'avais désactivé l'enregistrement des visites des robots dans le forum pendant qq jours, quand j'ai eu des soucis avec le serveur. c'est remis en place depuis.

 

[Digit]

Bonne idée, j'ai rajouté un zoom quand on clique sur l'image

 

[Remi L.]

J'ai eu aussi une grosse activité du googlebot depuis 2 jours.

 

[WebRankInfo]

quelques remarques :
- je ne pense pas qu'il soit nécessaire d'avoir un PR>=4 pour utiliser la requete site: qui liste les pages indexées par Google
- peux-tu préciser ce que signifie ton échelle de 1 à 10 en ordonnée ?
- le nb de pages indexées par Google est-il recalculé régulièrement ?

 

[Digit]

1- c'est probable
2-l'échelle de 1 à 10 correspond à l'échelle du PR, mais les autres courbes n'ont pas cette nature d'échelle, je rajoute donc la précision dans chaque légende.
3-Oui, une fois par jour

 

[PuraVida]

oui, ca continue!!
5 googlebot aujourd'hui :lol:

 

[Digit]

Juste un petite remarque technique sur les impacts des crawls post-GGDance :
Ceux-ci parcourent plus de page par jour qu'en temps normal, ça peut avoir un impact important sur les ressources d'un site hébergeant quelques miliers ou dizaines de miliers de pages. Voici donc quelques astuces pour réduire cette charge supplémentaire :
- utiliser une redirection 301 pour toute page de type nomdedomaine.com vers www .nomdedomaine.com Il est effectivement inutile que le bot lise deux fois la même page (de temps en temps sur le domaine, de temps en temps sur le sous-domaine www). Un thread sur le forum explique comment le faire via le fichier .htaccess
- Bien gérer ses paramètres dynamiques : si une page est du format h**p://www.domaine.com/page.php?p1=truc&p2=machin, éviter de faire des liens sur d'autres pages de la forme h**p://www.domaine.com/page.php?p2=machin&p1=truc. Cette inversion de paramètres fait que la page pourra être crawlée avec ces deux versions alors que c'est un même contenu.
L'idée est de faire crawler l'essentiel et non pas plusieurs fois la même chose, on augmente nos chances d'avoir un crawl exhaustif