GoogleBot en folie

WRInaute passionné
je sais pas vous, mais ggbot crawle 100 a 300 pages de mon site chaque jour depuis plus de 10 jours....la menace yahoo? :)!
 
WRInaute passionné
Ah ben il doit pas trop se sentir menacé chez moi, alors... Pas de crawl depuis un bail... J'aimerais bien voir les résultats de quelques tests, pourtant...

Fred
 
WRInaute accro
de mon coté, ce n est pas dans ces chiffres que je me place mais je constate une plus forte frequence aussi (a la louche, je dirais environ 4 a 5 fois plus).
 
WRInaute impliqué
moi j'ai une augmentation des crawls mais que sur les pages d'index,
quelques rares autres pages mais vraiment pas beaucoup.

allez petit bot :lol:
 
WRInaute impliqué
de mon coté, ça vivote à 4 5 pages par jour, puis tout les 10 jours, un crawl à niveau -2 mais c'est tout... j'ai l'impression que quand les pages de niveau suppérieur ne sont pas mises à jour, il ne va pas voir "en dessous"
Vous en pensez quoi?
 
WRInaute passionné
alors la je comprends plus rien je fonctionne toujours a l'envers faut croire!!!

constats avec robotstats:

il remplit les forumlaires et ne sarrete plus a 1 ou 2 variab'les, puisqu'il me crawle des pages du style:

/recherche_simple_results.php?annonce=%25&type=(tous)&piece1=&piece2=&surface1=&surface2=&prix1=&prix2=&type_prix=0&ville=&keyword=&onlypros=1&max_ann=10&page=0&ordre_tri=DESC&champ_tri=id&tri=0&Submit=Rechercher

paradoxalement, il n'indexe plus que 39 pages, au lien de plusieurs centaines!!!
 
WRInaute impliqué
peut être que google s'attaque au web invisible, mais la, il a du boulot! :)
et ça lui fait des millions de possibibités (ou plus!) par site!
 
WRInaute impliqué
J'ai eu un crawl complet hier d'un site sur lequel je fais pas mal de mises à jour en ce moment, mais sinon pour les autres il est plutôt bien calme en ce moment.
(je parle du bot/2.1, celui de Adsense ne vient jamais me voir ;))
 
WRInaute impliqué
Mon site a été (presque) full-crawlé le 17/2

Pour ce qui est des pages en cache:
- environ 50% datent du 17/2
- l'autre moitié date du 24/1

Pour ce qui est des nouvelles pages: les pages mises en lignes depuis le 24/1 apparaissent (enfin) dans l'index
 
Discussions similaires
Haut