Google vient voir ma home page 28 000 fois par jour

[artscoop]

Hello tout le monde,

Je possède un petit site sans prétention avec juste des wallpapers. Je pense qu'il n'est pas nécessaire de donner son URL.
Ce site a un PR1 et existe depuis 2008, donc on ne peut pas dire que j'ai forcé sur son référencement.
Je remarque, dans mes logs, que GoogleBot crawle de temps en temps le contenu du site, mais qu'il passe toute la journée sur la page d'accueil; le log des accès indique énormément de requêtes de Google sur cette page, seulement pour la journée d'hier. Pour ce jour, on en est à 22 000.
À noter également, la page d'accueil change pas super souvent : Il y a quelques chiffres en bas de contenu qui sont mis à jour toutes les 5 minutes, mais ce ne sont que des chiffres. Cela pourrait-il expliquer l'abus ?

Ça ressemble à un bug de robots chez Google, non ?

 

[Madrileño]

Il est possible de changer la vitesse de crawl dans GWT si c'est gênant.
Ce n'est pas forcément un bug et c'est bien pour le site.

 

[Zecat]

Heu 20000 fois par jour sur une page ? :roll:

 

[rudddy]

en effet ça a l'air puissant quand même !

 

[Leonick]

as-tu vérifié que les ip appartiennent réellement à gg et pas juste à des aspirateurs de site ?

 

[WebRankInfo]

tu n'as pas un système de session qui met des identifiants dans les URL ?

 

[finstreet]

et qu'il s'agit bien de pages et pas de hits

 

[dd32]

Hello,
Si malgré tout tu ne trouves pas de réponse, peut-être faire un crawl avec un autre outil (Xenu par exemple) et voir si la répartition du maillage interne... (tout sur la home ?) ou essayer de repérer des erreurs éventuels.
GWT ne fournit pas d'autres erreurs d'exploration en parallèle ?

Bon courage,

dd32

 

[Leonick]

est-ce des GET ou bien des HEAD ?

 

[bg62]

Heu 20000 fois par jour sur une page ? :roll:

effectivement ça fait vraiment un peu gros
ou alors "google est ton ami" est il n'a que cela à faire :wink:

 

[artscoop]

Oula ! Ça fait beaucoup de réponses.
@Finstreet/Leonick : Ce sont bien des GET.
@WRI : Nope, les URLs sont parfaitement clean (Drupal)
@Leonick : C'est bien Google à forte raison : 66.249.66.209 GoogleBot/2.1
@Zecat : C'est si insolite que ça ??
@dd32 : Alors effectivement, de la home, il y a possibilité d'atteindre toutes les pages ou presque. (J'avais zappé que la page pouvait prendre un paramètre page allant de 1 à 120) Ceci expliquerait que la home soit le lieu préféré du crawler, mais malgré cela, 25 000 fois ?!

Pour terminer, j'avais oublié une chose : GWT m'indique lui aussi avoir crawlé 24 685 pages dans un des derniers jours.
J'oublie peut-être quelque chose ?

 

[Madrileño]

Le site a-t-il eu un lien depuis un site très connu qui inciterait le bot à revenir souvent ces derniers jours ?

 

[artscoop]

Le site a-t-il eu un lien depuis un site très connu qui inciterait le bot à revenir souvent ces derniers jours ?

Hello,
Bonne question, j'ai eu quelques liens récemment, on va dire une dizaine. Je ne pense pas que les sites d'origine soient particulièrement connus...