Google vient me voir toutes les 10 seconds en moyenne!

Nouveau WRInaute
Durant le lancement de notre moteur de shopping (adresse sur le bouton www) j'ai mis un lien à partir du blog sur le moteur avec une recherche sur macbook air.

En sachant que cette recherche retourne des milliers de pages, Google (le bot) est en train de parcourir toutes ces pages une à une et en essayant différents paramètres de filtrage et cela toutes les 10 seconds en moyenne depuis 12 jours (date de lancement du moteur). Il a carrément pourri mes logs et mes tables sql de stats à tel point que j'ai du faire un filtrage par IP.

Je voudrais savoir si cela est normal et quelle incidence ça aura sur le référencement du moteur de shopping.

Par exemple est ce que le moteur de shopping aura un PR de 10 à la prochaine Google dance ? :lol:
 
WRInaute passionné
ok oui :)

en même temps... pour indexer les pages, il les crawle....c'est normal...
tu utilise quoi pour voir les stats de tes bots ?
 
Nouveau WRInaute
skyll a dit:
ok oui :)

en même temps... pour indexer les pages, il les crawle....c'est normal...
tu utilise quoi pour voir les stats de tes bots ?

log des recherches et de leur date + log apache + awstats.


requêtes Google toutes les 10 seconds en moyenne et dernièrement y'a cuil qui s'y mets aussi.
 
Nouveau WRInaute
bproductiv a dit:
met un disallow dans ton robots.txt ;)
c'est déja assez difficile de référencer un moteur de shopping comme le notre si en plus je mettais un disallow :?

Sinon je voulais savoir quelle incidence ça aurait sur le référencement tout ces passages du bot?
 
WRInaute accro
Google vient me voir toutes les 10 seconds en moyenne!
Ben... certains se plaignent qu'il ne passe pas assez souvent et toi ??!!!
c'est le contraire ! 8O

J'aurai tendance à dire.... plus il passe et plus il met son index à jour donc c'est plutôt bénéfique pour toi...

Maintenant AMHA, je le laisserai dépouiller mon site si c'est pour mieux en extraire du contenu qui lui plaira ! :eek:
 
Discussions similaires
Haut