Les bots google ne prennent pas de vacances !

WRInaute accro
Un site mis en ligne le 1 juillet (du 15 juin au 1 juillet il y avait juste une page d'annonce de l'ouverture prochaine)... et voila ce que GWT affiche au niveau pages crawlées :

google_crawl.JPG


C'est du violent la montée en charge !

Petite question à ceux qui ont des gros sites ou des sites tres crawlés : ca peut monter a combien de pages par jour ce bestiau ? (Finstreet si tu traines ici, je crois que ton site est une auberge a bot non ?)

Note : Il n'y a pas de sitemap, je le laisse se démerdouiller avec le linkage interne ... :wink:
 
WRInaute accro
Bon ben ca va ... il a encore de la marge de progression ...

Il comporte combien de pages ton site à 25.000 / jour ?
 
WRInaute occasionnel
Zecat a dit:
Petite question à ceux qui ont des gros sites ou des sites tres crawlés : ca peut monter a combien de pages par jour ce bestiau ? (Finstreet si tu traines ici, je crois que ton site est une auberge a bot non ?)

J'ai vu le bestiau à un peu plus de 82 000 de mon coté il y a quelques semaines.
 
WRInaute accro
finstreet a dit:
Zecat a dit:
C'est là qu'on prend conscience de la puissance de feu hallucinante de google !

et c'est aussi là qu'on se dit que si GG pouvait cliquer aussi lol

Voilà quoi...
Parce que c'est bien gentil de faire chauffer les serveurs, mais si c'est pour pas un kopec... :roll: :mrgreen:

Soit dit en passant, ils truandent bien la bandwidth, ils te font suer MySQL, et après ils viennent te dire que ton site est "trop lent" :evil:
 
WRInaute accro
Ca je m'en suis aperçu suite à une optimisation. J'ai diminué le poids des pages en les gzipant... résultat Google en a téléchargé davantage... et a mis MySql à genoux. Maintenant que j'ai tout passé en cache, j'ai l'impression mais c'est juste une impression que Google vérifie la date du fichier avant d'éventuellement le télécharger. Si la date est identique, il ne télécharge pas. Mais c'est juste une idée comme ca en passant. Mais d'ailleurs y'a t-il une date quelque part.
 
WRInaute passionné
nb pages crawlees sur mon site principal avec l'option de vitesse d'exploration a bloc ... on remarque bien la fin de l'option fin juillet hein ?? :)

crawl.jpg


Au fait, Zecat, je t'ai oublié :oops:
Je me remets de mon retour de vacances et arrive :)
 
WRInaute accro
effectivement, c'est sur ladépêche.Fr, qui a 1.000.000 de pages environ, mais non je n'ai pas couché avec Google ^^
c'est un site à 3.000.000 VU, 25.000.000 pages vues, dans le top 10.000 alexa monde, ça aide, ça aide ... ;)
 
WRInaute accro
e-kiwi a dit:
effectivement, c'est sur ladépêche.Fr, qui a 1.000.000 de pages environ, mais non je n'ai pas couché avec Google ^^
c'est un site à 3.000.000 VU, 25.000.000 pages vues, dans le top 10.000 alexa monde, ça aide, ça aide ... ;)

...et tout ça avec un avatar qui baille aux corneilles... gros frimeur :mrgreen:
 
Discussions similaires
Haut