GoogleBot (3) n'arrete pas d'indexer

[web]

Bonjour,
Depuis plus d'une semaine GoogleBot (3) ne fait qu'indexer plusieurs millier de pages par jour de mon site jusqu'à consommer 14% :cry: de ma bande passante. Je ne suis pas sur qu'il va s'arrêter tout seul. Je sais pas quoi faire, s'il ne s'arrête pas j'atteindrai ma limite de bande passante et puis le site sera suspendu, et puis si je bloque googlebot ça va être dur pour le faire revenir.

Que faire, avez vous une solution?

Merci
web

 

[Mumuri]

peut etre le limiter si la situation est critique, style une requete sur 3 tu l'envoies voir ailleur

 

[C6PO]

T'es sur que c'est GG ? Qu'il passe une journée a crawler ton site je veux bien si il y a quelques centaines de milliers de pages. Mais plusieurs jours ...
T'as peut être une autre cause que GG ... zieute bien tes logs...

 

[blman]

Bé moi, c'est pareil !

J'ai GGbot, Yahoo Slurp et pompos qui s'acharnent sur le site de ma boite en même temps depuis le 17 Août 8O . Ils doivent être fan de musique en ce moment !

 

[otherprod]

Salut,

J ai le meme soucis sur un de mes sites il passe sur une vingtaine de page et cela entre 120 et 180 fois par jour(par page).

Il me semble mais rien n est sure, que jai mis un texte en random sur chacune des pages ( ca c est sure) et qu il cherche a connaitre tous les textes alleatoires qui peuvent apparaitre sur la page visitee( possible).

Peut etre vous aussi vous avez mis un texte alleatoire ?

edit:
le 15 par exemple:
60 pages distinctes visitées par le robot [ Information GoogleBot (2) ] le Lundi 15 Août 2005
Information GoogleBot (2) [9160] pages vues

 

[web]

voici quelues infos en plus :
Host: 66.249.65.200
Http Code: 200 Date: Aug 19 12:00:38 Http Version: HTTP/1.1 Size in Bytes: 35284
Referer: -
Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
c'est le googlebot (3)

et encore quelques images robotstats:

 

[Mohize]

je pense que sa va passer sa m'est arrivé ils viennent de façon normale maintenant. sinon l'idee de Mumuri n'est pas a ignorer

 

[rolriam]

Tu lui as peut-être fourni un sitemap defectueux... :roll:

 

[Volubilis]

t'es sur que c'est pas la Sacem qui indexe tes pages ?

 

[JeunZ]

Meme constat, énorme crawl de google bot ces derniers jours.

 

[HawkEye]

z'en avez de la chance :mrgreen:

 

[Zecat]

z'en avez de la chance :mrgreen:

Ouep vous zavez de la chance ...

arg je viens de comprendre ... en 24h je suis passé de 100.000 pages indexées a moins de 50.000 ... je sais ou elles sont passées ... chez vous bande de gourmands :lol: :lol: :lol:

 

[HawkEye]

ROFLMAO...

Pendant que GG vous bouffe de la BP, je reste avec juste Slurp qui m'a bouffé 2 pages en 1 semaine !!! Pas de GG, pas de MSN, pas Yahoo...

On peut pas s'arranger pour un petit lien vers chez moi, juste pour la semaine ? :mrgreen:

 

[web]

Tu lui as peut-être fourni un sitemap defectueux... :roll:

Il n'y a pas eu d'erreur lors de la soumission de mes sitemaps. et puis j'en ai poste que 4 sitemaps contenant maximum 900 liens au total. Et de ces 900 pages googlebot suit les liens internes. C'est pourquoi il arrive a 11 000 pages.
sinon s'il vient demain et apres demain avec le meme ip je vais le rediriger vers la page d'acceuil. :x
Et le plus enervant c'est que le nombre total de pages presentes sur google ne augmente toujours pas. Il reste toujours dans les 1 250 pages.
Alors je me demande à quoi il sert ce crawl :?:

 

[cthierry]

idem depuis quelques jours il a commencé avec 5500 pages sur une journée et maintenant chaque jour pas au dessou de 500/700 pages mais rien de positif au final sauf qu'il me prend en compte les pages print.php qui servent pour les impressions des news et faq :-D

bah cela lui passera, en plus yahoo c'est mini 2500 chaque jour et ce, tous les jours sans faillir.

Ah un truc qui n'a rien a voir, mais bon :-D

Google en ce moment c'est 30.5% de mon trafic et Yahoo 39.5% .

Bref quand yahoo t'as à la bonne il fait pas semblant :-D

 

[Zecat]

Bref quand yahoo t'as à la bonne il fait pas semblant :-D

Google aussi quand il t'as a la bonne il fait pas semblant (j'ai encore un souvenir emu des jours ou il m'amenait + 5000 Vu / jours !!) ...

Souvenir emu mais lontain lointain lointain ... mais quand il t'a plus a la bonne il fait pas semblant non plus ! si il continue c'est moi qui vais devoir lui envoyer des visiteurs :cry: :lol:

 

[unit]

si il continue c'est moi qui vais devoir lui envoyer des visiteurs

MDR trop fort

 

[Zecat]

si il continue c'est moi qui vais devoir lui envoyer des visiteurs

MDR trop fort

ce qui est super fort aussi c'est : inscrit en Juin 2004 et ton premier message posté :roll: Hibernation prolongée, vacances interminables en polynésie :lol: :?:

 

[unit]

heu non mais peut de post me font marrer

 

[Zecat]

heu non mais peut de post me font marrer

Bon, bien content de t'avoir sorti de ta torpeur ... :wink:
Bon allez je retourne faire les modifs dans l'outil de stat pour permettre une courbe qui descende sous l'axe de X ...

 

[cthierry]

Bref quand yahoo t'as à la bonne il fait pas semblant :-D

Google aussi quand il t'as a la bonne il fait pas semblant (j'ai encore un souvenir emu des jours ou il m'amenait + 5000 Vu / jours !!) ...

Souvenir emu mais lontain lointain lointain ... mais quand il t'a plus a la bonne il fait pas semblant non plus ! si il continue c'est moi qui vais devoir lui envoyer des visiteurs :cry: :lol:

Je suis dans le même cas que toi mais comme Yahoo accroche fort cela limite la casse et en plus en aout peu de monde donc....

 

[redaarchitect]

Danse

Meme remarque Google boot Crawl les milliers de pages / jour
Moi je dis que ce deep Crawl est un signe pour une google dance

 

[phpmikedu83]

Super, encore une Google Dance rave Party....

... la dernière elle a pas été térrible! (pour moi en tous les cas)

il est faineant google en ce moment!!!

 

[HawkEye]

redaarchitect: Je pense pas que Google en soit à nous faire une Google Dance Party tous les 3è Jeudis du mois

D'autant que comme je l'ai dit, à chaque fois j'me tape une "GooGle de bois" :mrgreen:

 

[web]

Merci à tous pour vos conseils. 8) Google me laisse enfin en paix.
Maintenant Il n'indexe que quelques centaines de pages par jour. Sinon ce crawl ne m'a rien rapporte pour le moment. :x

 

[M.o.n.d.i.a.n.i]

C'est quoi la signature complete de google (3)?
Il me semble ne l'avoir jamais vu celui là...

 

[topaze]

Pour Bloquer le GoogleBot

dans le root du site :
Robots.txt

User-agent: Googlebot
Disallow: /*?

Après, plus de problème...

 

[doeurf]

Idem chez moi, ça a commencé aux alentours du 10 Aout et ça continue.

Je me demandais bien les conséquences de ce crawl impressionnant , je suis donc avec la plus grande attention, l'évolution du nombre de pages indexées.

Et ce matin 23 Aout, c'est le drame, je vois 760 pages au lieu de 1340 !!!

Je rafrachi mon google, et il me réaffiche 1340.

J'en conclu que nous sommes à la veille d'une belle google dance.

 

[Kinobi]

Bonjour, j'ai eu 1 001 pages indexées par Google hier et dans les 470 sur les 3 derniers jour (jamaiss plus haut).
Par contre comme j'utilise Spywords je n'ai pas la différence entre les Googlebots.

 

[Phout]

question bête

J'ai une question vraiment bête mais comment on fait pour connaitre le nombre de nos pages indexées par GG ?

 

[Zecat]

Re: question bête

J'ai une question vraiment bête mais comment on fait pour connaitre le nombre de nos pages indexées par GG ?

site:xxxxxxxx.com --> le nb de pages indexees
link:xxxxxxxxx.com --> le nb de Bl
etc

 

[Phout]

merci.
pour les BL je savais mais merci pour le nb de pages indexées

 

[niceunef]

Tant qu'on y est... attention avec le nombre de BL, il en indique moins que ce qu'il sait...