GoogleBot (3) n'arrete pas d'indexer

Discussion dans 'Crawl et indexation Google, sitemaps' créé par web, 19 Août 2005.

  1. web
    web WRInaute discret
    Inscrit:
    24 Avril 2005
    Messages:
    83
    J'aime reçus:
    0
    Bonjour,
    Depuis plus d'une semaine GoogleBot (3) ne fait qu'indexer plusieurs millier de pages par jour de mon site jusqu'à consommer 14% :cry: de ma bande passante. Je ne suis pas sur qu'il va s'arrêter tout seul. Je sais pas quoi faire, s'il ne s'arrête pas j'atteindrai ma limite de bande passante et puis le site sera suspendu, et puis si je bloque googlebot ça va être dur pour le faire revenir.

    Que faire, avez vous une solution?

    Merci
    web
     
  2. Mumuri
    Mumuri WRInaute passionné
    Inscrit:
    3 Novembre 2004
    Messages:
    1 410
    J'aime reçus:
    0
    peut etre le limiter si la situation est critique, style une requete sur 3 tu l'envoies voir ailleur
     
  3. C6PO
    C6PO WRInaute discret
    Inscrit:
    16 Mai 2005
    Messages:
    69
    J'aime reçus:
    0
    T'es sur que c'est GG ? Qu'il passe une journée a crawler ton site je veux bien si il y a quelques centaines de milliers de pages. Mais plusieurs jours ...
    T'as peut être une autre cause que GG ... zieute bien tes logs...
     
  4. blman
    blman WRInaute accro
    Inscrit:
    5 Septembre 2003
    Messages:
    2 719
    J'aime reçus:
    3
    Bé moi, c'est pareil !

    J'ai GGbot, Yahoo Slurp et pompos qui s'acharnent sur le site de ma boite en même temps depuis le 17 Août 8O . Ils doivent être fan de musique en ce moment :D !
     
  5. otherprod
    otherprod WRInaute discret
    Inscrit:
    8 Novembre 2004
    Messages:
    69
    J'aime reçus:
    0
    Salut,

    J ai le meme soucis sur un de mes sites il passe sur une vingtaine de page et cela entre 120 et 180 fois par jour(par page).

    Il me semble mais rien n est sure, que jai mis un texte en random sur chacune des pages ( ca c est sure) et qu il cherche a connaitre tous les textes alleatoires qui peuvent apparaitre sur la page visitee( possible).

    Peut etre vous aussi vous avez mis un texte alleatoire ?

    edit:
    le 15 par exemple:
    60 pages distinctes visitées par le robot [ Information GoogleBot (2) ] le Lundi 15 Août 2005
    Information GoogleBot (2) [9160] pages vues
     
  6. web
    web WRInaute discret
    Inscrit:
    24 Avril 2005
    Messages:
    83
    J'aime reçus:
    0
    voici quelues infos en plus :
    Host: 66.249.65.200
    Http Code: 200 Date: Aug 19 12:00:38 Http Version: HTTP/1.1 Size in Bytes: 35284
    Referer: -
    Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
    c'est le googlebot (3)

    et encore quelques images robotstats:
    [​IMG]
     
  7. Mohize
    Mohize Nouveau WRInaute
    Inscrit:
    30 Mai 2005
    Messages:
    2
    J'aime reçus:
    0
    je pense que sa va passer sa m'est arrivé ils viennent de façon normale maintenant. sinon l'idee de Mumuri n'est pas a ignorer
     
  8. rolriam
    rolriam WRInaute occasionnel
    Inscrit:
    15 Juin 2005
    Messages:
    289
    J'aime reçus:
    0
    Tu lui as peut-être fourni un sitemap defectueux... :roll:
     
  9. Volubilis
    Volubilis WRInaute discret
    Inscrit:
    20 Mars 2004
    Messages:
    198
    J'aime reçus:
    0
    t'es sur que c'est pas la Sacem qui indexe tes pages ?
     
  10. JeunZ
    JeunZ WRInaute accro
    Inscrit:
    18 Février 2004
    Messages:
    3 942
    J'aime reçus:
    0
    Meme constat, énorme crawl de google bot ces derniers jours.
     
  11. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    z'en avez de la chance :mrgreen:
     
  12. Zecat
    Zecat WRInaute accro
    Inscrit:
    1 Mars 2005
    Messages:
    9 119
    J'aime reçus:
    1
    Ouep vous zavez de la chance ...

    arg je viens de comprendre ... en 24h je suis passé de 100.000 pages indexées a moins de 50.000 ... je sais ou elles sont passées ... chez vous bande de gourmands :lol: :lol: :lol:
     
  13. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    ROFLMAO...

    Pendant que GG vous bouffe de la BP, je reste avec juste Slurp qui m'a bouffé 2 pages en 1 semaine !!! Pas de GG, pas de MSN, pas Yahoo...

    On peut pas s'arranger pour un petit lien vers chez moi, juste pour la semaine ? :mrgreen:
     
  14. web
    web WRInaute discret
    Inscrit:
    24 Avril 2005
    Messages:
    83
    J'aime reçus:
    0
    Il n'y a pas eu d'erreur lors de la soumission de mes sitemaps. et puis j'en ai poste que 4 sitemaps contenant maximum 900 liens au total. Et de ces 900 pages googlebot suit les liens internes. C'est pourquoi il arrive a 11 000 pages.
    sinon s'il vient demain et apres demain avec le meme ip je vais le rediriger vers la page d'acceuil. :x
    Et le plus enervant c'est que le nombre total de pages presentes sur google ne augmente toujours pas. Il reste toujours dans les 1 250 pages.
    Alors je me demande à quoi il sert ce crawl :?:
     
  15. cthierry
    cthierry WRInaute passionné
    Inscrit:
    15 Janvier 2005
    Messages:
    2 356
    J'aime reçus:
    87
    idem depuis quelques jours il a commencé avec 5500 pages sur une journée et maintenant chaque jour pas au dessou de 500/700 pages mais rien de positif au final sauf qu'il me prend en compte les pages print.php qui servent pour les impressions des news et faq :-D

    bah cela lui passera, en plus yahoo c'est mini 2500 chaque jour et ce, tous les jours sans faillir.

    Ah un truc qui n'a rien a voir, mais bon :-D

    Google en ce moment c'est 30.5% de mon trafic et Yahoo 39.5% .

    Bref quand yahoo t'as à la bonne il fait pas semblant :-D
     
  16. Zecat
    Zecat WRInaute accro
    Inscrit:
    1 Mars 2005
    Messages:
    9 119
    J'aime reçus:
    1
    Google aussi quand il t'as a la bonne il fait pas semblant (j'ai encore un souvenir emu des jours ou il m'amenait + 5000 Vu / jours !!) ...

    Souvenir emu mais lontain lointain lointain ... mais quand il t'a plus a la bonne il fait pas semblant non plus ! si il continue c'est moi qui vais devoir lui envoyer des visiteurs :cry: :lol:
     
  17. unit
    unit Nouveau WRInaute
    Inscrit:
    2 Juin 2004
    Messages:
    5
    J'aime reçus:
    0
    MDR trop fort
     
  18. Zecat
    Zecat WRInaute accro
    Inscrit:
    1 Mars 2005
    Messages:
    9 119
    J'aime reçus:
    1
    ce qui est super fort aussi c'est : inscrit en Juin 2004 et ton premier message posté :roll: Hibernation prolongée, vacances interminables en polynésie :lol: :?:
     
  19. unit
    unit Nouveau WRInaute
    Inscrit:
    2 Juin 2004
    Messages:
    5
    J'aime reçus:
    0
    heu non mais peut de post me font marrer
     
  20. Zecat
    Zecat WRInaute accro
    Inscrit:
    1 Mars 2005
    Messages:
    9 119
    J'aime reçus:
    1
    Bon, bien content de t'avoir sorti de ta torpeur ... :wink:
    Bon allez je retourne faire les modifs dans l'outil de stat pour permettre une courbe qui descende sous l'axe de X ...
     
  21. cthierry
    cthierry WRInaute passionné
    Inscrit:
    15 Janvier 2005
    Messages:
    2 356
    J'aime reçus:
    87
    Je suis dans le même cas que toi mais comme Yahoo accroche fort cela limite la casse et en plus en aout peu de monde donc....
     
  22. redaarchitect
    redaarchitect WRInaute discret
    Inscrit:
    4 Février 2005
    Messages:
    127
    J'aime reçus:
    0
    Danse

    Meme remarque Google boot Crawl les milliers de pages / jour
    Moi je dis que ce deep Crawl est un signe pour une google dance
     
  23. phpmikedu83
    phpmikedu83 WRInaute passionné
    Inscrit:
    6 Août 2005
    Messages:
    1 012
    J'aime reçus:
    0
    Super, encore une Google Dance rave Party....

    ... la dernière elle a pas été térrible! (pour moi en tous les cas)

    il est faineant google en ce moment!!!
     
  24. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    redaarchitect: Je pense pas que Google en soit à nous faire une Google Dance Party tous les 3è Jeudis du mois ;)

    D'autant que comme je l'ai dit, à chaque fois j'me tape une "GooGle de bois" :mrgreen:
     
  25. web
    web WRInaute discret
    Inscrit:
    24 Avril 2005
    Messages:
    83
    J'aime reçus:
    0
    Merci à tous pour vos conseils. 8) Google me laisse enfin en paix. :D
    Maintenant Il n'indexe que quelques centaines de pages par jour. Sinon ce crawl ne m'a rien rapporte pour le moment. :x
     
  26. M.o.n.d.i.a.n.i
    M.o.n.d.i.a.n.i WRInaute occasionnel
    Inscrit:
    9 Juillet 2005
    Messages:
    272
    J'aime reçus:
    0
    C'est quoi la signature complete de google (3)?
    Il me semble ne l'avoir jamais vu celui là...
     
  27. topaze
    topaze Nouveau WRInaute
    Inscrit:
    23 Août 2005
    Messages:
    13
    J'aime reçus:
    0
    Pour Bloquer le GoogleBot

    dans le root du site :
    Robots.txt
    Code:
    User-agent: Googlebot
    Disallow: /*?
    Après, plus de problème...
     
  28. doeurf
    doeurf WRInaute discret
    Inscrit:
    28 Avril 2005
    Messages:
    94
    J'aime reçus:
    0
    Idem chez moi, ça a commencé aux alentours du 10 Aout et ça continue.

    Je me demandais bien les conséquences de ce crawl impressionnant , je suis donc avec la plus grande attention, l'évolution du nombre de pages indexées.

    Et ce matin 23 Aout, c'est le drame, je vois 760 pages au lieu de 1340 !!!

    Je rafrachi mon google, et il me réaffiche 1340.

    J'en conclu que nous sommes à la veille d'une belle google dance.
     
  29. Kinobi
    Kinobi WRInaute discret
    Inscrit:
    1 Août 2005
    Messages:
    100
    J'aime reçus:
    0
    Bonjour, j'ai eu 1 001 pages indexées par Google hier et dans les 470 sur les 3 derniers jour (jamaiss plus haut).
    Par contre comme j'utilise Spywords je n'ai pas la différence entre les Googlebots.
     
  30. Phout
    Phout Nouveau WRInaute
    Inscrit:
    26 Juin 2005
    Messages:
    42
    J'aime reçus:
    0
    question bête

    J'ai une question vraiment bête mais comment on fait pour connaitre le nombre de nos pages indexées par GG ?
     
  31. Zecat
    Zecat WRInaute accro
    Inscrit:
    1 Mars 2005
    Messages:
    9 119
    J'aime reçus:
    1
    Re: question bête

    site:xxxxxxxx.com --> le nb de pages indexees
    link:xxxxxxxxx.com --> le nb de Bl
    etc
     
  32. Phout
    Phout Nouveau WRInaute
    Inscrit:
    26 Juin 2005
    Messages:
    42
    J'aime reçus:
    0
    merci.
    pour les BL je savais mais merci pour le nb de pages indexées
     
  33. niceunef
    niceunef WRInaute passionné
    Inscrit:
    19 Janvier 2004
    Messages:
    1 375
    J'aime reçus:
    0
    Tant qu'on y est... attention avec le nombre de BL, il en indique moins que ce qu'il sait...
     
Chargement...
Similar Threads - GoogleBot (3) arrete Forum Date
Les liens nofollow sont quand même suivis par Googlebot Débuter en référencement 27 Mai 2021
Voir une page (entière) comme Googlebot Développement d'un site Web ou d'une appli mobile 27 Mars 2021
Fréquence passage googlebot Crawl et indexation Google, sitemaps 30 Janvier 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Comment augmenter la fréquence de passage de GoogleBot Crawl et indexation Google, sitemaps 10 Décembre 2019
Site inaccessible pour GoogleBot Crawl et indexation Google, sitemaps 21 Octobre 2019
En décembre 2019 changement de l'user agent de Googlebot Crawl et indexation Google, sitemaps 5 Octobre 2019
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps 16 Août 2019
Les pages 404 avec googlebot Crawl et indexation Google, sitemaps 14 Juin 2019
Evergreen Googlebot, basé sur Chromium (Chrome open source) Référencement Google 9 Mai 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
GoogleBot scan url inexistante Crawl et indexation Google, sitemaps 17 Avril 2019
feuilles de styles non obtenues par Googlebot Crawl et indexation Google, sitemaps 28 Septembre 2018
Temps de réponse serveur googlebot Développement d'un site Web ou d'une appli mobile 23 Mai 2018
Strikingly et Googlebot : Contenu invisible dans la Search Demandes d'avis et de conseils sur vos sites 3 Avril 2018
Robots.txt ligne génante selon Googlebot votre avis ? Crawl et indexation Google, sitemaps 23 Mai 2017
Impact gestion paramètre url sur Googlebot Crawl et indexation Google, sitemaps 12 Mai 2017
Googlebot et fichier css/ java Débuter en référencement 24 Juin 2016
Googlebot, Cookie et SEO Crawl et indexation Google, sitemaps 20 Mars 2016
GWT m'invente des pages (Googlebot for smartphones) Crawl et indexation Google, sitemaps 19 Août 2015