GoogleBot (3) n'arrete pas d'indexer

Discussion dans 'Crawl et indexation Google, sitemaps' créé par web, 19 Août 2005.

Tags:
  1. web
    web WRInaute discret
    Inscrit:
    24 Avril 2005
    Messages:
    83
    J'aime reçus:
    0
    Bonjour,
    Depuis plus d'une semaine GoogleBot (3) ne fait qu'indexer plusieurs millier de pages par jour de mon site jusqu'à consommer 14% :cry: de ma bande passante. Je ne suis pas sur qu'il va s'arrêter tout seul. Je sais pas quoi faire, s'il ne s'arrête pas j'atteindrai ma limite de bande passante et puis le site sera suspendu, et puis si je bloque googlebot ça va être dur pour le faire revenir.

    Que faire, avez vous une solution?

    Merci
    web
     
    #1 web, 19 Août 2005
  2. Mumuri
    Mumuri WRInaute passionné
    Inscrit:
    3 Novembre 2004
    Messages:
    1 410
    J'aime reçus:
    0
    peut etre le limiter si la situation est critique, style une requete sur 3 tu l'envoies voir ailleur
     
    #2 Mumuri, 19 Août 2005
  3. C6PO
    C6PO WRInaute discret
    Inscrit:
    16 Mai 2005
    Messages:
    69
    J'aime reçus:
    0
    T'es sur que c'est GG ? Qu'il passe une journée a crawler ton site je veux bien si il y a quelques centaines de milliers de pages. Mais plusieurs jours ...
    T'as peut être une autre cause que GG ... zieute bien tes logs...
     
    #3 C6PO, 19 Août 2005
  4. blman
    blman WRInaute accro
    Inscrit:
    5 Septembre 2003
    Messages:
    2 719
    J'aime reçus:
    3
    Bé moi, c'est pareil !

    J'ai GGbot, Yahoo Slurp et pompos qui s'acharnent sur le site de ma boite en même temps depuis le 17 Août 8O . Ils doivent être fan de musique en ce moment :D !
     
    #4 blman, 19 Août 2005
  5. otherprod
    otherprod WRInaute discret
    Inscrit:
    8 Novembre 2004
    Messages:
    69
    J'aime reçus:
    0
    Salut,

    J ai le meme soucis sur un de mes sites il passe sur une vingtaine de page et cela entre 120 et 180 fois par jour(par page).

    Il me semble mais rien n est sure, que jai mis un texte en random sur chacune des pages ( ca c est sure) et qu il cherche a connaitre tous les textes alleatoires qui peuvent apparaitre sur la page visitee( possible).

    Peut etre vous aussi vous avez mis un texte alleatoire ?

    edit:
    le 15 par exemple:
    60 pages distinctes visitées par le robot [ Information GoogleBot (2) ] le Lundi 15 Août 2005
    Information GoogleBot (2) [9160] pages vues
     
    #5 otherprod, 19 Août 2005
  6. web
    web WRInaute discret
    Inscrit:
    24 Avril 2005
    Messages:
    83
    J'aime reçus:
    0
    voici quelues infos en plus :
    Host: 66.249.65.200
    Http Code: 200 Date: Aug 19 12:00:38 Http Version: HTTP/1.1 Size in Bytes: 35284
    Referer: -
    Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
    c'est le googlebot (3)

    et encore quelques images robotstats:
    [​IMG]
     
    #6 web, 19 Août 2005
  7. Mohize
    Mohize Nouveau WRInaute
    Inscrit:
    30 Mai 2005
    Messages:
    2
    J'aime reçus:
    0
    je pense que sa va passer sa m'est arrivé ils viennent de façon normale maintenant. sinon l'idee de Mumuri n'est pas a ignorer
     
    #7 Mohize, 19 Août 2005
  8. rolriam
    rolriam WRInaute occasionnel
    Inscrit:
    15 Juin 2005
    Messages:
    289
    J'aime reçus:
    0
    Tu lui as peut-être fourni un sitemap defectueux... :roll:
     
    #8 rolriam, 19 Août 2005
  9. Volubilis
    Volubilis WRInaute discret
    Inscrit:
    20 Mars 2004
    Messages:
    198
    J'aime reçus:
    0
    t'es sur que c'est pas la Sacem qui indexe tes pages ?
     
    #9 Volubilis, 19 Août 2005
  10. JeunZ
    JeunZ WRInaute accro
    Inscrit:
    18 Février 2004
    Messages:
    3 942
    J'aime reçus:
    0
    Meme constat, énorme crawl de google bot ces derniers jours.
     
    #10 JeunZ, 19 Août 2005
  11. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    z'en avez de la chance :mrgreen:
     
    #11 HawkEye, 19 Août 2005
  12. Zecat
    Zecat WRInaute accro
    Inscrit:
    1 Mars 2005
    Messages:
    9 119
    J'aime reçus:
    1
    Ouep vous zavez de la chance ...

    arg je viens de comprendre ... en 24h je suis passé de 100.000 pages indexées a moins de 50.000 ... je sais ou elles sont passées ... chez vous bande de gourmands :lol: :lol: :lol:
     
    #12 Zecat, 19 Août 2005
  13. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    ROFLMAO...

    Pendant que GG vous bouffe de la BP, je reste avec juste Slurp qui m'a bouffé 2 pages en 1 semaine !!! Pas de GG, pas de MSN, pas Yahoo...

    On peut pas s'arranger pour un petit lien vers chez moi, juste pour la semaine ? :mrgreen:
     
    #13 HawkEye, 19 Août 2005
  14. web
    web WRInaute discret
    Inscrit:
    24 Avril 2005
    Messages:
    83
    J'aime reçus:
    0
    Il n'y a pas eu d'erreur lors de la soumission de mes sitemaps. et puis j'en ai poste que 4 sitemaps contenant maximum 900 liens au total. Et de ces 900 pages googlebot suit les liens internes. C'est pourquoi il arrive a 11 000 pages.
    sinon s'il vient demain et apres demain avec le meme ip je vais le rediriger vers la page d'acceuil. :x
    Et le plus enervant c'est que le nombre total de pages presentes sur google ne augmente toujours pas. Il reste toujours dans les 1 250 pages.
    Alors je me demande à quoi il sert ce crawl :?:
     
    #14 web, 19 Août 2005
  15. cthierry
    cthierry WRInaute passionné
    Inscrit:
    15 Janvier 2005
    Messages:
    2 356
    J'aime reçus:
    87
    idem depuis quelques jours il a commencé avec 5500 pages sur une journée et maintenant chaque jour pas au dessou de 500/700 pages mais rien de positif au final sauf qu'il me prend en compte les pages print.php qui servent pour les impressions des news et faq :-D

    bah cela lui passera, en plus yahoo c'est mini 2500 chaque jour et ce, tous les jours sans faillir.

    Ah un truc qui n'a rien a voir, mais bon :-D

    Google en ce moment c'est 30.5% de mon trafic et Yahoo 39.5% .

    Bref quand yahoo t'as à la bonne il fait pas semblant :-D
     
    #15 cthierry, 20 Août 2005
  16. Zecat
    Zecat WRInaute accro
    Inscrit:
    1 Mars 2005
    Messages:
    9 119
    J'aime reçus:
    1
    Google aussi quand il t'as a la bonne il fait pas semblant (j'ai encore un souvenir emu des jours ou il m'amenait + 5000 Vu / jours !!) ...

    Souvenir emu mais lontain lointain lointain ... mais quand il t'a plus a la bonne il fait pas semblant non plus ! si il continue c'est moi qui vais devoir lui envoyer des visiteurs :cry: :lol:
     
    #16 Zecat, 20 Août 2005
  17. unit
    unit Nouveau WRInaute
    Inscrit:
    2 Juin 2004
    Messages:
    5
    J'aime reçus:
    0
    MDR trop fort
     
    #17 unit, 21 Août 2005
  18. Zecat
    Zecat WRInaute accro
    Inscrit:
    1 Mars 2005
    Messages:
    9 119
    J'aime reçus:
    1
    ce qui est super fort aussi c'est : inscrit en Juin 2004 et ton premier message posté :roll: Hibernation prolongée, vacances interminables en polynésie :lol: :?:
     
    #18 Zecat, 21 Août 2005
  19. unit
    unit Nouveau WRInaute
    Inscrit:
    2 Juin 2004
    Messages:
    5
    J'aime reçus:
    0
    heu non mais peut de post me font marrer
     
    #19 unit, 21 Août 2005
  20. Zecat
    Zecat WRInaute accro
    Inscrit:
    1 Mars 2005
    Messages:
    9 119
    J'aime reçus:
    1
    Bon, bien content de t'avoir sorti de ta torpeur ... :wink:
    Bon allez je retourne faire les modifs dans l'outil de stat pour permettre une courbe qui descende sous l'axe de X ...
     
    #20 Zecat, 21 Août 2005
  21. cthierry
    cthierry WRInaute passionné
    Inscrit:
    15 Janvier 2005
    Messages:
    2 356
    J'aime reçus:
    87
    Je suis dans le même cas que toi mais comme Yahoo accroche fort cela limite la casse et en plus en aout peu de monde donc....
     
    #21 cthierry, 21 Août 2005
  22. redaarchitect
    redaarchitect WRInaute discret
    Inscrit:
    4 Février 2005
    Messages:
    127
    J'aime reçus:
    0
    Danse

    Meme remarque Google boot Crawl les milliers de pages / jour
    Moi je dis que ce deep Crawl est un signe pour une google dance
     
    #22 redaarchitect, 21 Août 2005
  23. phpmikedu83
    phpmikedu83 WRInaute passionné
    Inscrit:
    6 Août 2005
    Messages:
    1 012
    J'aime reçus:
    0
    Super, encore une Google Dance rave Party....

    ... la dernière elle a pas été térrible! (pour moi en tous les cas)

    il est faineant google en ce moment!!!
     
    #23 phpmikedu83, 21 Août 2005
  24. HawkEye
    HawkEye WRInaute accro
    Inscrit:
    23 Février 2004
    Messages:
    13 857
    J'aime reçus:
    5
    redaarchitect: Je pense pas que Google en soit à nous faire une Google Dance Party tous les 3è Jeudis du mois ;)

    D'autant que comme je l'ai dit, à chaque fois j'me tape une "GooGle de bois" :mrgreen:
     
    #24 HawkEye, 22 Août 2005
  25. web
    web WRInaute discret
    Inscrit:
    24 Avril 2005
    Messages:
    83
    J'aime reçus:
    0
    Merci à tous pour vos conseils. 8) Google me laisse enfin en paix. :D
    Maintenant Il n'indexe que quelques centaines de pages par jour. Sinon ce crawl ne m'a rien rapporte pour le moment. :x
     
    #25 web, 22 Août 2005
  26. M.o.n.d.i.a.n.i
    M.o.n.d.i.a.n.i WRInaute occasionnel
    Inscrit:
    9 Juillet 2005
    Messages:
    272
    J'aime reçus:
    0
    C'est quoi la signature complete de google (3)?
    Il me semble ne l'avoir jamais vu celui là...
     
    #26 M.o.n.d.i.a.n.i, 22 Août 2005
  27. topaze
    topaze Nouveau WRInaute
    Inscrit:
    23 Août 2005
    Messages:
    13
    J'aime reçus:
    0
    Pour Bloquer le GoogleBot

    dans le root du site :
    Robots.txt
    Code:
    User-agent: Googlebot
Disallow: /*?
    Après, plus de problème...
     
    #27 topaze, 23 Août 2005
  28. doeurf
    doeurf WRInaute discret
    Inscrit:
    28 Avril 2005
    Messages:
    94
    J'aime reçus:
    0
    Idem chez moi, ça a commencé aux alentours du 10 Aout et ça continue.

    Je me demandais bien les conséquences de ce crawl impressionnant , je suis donc avec la plus grande attention, l'évolution du nombre de pages indexées.

    Et ce matin 23 Aout, c'est le drame, je vois 760 pages au lieu de 1340 !!!

    Je rafrachi mon google, et il me réaffiche 1340.

    J'en conclu que nous sommes à la veille d'une belle google dance.
     
    #28 doeurf, 23 Août 2005
  29. Kinobi
    Kinobi WRInaute discret
    Inscrit:
    1 Août 2005
    Messages:
    100
    J'aime reçus:
    0
    Bonjour, j'ai eu 1 001 pages indexées par Google hier et dans les 470 sur les 3 derniers jour (jamaiss plus haut).
    Par contre comme j'utilise Spywords je n'ai pas la différence entre les Googlebots.
     
    #29 Kinobi, 23 Août 2005
  30. Phout
    Phout Nouveau WRInaute
    Inscrit:
    26 Juin 2005
    Messages:
    42
    J'aime reçus:
    0
    question bête

    J'ai une question vraiment bête mais comment on fait pour connaitre le nombre de nos pages indexées par GG ?
     
    #30 Phout, 23 Août 2005
  31. Zecat
    Zecat WRInaute accro
    Inscrit:
    1 Mars 2005
    Messages:
    9 119
    J'aime reçus:
    1
    Re: question bête

    site:xxxxxxxx.com --> le nb de pages indexees
    link:xxxxxxxxx.com --> le nb de Bl
    etc
     
    #31 Zecat, 23 Août 2005
  32. Phout
    Phout Nouveau WRInaute
    Inscrit:
    26 Juin 2005
    Messages:
    42
    J'aime reçus:
    0
    merci.
    pour les BL je savais mais merci pour le nb de pages indexées
     
    #32 Phout, 23 Août 2005
  33. niceunef
    niceunef WRInaute passionné
    Inscrit:
    19 Janvier 2004
    Messages:
    1 375
    J'aime reçus:
    0
    Tant qu'on y est... attention avec le nombre de BL, il en indique moins que ce qu'il sait...
     
    #33 niceunef, 14 Septembre 2005
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - GoogleBot (3) arrete Forum Date
Les liens nofollow sont quand même suivis par Googlebot Débuter en référencement 27 Mai 2021
Voir une page (entière) comme Googlebot Développement d'un site Web ou d'une appli mobile 27 Mars 2021
Fréquence passage googlebot Crawl et indexation Google, sitemaps 30 Janvier 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Comment augmenter la fréquence de passage de GoogleBot Crawl et indexation Google, sitemaps 10 Décembre 2019
Site inaccessible pour GoogleBot Crawl et indexation Google, sitemaps 21 Octobre 2019
En décembre 2019 changement de l'user agent de Googlebot Crawl et indexation Google, sitemaps 5 Octobre 2019
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps 16 Août 2019
Les pages 404 avec googlebot Crawl et indexation Google, sitemaps 14 Juin 2019
Evergreen Googlebot, basé sur Chromium (Chrome open source) Référencement Google 9 Mai 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
GoogleBot scan url inexistante Crawl et indexation Google, sitemaps 17 Avril 2019
feuilles de styles non obtenues par Googlebot Crawl et indexation Google, sitemaps 28 Septembre 2018
Temps de réponse serveur googlebot Développement d'un site Web ou d'une appli mobile 23 Mai 2018
Strikingly et Googlebot : Contenu invisible dans la Search Demandes d'avis et de conseils sur vos sites 3 Avril 2018
Robots.txt ligne génante selon Googlebot votre avis ? Crawl et indexation Google, sitemaps 23 Mai 2017
Impact gestion paramètre url sur Googlebot Crawl et indexation Google, sitemaps 12 Mai 2017
Googlebot et fichier css/ java Débuter en référencement 24 Juin 2016
Googlebot, Cookie et SEO Crawl et indexation Google, sitemaps 20 Mars 2016
GWT m'invente des pages (Googlebot for smartphones) Crawl et indexation Google, sitemaps 19 Août 2015