GoogleBot il est fou et il prévient pas

Discussion dans 'Crawl et indexation Google, sitemaps' créé par JeunZ, 3 Novembre 2004.

  1. JeunZ
    JeunZ WRInaute accro
    Inscrit:
    18 Février 2004
    Messages:
    3 971
    J'aime reçus:
    0
    GoogleBot [4650]


    ca ferait surement plaisir à certains de voir "autant" de visite en meme pas deux heures. Mais le problème c'est que je suis habitué à une moyenne de 100 visites quotidienne, alors la le serveur ne tient pas vraiment le coup... On peut rien y faire sans le bloquer?


    regardez de par vous meme depuis hier c un peu folie:

    http://www.jeunz.com/robotstats/index.p ... ens=&site=
     
  2. Dr DLP
    Dr DLP WRInaute impliqué
    Inscrit:
    29 Juin 2003
    Messages:
    527
    J'aime reçus:
    0
    J'ai un problème similaire....
    Il détruit complètement la vitesse de mon site.
    Malheuresement il n'existe pas de syntaxe robots.txt pour dire "un seul à la fois".
    J'ai par contre vu ça pour les forums phpbb, je vais le rechercher si tu es intéressé.

    EDIT : trouvé sur cet article : http://www.phpbb.com/kb/article.php?article_id=29
    Code:
    ################################################################# 
    ## MOD Title: GoogleSingleSession (Add-On to enhance-google-indexing ) 
    ## MOD Author: - R. U. Serious 
    ## MOD Description: This MOD will give all 'guests' where the useragent 
    ##          contains 'Googlebot' one session (static session_id) 
    ##          Hence it will only appear as a single guest. 
    ## 
    ## MOD Version: 0.9 
    ## 
    ## Installation Level: (easy) 
    ## Installation Time: 5 Minutes 
    ## Files To Edit: includes/sessions.php  
    ############################################################## 
    
    #-----[ OPEN ]------------------------------------------ 
    # 
    includes/sessions.php 
    
    # 
    #-----[ FIND ]------------------------------------------ 
    # 
    $session_id = md5(uniqid($user_ip)); 
    
    # 
    #-----[ REPLACE WITH ]------------------------------------------ 
    # 
    # Note: d8ef2eab is one of the googlecrawlbots ips 
    # 
    //$session_id = md5(uniqid($user_ip)); 
    global $HTTP_SERVER_VARS; 
    $session_id = ( !strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'Googlebot') ) ? md5(uniqid($user_ip)) : md5(d8ef2eab); 
    
    
    # 
    #-----[ FIND ]------------------------------------------ 
    # 
       else 
       { 
          $sessiondata = ''; 
          $session_id = ( isset($HTTP_GET_VARS['sid']) ) ? $HTTP_GET_VARS['sid'] : ''; 
          $sessionmethod = SESSION_METHOD_GET; 
       } 
    
    
    # 
    #-----[ AFTER ADD ]------------------------------------------ 
    # 
       global $HTTP_SERVER_VARS; 
       if ( empty($session_id)  && strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'Googlebot') ) 
       { 
          $sessiondata = ''; 
          $session_id = md5(d8ef2eab); 
          $sessionmethod = SESSION_METHOD_GET; 
       } 
    
    
    # 
    #-----[ FIND ]------------------------------------------ 
    # 
    
             if ( $ip_check_s == $ip_check_u ) 
    
    # 
    #-----[ REPLACE WITH ]------------------------------------------ 
    # 
    
       //      if ( $ip_check_s == $ip_check_u ) 
             if (( $ip_check_s == $ip_check_u ) || ($session_id == md5(d8ef2eab)&&(strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'Googlebot')))) 
    
    # 
    #-----[ SAVE/CLOSE ALL FILES ]------------------------------------------ 
    # 
    # EoM 
     
  3. JeunZ
    JeunZ WRInaute accro
    Inscrit:
    18 Février 2004
    Messages:
    3 971
    J'aime reçus:
    0
    Erf je suis con Dr DLP j'ai déjà ce mod installé, mais j'ai pas mis les limites ;-)
     
  4. JeunZ
    JeunZ WRInaute accro
    Inscrit:
    18 Février 2004
    Messages:
    3 971
    J'aime reçus:
    0
    Et à votre avis ca veut dire quoi cet interet pour mon site tout d'un coup?
     
  5. Dr DLP
    Dr DLP WRInaute impliqué
    Inscrit:
    29 Juin 2003
    Messages:
    527
    J'aime reçus:
    0
    Que tu es probablement en plein full crawl :)
     
  6. JeunZ
    JeunZ WRInaute accro
    Inscrit:
    18 Février 2004
    Messages:
    3 971
    J'aime reçus:
    0
    Le full completement raté alors, car il ralenti tellement qu'il va avoir des resultat de merde :-(
     
  7. Dr DLP
    Dr DLP WRInaute impliqué
    Inscrit:
    29 Juin 2003
    Messages:
    527
    J'aime reçus:
    0
    A ma connaissance le temps de chargement des pages ne dérange pas le googlebot tant qu'il ne dépasse pas le temps maximal (500 secondes je crois, mais je n'en suis pas sûr).
     
  8. JeunZ
    JeunZ WRInaute accro
    Inscrit:
    18 Février 2004
    Messages:
    3 971
    J'aime reçus:
    0
    A mon avis il c'est rendu compte qu'il foutait la merde. A 13h45 il c arreté de crawler. Après avoir fait 4655 visites en moins de deux heures.


    Je sais pas si il c arreté à cause de moi, j'ai du relancer sql et httpd tellement il faisait planter, ou si il avait finit son boulot.
     
  9. Jeromeb
    Jeromeb WRInaute discret
    Inscrit:
    4 Octobre 2004
    Messages:
    224
    J'aime reçus:
    0
    Il trouve ton site super interessent ;-)
     
  10. ¥€$
    ¥€$ WRInaute impliqué
    Inscrit:
    5 Décembre 2002
    Messages:
    927
    J'aime reçus:
    0
    A un moment Blogger avait un robots.txt disallow googlebot intermittent (toutes les 2 ou 3 secondes ça changeait) peut-être pour soulager la BP...
     
  11. tonguide
    tonguide WRInaute passionné
    Inscrit:
    28 Novembre 2003
    Messages:
    1 169
    J'aime reçus:
    0
    Il semblerai que bcp de sites ont eu ce gros full crawl, je le vois sur pas mal de forum, et il y a eu un sujet sur WRI disant la mme chose ... il a décidé de distancer le nb de pages indexés par rapport à yahoo peut-etre
     
  12. JeunZ
    JeunZ WRInaute accro
    Inscrit:
    18 Février 2004
    Messages:
    3 971
    J'aime reçus:
    0
    Oui mais bon, ça fait pas sérieux d'être aussi sauvage, il se rend pas compte que certains serveurs lachent pendant son passage? :(

    J'ai plus qu'a racheté de la RAM etc pour que monsieur distance yahoo ^^
     
  13. mewp
    mewp WRInaute discret
    Inscrit:
    1 Novembre 2004
    Messages:
    155
    J'aime reçus:
    0
    On n'est jamais content, moi je le voudrais bien mon full-crawl...
     
  14. totoro
    totoro WRInaute impliqué
    Inscrit:
    28 Juillet 2004
    Messages:
    756
    J'aime reçus:
    0
    GoogleBot [32191] ... va lacher aussi...
     
  15. BobJpg
    BobJpg WRInaute discret
    Inscrit:
    18 Août 2004
    Messages:
    77
    J'aime reçus:
    0
    :p il passe enfin pour moi aussi... ( nouveau site et pas de PR :wink: )

    C'est vrai que ça atteint directement les temps de réponse.
    Pas de plantage pour moi mais enfin, si tous les moins il augmente le nombre de pages vues, ça va finir par lacher :?
     
Chargement...
Similar Threads - GoogleBot fou prévient Forum Date
Googlebot found an extremely high number of URLs on your site Problèmes de référencement spécifiques à vos sites 18 Juin 2014
TRUC DE FOU ! GoogleBot bannit mes utilisateurs Crawl et indexation Google, sitemaps 10 Mars 2009
Comment augmenter la fréquence de passage de GoogleBot Crawl et indexation Google, sitemaps 10 Décembre 2019
Site inaccessible pour GoogleBot Crawl et indexation Google, sitemaps 21 Octobre 2019
En décembre 2019 changement de l'user agent de Googlebot Crawl et indexation Google, sitemaps 5 Octobre 2019
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps 16 Août 2019
Les pages 404 avec googlebot Crawl et indexation Google, sitemaps 14 Juin 2019
Evergreen Googlebot, basé sur Chromium (Chrome open source) Référencement Google 9 Mai 2019
Empêcher Googlebot de crawler/indexer tout un dossier Débuter en référencement 19 Avril 2019
GoogleBot scan url inexistante Crawl et indexation Google, sitemaps 17 Avril 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice