Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot

Discussion dans 'Référencement Bing' créé par WebRankInfo, 13 Août 2009.

  1. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 324
    J'aime reçus:
    574
    Si vous trouvez que MSNbot (le robot de Bing) vient trop souvent crawler votre site (sic), vous pouvez le ralentir en ajoutant une instruction dans le fichier robots.txt :

    Code:
    User-agent: MSNbot
    Crawl-delay: 1
    Les valeurs possibles sont 1 (lent), 5 (très lent) ou 10 (extrêmement lent)
    remarque : vous pouvez étendre cette instruction à tous les moteurs en mettant User-agent: *
    mais je ne sais pas comment les autres moteurs réagissent

    source : http://www.bing.com/community/blogs/webmaster/archive/2009/08/10/crawl ... snbot.aspx
     
  2. Baronz
    Baronz WRInaute discret
    Inscrit:
    28 Avril 2005
    Messages:
    246
    J'aime reçus:
    0
    Merci pour l'info ;)
     
  3. SqTH
    SqTH Nouveau WRInaute
    Inscrit:
    27 Février 2008
    Messages:
    9
    J'aime reçus:
    0
    Où est l'intéret de demander aux crawleurs d'espacer leurs visites ?
    Je ne saisis pas.
     
  4. OTP
    OTP WRInaute accro
    Inscrit:
    16 Décembre 2005
    Messages:
    14 715
    J'aime reçus:
    3
    Préserver la charge du serveur.
     
  5. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    La valeur du crawl-delay est le nombre de secondes entre deux hits successifs du robot. La commande existe chez Yahoo depuis longtemps. C'est fou comme la coopération Yahoo-Microsoft révolutionne le web ! :mrgreen:

    Jean-Luc
     
  6. Amaryllid
    Amaryllid WRInaute discret
    Inscrit:
    9 Avril 2005
    Messages:
    155
    J'aime reçus:
    0
  7. pcamliti
    pcamliti WRInaute impliqué
    Inscrit:
    9 Mars 2007
    Messages:
    707
    J'aime reçus:
    1
    Bonjour,

    Bing est-il si gourmand que cela ?
    Ou est-ce que les serveurs ne supportent plus la charge de ses "nouveaux" arrivants ?

    Il est vrai que si il passe matin midi et soir, cela peut générer des faiblesses et faire laguer un serveur lors des heures de pointes.

    Avez vous des raisons de croire qu'il faille rajouter cette instruction sur le fichier robots.txt ? Ou est-ce simplement une information ?
     
  8. raljx
    raljx WRInaute passionné
    Inscrit:
    10 Juillet 2006
    Messages:
    2 064
    J'aime reçus:
    0
    rassurez moi, on parle de serveurs en mutu là non ? ;)
     
  9. nervusdm
    nervusdm WRInaute impliqué
    Inscrit:
    5 Janvier 2008
    Messages:
    616
    J'aime reçus:
    0
    Que cela soit utile pour certains, inutiles pour d'autres, c'est un autre débat, le crawl delay a le mérite d'exister je ne vais pas m'en plaindre ;)
     
Chargement...
Similar Threads - Crawl Delay fichier Forum Date
Crawl-delay : ça marche toujours ? Débuter en référencement 20 Février 2017
Signaler aux crawler de ne pas suivre un lien qui nécessite une connexion Crawl et indexation Google, sitemaps Mercredi à 16:17
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Crawl et indexation Landing Page (site en création) Débuter en référencement 25 Mars 2021
Critères de tri en GET et budget crawl Référencement Google 25 Février 2021
Stimuler GoogleBot pour crawler de nouvelles pages Crawl et indexation Google, sitemaps 24 Janvier 2021
Crawl prédictif Google : pourquoi c'est majeur en SEO Techniques avancées de référencement 17 Décembre 2020
Search Console Suivi du crawl Google (Statistiques sur l'exploration) Crawl et indexation Google, sitemaps 9 Décembre 2020
Comment éviter un piège à bots avec un crawler ? Crawl et indexation Google, sitemaps 3 Décembre 2020
Pas de nouveau "crawl" sur une page récente, pourquoi ? Crawl et indexation Google, sitemaps 17 Novembre 2020