Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot

Discussion dans 'Référencement Bing' créé par WebRankInfo, 13 Août 2009.

  1. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 691
    J'aime reçus:
    439
    Si vous trouvez que MSNbot (le robot de Bing) vient trop souvent crawler votre site (sic), vous pouvez le ralentir en ajoutant une instruction dans le fichier robots.txt :

    Code:
    User-agent: MSNbot
    Crawl-delay: 1
    Les valeurs possibles sont 1 (lent), 5 (très lent) ou 10 (extrêmement lent)
    remarque : vous pouvez étendre cette instruction à tous les moteurs en mettant User-agent: *
    mais je ne sais pas comment les autres moteurs réagissent

    source : http://www.bing.com/community/blogs/webmaster/archive/2009/08/10/crawl ... snbot.aspx
     
  2. Baronz
    Baronz WRInaute discret
    Inscrit:
    28 Avril 2005
    Messages:
    246
    J'aime reçus:
    0
    Merci pour l'info ;)
     
  3. SqTH
    SqTH Nouveau WRInaute
    Inscrit:
    27 Février 2008
    Messages:
    9
    J'aime reçus:
    0
    Où est l'intéret de demander aux crawleurs d'espacer leurs visites ?
    Je ne saisis pas.
     
  4. OTP
    OTP WRInaute accro
    Inscrit:
    16 Décembre 2005
    Messages:
    14 715
    J'aime reçus:
    3
    Préserver la charge du serveur.
     
  5. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    La valeur du crawl-delay est le nombre de secondes entre deux hits successifs du robot. La commande existe chez Yahoo depuis longtemps. C'est fou comme la coopération Yahoo-Microsoft révolutionne le web ! :mrgreen:

    Jean-Luc
     
  6. Amaryllid
    Amaryllid WRInaute discret
    Inscrit:
    9 Avril 2005
    Messages:
    155
    J'aime reçus:
    0
  7. pcamliti
    pcamliti WRInaute impliqué
    Inscrit:
    9 Mars 2007
    Messages:
    707
    J'aime reçus:
    1
    Bonjour,

    Bing est-il si gourmand que cela ?
    Ou est-ce que les serveurs ne supportent plus la charge de ses "nouveaux" arrivants ?

    Il est vrai que si il passe matin midi et soir, cela peut générer des faiblesses et faire laguer un serveur lors des heures de pointes.

    Avez vous des raisons de croire qu'il faille rajouter cette instruction sur le fichier robots.txt ? Ou est-ce simplement une information ?
     
  8. raljx
    raljx WRInaute passionné
    Inscrit:
    10 Juillet 2006
    Messages:
    2 064
    J'aime reçus:
    0
    rassurez moi, on parle de serveurs en mutu là non ? ;)
     
  9. nervusdm
    nervusdm WRInaute impliqué
    Inscrit:
    5 Janvier 2008
    Messages:
    616
    J'aime reçus:
    0
    Que cela soit utile pour certains, inutiles pour d'autres, c'est un autre débat, le crawl delay a le mérite d'exister je ne vais pas m'en plaindre ;)
     
Chargement...
Similar Threads - Crawl Delay fichier Forum Date
Crawl-delay : ça marche toujours ? Débuter en référencement 20 Février 2017
Search Console Suppression de sous domaines + stop crawl ? Crawl et indexation Google, sitemaps 27 Juillet 2020
Qwant : une étude du crawl Autres moteurs de recherche connus 7 Juillet 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Le budget crawl Référencement Google 5 Mars 2020
Anomalie 404 lors du crawl Crawl et indexation Google, sitemaps 28 Février 2020
Crawl et indexation de certaines pages Débuter en référencement 30 Décembre 2019
Pages crawlées mais non indexées Crawl et indexation Google, sitemaps 9 Décembre 2019
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Ne pas rendre crawlable le menu ? Référencement Google 15 Septembre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice