1. ⭐⭐⭐ Grosse PROMO en cours sur ma plateforme SEO My Ranking Metrics
    Rejeter la notice

Le Crawl Delay dans le fichier robots.txt pour ralentir MSNbot

Discussion dans 'Référencement Bing' créé par WebRankInfo, 13 Août 2009.

  1. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 039
    J'aime reçus:
    318
    Si vous trouvez que MSNbot (le robot de Bing) vient trop souvent crawler votre site (sic), vous pouvez le ralentir en ajoutant une instruction dans le fichier robots.txt :

    Code:
    User-agent: MSNbot
    Crawl-delay: 1
    Les valeurs possibles sont 1 (lent), 5 (très lent) ou 10 (extrêmement lent)
    remarque : vous pouvez étendre cette instruction à tous les moteurs en mettant User-agent: *
    mais je ne sais pas comment les autres moteurs réagissent

    source : http://www.bing.com/community/blogs/webmaster/archive/2009/08/10/crawl ... snbot.aspx
     
  2. Baronz
    Baronz WRInaute discret
    Inscrit:
    28 Avril 2005
    Messages:
    246
    J'aime reçus:
    0
    Merci pour l'info ;)
     
  3. SqTH
    SqTH Nouveau WRInaute
    Inscrit:
    27 Février 2008
    Messages:
    9
    J'aime reçus:
    0
    Où est l'intéret de demander aux crawleurs d'espacer leurs visites ?
    Je ne saisis pas.
     
  4. OTP
    OTP WRInaute accro
    Inscrit:
    16 Décembre 2005
    Messages:
    14 712
    J'aime reçus:
    2
    Préserver la charge du serveur.
     
  5. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 883
    J'aime reçus:
    0
    La valeur du crawl-delay est le nombre de secondes entre deux hits successifs du robot. La commande existe chez Yahoo depuis longtemps. C'est fou comme la coopération Yahoo-Microsoft révolutionne le web ! :mrgreen:

    Jean-Luc
     
  6. Amaryllid
    Amaryllid WRInaute discret
    Inscrit:
    9 Avril 2005
    Messages:
    155
    J'aime reçus:
    0
  7. pcamliti
    pcamliti WRInaute impliqué
    Inscrit:
    9 Mars 2007
    Messages:
    706
    J'aime reçus:
    1
    Bonjour,

    Bing est-il si gourmand que cela ?
    Ou est-ce que les serveurs ne supportent plus la charge de ses "nouveaux" arrivants ?

    Il est vrai que si il passe matin midi et soir, cela peut générer des faiblesses et faire laguer un serveur lors des heures de pointes.

    Avez vous des raisons de croire qu'il faille rajouter cette instruction sur le fichier robots.txt ? Ou est-ce simplement une information ?
     
  8. raljx
    raljx WRInaute passionné
    Inscrit:
    10 Juillet 2006
    Messages:
    2 064
    J'aime reçus:
    0
    rassurez moi, on parle de serveurs en mutu là non ? ;)
     
  9. nervusdm
    nervusdm WRInaute impliqué
    Inscrit:
    5 Janvier 2008
    Messages:
    616
    J'aime reçus:
    0
    Que cela soit utile pour certains, inutiles pour d'autres, c'est un autre débat, le crawl delay a le mérite d'exister je ne vais pas m'en plaindre ;)
     
Chargement...
Similar Threads - Crawl Delay fichier Forum Date
Crawl-delay : ça marche toujours ? Débuter en référencement 20 Février 2017
Impact des crawlers sur le taux de rebond et le référencement Crawl et indexation Google, sitemaps 19 Septembre 2019
Ne pas rendre crawlable le menu ? Référencement Google 15 Septembre 2019
Probleme avec le crawl Mobile sur Search Console Crawl et indexation Google, sitemaps 14 Septembre 2019
Crawler un site volumineux Crawl et indexation Google, sitemaps 4 Septembre 2019
googlebot crawle des pages inexistantes Crawl et indexation Google, sitemaps 16 Août 2019
Incohérences stats de crawl et logs apache Crawl et indexation Google, sitemaps 25 Juillet 2019
Décalage entre le crawl et la search console Crawl et indexation Google, sitemaps 18 Juillet 2019
Taux de crawling en chute Crawl et indexation Google, sitemaps 25 Mai 2019
Search Console Taux de crawling - Statistiques sur l'exploration Crawl et indexation Google, sitemaps 22 Mai 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice