• Configuration de l'affichage du site :
  • Affichage en pleine largeur
  • Affichage en basse résolution (800px)
  • Affichage en texte seul

Référencement :
conseils, outils, actualité, forum
tout ça gratuit !

Vous êtes ici : Outils » Robots.txt et meta robots » FAQ Robots

FAQ sur les robots

Voici les questions (et les réponses !) les plus fréquemment posées sur les robots (ou crawlers ou spiders), la façon de les détecter et les moyens pour les empêcher d'indexer certaines pages.

La liste de toutes les questions est disponible en 1 clic, classées par ordre initial ou par nombre de hits.

Question / Réponse

Thème : Fichier robots.txt

Quel est le format du fichier robots.txt ?
Ce fichier indique pour chaque robot les zones de votre site qu'il ne doit pas indexer ("disallow"). Pour permettre à un robot dont le nom d'agent est "Bot" de tout indexer, il suffit d'indiquer les 2 lignes suivantes :
User-agent: Bot
Disallow:
Pour lui interdire d'indexer les répertoires /tests et /logs/v1 (et tous les sous-répertoires), il suffit de mettre :
User-agent: Bot
Disallow: /tests
Disallow: /logs/v1
Attention à utiliser une ligne Disallow par répertoire.
Pour établir une règle applicable à tous les robots, il suffit d'utiliser l'astérisque comme nom d'agent. L'exemple ci-dessous permet à tous les robots de tout indexer :
User-agent: *
Disallow:
Pour mettre en commentaires une ligne (qui sera donc ignorée), il faut la faire commencer par un dièse :
#exemple de fichier robots.txt
User-agent: Bot
Disallow:
Pour interdire l'indexation d'un fichier /test.htm, il suffit d'indiquer :
User-agent: Bot
Disallow: /test.htm

Thèmes 

Chercher dans la FAQ

 
option :     

Revenir en haut de la page