Vous êtes ici : Outils référencement > Fichier robots.txt et balises meta robots > FAQ

Membre WebRankInfo ?

Connexion

Inscription

Aide

FAQ : fichier robots.txt et balises meta robots

Voici les questions (et les réponses !) les plus fréquemment posées sur les robots (ou crawlers ou spiders), la façon de les détecter et les moyens pour les empêcher d'indexer certaines pages.

La liste de toutes les questions est disponible en 1 clic, classées par ordre initial ou par nombre de hits.

Quel est le format du fichier robots.txt ?

Thème : Fichier robots.txt

Ce fichier indique pour chaque robot les zones de votre site qu'il ne doit pas indexer ("disallow"). Pour permettre à un robot dont le nom d'agent est "Bot" de tout indexer, il suffit d'indiquer les 2 lignes suivantes :
User-agent: Bot
Disallow:
Pour lui interdire d'indexer les répertoires /tests et /logs/v1 (et tous les sous-répertoires), il suffit de mettre :
User-agent: Bot
Disallow: /tests
Disallow: /logs/v1
Attention à utiliser une ligne Disallow par répertoire.
Pour établir une règle applicable à tous les robots, il suffit d'utiliser l'astérisque comme nom d'agent. L'exemple ci-dessous permet à tous les robots de tout indexer :
User-agent: *
Disallow:
Pour mettre en commentaires une ligne (qui sera donc ignorée), il faut la faire commencer par un dièse :
#exemple de fichier robots.txt
User-agent: Bot
Disallow:
Pour interdire l'indexation d'un fichier /test.htm, il suffit d'indiquer :
User-agent: Bot
Disallow: /test.htm

Chercher dans la FAQ

 
option :     

Lectures recommandées sur ce thème :

Hébergement web

Hébergement web mutualisé et dédié

Pour un bon référencement, il faut un bon hébergeur. Testez Sivit by Nerim, l'hébergeur choisi par Olivier Duffez pour son site WebRankInfo.

A partir de 3€ HT/mois.

Annonces Google


A la une sur WebRankInfo

Formation au référencement

Découvrez le programme de formation au référencement le plus complet : méthodologie d'optimisation du référencement Google, Panda, Penguin, netlinking, référencement éditorial, Google Analytics, taux de transformation, ROI, réseaux sociaux et SEO, etc.

Ce cycle de formation peut être pris en compte par votre budget formation... profitez-en !

Cette formation est assurée notamment par Olivier Duffez, créateur du site WebRankInfo et consultant en référencement.

Détails et inscription