FAQ : fichier robots.txt et balises meta robots
Voici les questions (et les réponses !) les plus fréquemment posées sur les robots (ou crawlers ou spiders), la façon de les détecter et les moyens pour les empêcher d'indexer certaines pages.
La liste de toutes les questions est disponible en 1 clic, classées par ordre initial ou par nombre de hits.
Quel est le format du fichier robots.txt ?
Thème : Fichier robots.txt
User-agent: Bot
Disallow:
Pour lui interdire d'indexer les répertoires /tests et /logs/v1 (et tous les sous-répertoires), il suffit de mettre :
User-agent: Bot
Disallow: /tests
Disallow: /logs/v1
Attention à utiliser une ligne Disallow par répertoire.
Pour établir une règle applicable à tous les robots, il suffit d'utiliser l'astérisque comme nom d'agent. L'exemple ci-dessous permet à tous les robots de tout indexer :
User-agent: *
Disallow:
Pour mettre en commentaires une ligne (qui sera donc ignorée), il faut la faire commencer par un dièse :
#exemple de fichier robots.txt
User-agent: Bot
Disallow:
Pour interdire l'indexation d'un fichier /test.htm, il suffit d'indiquer :
User-agent: Bot
Disallow: /test.htm
Chercher dans la FAQ
Lectures recommandées sur ce thème :
- La balise meta NOYDIR de Yahoo
- Des informations sur l'algorithme de Yahoo Search fournies par Priyank Garg
- X-Robots-Tag : directive pour bloquer les robots dans l'entête HTTP : explications
- Affichage de la description DMOZ dans MSN Search
- Balises meta et référencement : les bases à savoir
- Sortie de GoogleStats v2.01
- Outil officiel de suppression de pages de l'index Google
- Affichage de la description DMOZ dans Google
- Mort du META tag "keywords"
- Lancement de Spider Simulator
- robots.txt et balise meta robots, incompatibilité ?
- balises META et fichier robots txt
- Balise meta robots index,nofollow
- Meta robots ?
- syntaxe de la meta name robots
- Balise Meta Robots
- importance meta name et robots.txt ?
- Différence entre ces 2 meta robots
- Yahoo introduit la balise meta robots NOYDIR
- meta robots sur toutes les pages ?
Consultez la description détaillée des produits ou services de Google suivants : Google Feed Fetcher, Google Site Stats, Google Sitemaps
- Analyseur de densité
Cet outil vous permet de calculer l'indice de densité d'un mot-clé d'une page web. Il est calculé à la fois pour la balise TITLE, la balise META description et l'ensemble du texte de la page.
Hébergement web
Pour un bon référencement, il faut un bon hébergeur. Testez Sivit, l'hébergeur choisi par Olivier Duffez pour son site WebRankInfo (+ de 3 millions de visites/mois). Vous bénéficiez d'une garantie 30 jours satisfait ou remboursé.
A partir de 1,90 EUR HT/mois.
A la une sur WebRankInfo
Formation au référencement
Découvrez le programme de formation au référencement le plus complet : méthodologie d'optimisation du référencement Google, sites dynamiques, stratégies de liens, blogs, formation juridique Internet, Google Analytics, taux de transformation, ROI, etc.
Ce cycle de formation peut être pris en compte par votre budget formation... profitez-en !
Cette formation est assurée notamment par Olivier Duffez, créateur du site WebRankInfo et consultant indépendant en référencement.
Contact
Confidentialité