FAQ : fichier robots.txt et balises meta robots

Voici les questions (et les réponses !) les plus fréquemment posées sur les robots (ou crawlers ou spiders), la façon de les détecter et les moyens pour les empêcher d'indexer certaines pages.

La liste de toutes les questions est disponible en 1 clic, classées par ordre initial ou par nombre de hits.

J'ai créé un fichier robots.txt mais il n'est pas pris en compte. Pourquoi ?

Thème : Fichier robots.txt

Il faut patienter un peu ! Les robots ne vérifient pas le fichier robots.txt à chaque fois qu'ils viennent indexer une page. Ils le vérifient de temps en temps, cela dépend de la façon dont ils ont été programmés.
Si cela perdure, vérifiez que le fichier est au bon endroit (http://www.votresite.com/robots.txt), avec le bon nom, en minuscules.

Chercher dans la FAQ

Lectures recommandées sur ce thème :

Consultez la description détaillée des produits ou services de Google suivants : Google Feed Fetcher, Google Site Stats, Google Sitemaps, Google Shopping

Analyseur de densité
Cet outil vous permet de calculer l'indice de densité d'un mot-clé d'une page web. Il est calculé à la fois pour la balise TITLE, la balise META description et l'ensemble du texte de la page.

Hébergement web

Pour un bon référencement, il faut un bon hébergeur. Testez Sivit, l'hébergeur choisi par Olivier Duffez pour son site WebRankInfo. Vous bénéficiez d'une garantie 30 jours satisfait ou remboursé.

A partir de 1,90 EUR HT/mois.

A la une sur WebRankInfo

Formation au référencement

Découvrez le programme de formation au référencement le plus complet : méthodologie d'optimisation du référencement Google, sites dynamiques, stratégies de liens, blogs, écrire pour le web, Google Analytics, taux de transformation, ROI, etc.

Ce cycle de formation peut être pris en compte par votre budget formation... profitez-en !

Cette formation est assurée notamment par Olivier Duffez, créateur du site WebRankInfo et consultant indépendant en référencement.

Détails et inscription