Annonces Google

Vous êtes ici : Dossiers référencement > Google Search Console (ex Webmaster Tools)

Astuce SEO : tester un fichier robots.txt avant de le mettre en ligne

Par , le 26 janvier 2016

Ce tuto montre une astuce permettant de tester n'importe quel fichier robots.txt sans même avoir besoin de le mettre en ligne ! C'est utile pour vérifier que le fichier robots.txt est bien fait pour le référencement de votre site.

Test fichier robots.txt

Tuto sur le testeur de fichier robots.txt dans Google Search Console

Je ne vais pas décrire le fonctionnement complet du fichier robots.txt, si besoin lisez cet article.

Et pour + d'infos sur le robots.txt assistez à mon webinar gratuit !

En résumé, par défaut les robots des moteurs de recherche s'autorisent à crawler ("explorer") toutes les URL. Si vous souhaitez leur interdire certaines pages ou rubriques de votre site, il faut ajouter des directives dans le fichier robots.txt.

La syntaxe est définie sur robotstxt.org mais sachez que certains moteurs prennent en compte des instructions spécifiques. Par exemple Googlebot tient compte des caractères * et $ ainsi que de la directive Allow, et de son côté Bing tient compte de Crawl-delay. Il ne s'agit que de quelques exemples non exhaustifs.

Une erreur dans un fichier robots.txt peut avoir des conséquences importantes sur votre référencement. Vous ne risquez pas de faire désindexer des pages (pour cela il faut la balise meta robots noindex), mais de bloquer le crawl des nouvelles pages.

Pour ne pas vous tromper, le mieux est de faire des tests !

Pour ça, je vous recommande de suivre mon tuto :

Retrouvez ce tuto de test du fichier robots.txt sur YouTube

Explications :

  • Allez dans votre compte Search Console (peu importe lequel, votre site ou un autre)
  • Dans la rubrique Exploration, cliquez sur "Outil de test du fichier robots.txt" (ou bien allez sur https://www.google.com/webmasters/tools/robots-testing-tool)
  • Google indique le contenu du fichier robots.txt tel qu'il l'a vu la dernière fois (ou alors rien du tout si vous n'en avez pas)
  • Si jamais vous avez un fichier robots.txt non vide, sélectionnez tout et supprimez
  • Copiez-collez le contenu du fichier robots.txt à tester (ça peut être votre fichier à tester, ou celui d'un client, ou d'un concurrent)
  • Tapez ensuite l'URI de la page à tester (c'est-à-dire la partie de l'URL qui suit votre nom de domaine, sans mettre le / de la racine qui est déjà inclus)
  • Cliquez sur Tester

Google vous indique le résultat :

  • Si l'URL est interdite au crawl, Google affiche "Bloquée" et surligne en rouge la ligne qui bloque le crawl
  • Sinon, Google affiche "Autorisée". Si jamais c'est en raison d'une ligne particulière, elle est surlignée en vert.

Exemple d'URL bloquée :

URL bloquée au crawl

Exemple d'URL bloquée au crawl par une directive Disallow

Exemple d'URL autorisée :

URL autorisée au crawl

Dans cet exemple, l'URL est autorisée en crawl de façon explicite par une directive Allow

Rappelez-vous qu'il faut tester aussi pour d'autres robots que ceux de Google (Bingbot et les autres).

Une fois que vous avez validé que votre fichier robots.txt est correct, n'oubliez pas de l'uploader sur votre serveur !

Si jamais votre fichier robots.txt a changé et que vous souhaitez que Google vienne le crawler rapidement, cliquez sur Envoyer :

Envoyer le fichier robots.txt pour nouveau crawl

Puis, une fois que vous avez bien vérifié que votre fichier en ligne est OK, cliquez à nouveau sur Envoyer afin que Googlebot vienne le consulter et en tenir compte au plus vite :

Envoyer le fichier robots.txt pour nouveau crawl

En préparant ce dossier et ce tutoriel, j'ai remarqué que Google tient compte de la directive "Disalow" (écrite avec un seul L)...

Si vous n'avez pas encore de compte Search Console, démarrez par ici

Des questions ? Posez-les en commentaires !

A propos de l'auteur : Olivier Duffez Olivier Duffez sur Google+ Olivier Duffez sur Twitter Olivier Duffez sur Facebook Olivier Duffez sur Pinterest Olivier Duffez sur LinkedIn

Consultant en référencement, Olivier Duffez a travaillé pour les plus grands sites (Doctissimo, FNAC,...). Il édite le site WebRankInfo qu'il a créé en 2002, devenu la + grande communauté francophone sur le SEO (+300.000 membres, 1,5 million de posts). Il est aussi cofondateur de Ranking Metrics, leader des formations webmarketing en France (SEO, AdWords, Analytics, réseaux sociaux) et éditrice de la plateforme MyRankingMetrics (crawler et audit SEO en ligne).

Article (SEO : une bonne astuce avec le fichier robots.txt) publié par WebRankInfo dans la rubrique Google Search Console (ex Webmaster Tools). Si vous souhaitez publier un extrait de cet article sur votre site, assurez-vous de respecter les conditions générales d'utilisation de WebRankInfo.

2 commentaires

  • Haydi a dit le

    bonjour, je veux ajouter une nouvelle page web au Site maps pour suivre son référencement mais j'arrive pas à ajouter l'URL à la liste des URL que j'avais

  • Olivier Duffez a dit le

    @ Haydi : il faut utiliser un outil qui génère automatiquement le sitemap, ça ne doit pas se gérer manuellement...

Postez un commentaire !

Les champs marqués du signe * sont obligatoires. L'adresse email ne sera pas affichée.

En postant un commentaire, vous acceptez les CGU du site WebRankInfo.

Annonces Google

Catégories des dossiers

Consultez les dossiers par thématiques :

Annonces Google

Formation référencement et webmarketing

Venez chez Ranking Metrics vous former au référencement, à Google AdWords et Analytics ainsi qu'aux réseaux sociaux ! Plus de 4000 entreprises sont déjà venues (Dossier possible OPCA, DIF...).

Préparés et animés par Olivier Duffez (WebRankInfo) et Fabien Faceries (AgentWebRanking), 2 professionnels reconnus dans le domaine, nos modules sur le référencement naturel sont très complets tout en laissant une grande place à l'interactivité pour répondre à toutes les questions des participants.

Pour connaître le plan détaillé de chaque module, le prix, les dates et les lieux, consultez le site de Ranking Metrics (organisme de formation).

Hébergement web

Hébergement web mutualisé et dédié

Pour un bon référencement, il faut un bon hébergeur. Testez Sivit by Nerim, l'hébergeur choisi par Olivier Duffez pour son site WebRankInfo.

A partir de 3€ HT/mois.