Déclarer le sitemap dans le fichier robots.txt
Article mis à jour le
Un fichier sitemap XML permet aux moteurs de recherche de découvrir plus facilement les pages à indexer sur un site. Pour qu’il soit pris en compte, il doit être signalé aux moteurs.
Pourquoi déclarer le sitemap dans le fichier robots.txt ?
Déclarer le sitemap dans le fichier robots.txt est souvent la façon la plus simple de faire !
L’avantage de cette méthode est qu’elle est facile à mettre en place : il suffit d’ajouter une ligne de texte dans un fichier déjà existant. Tous les robots accédant au fichier robots.txt verront l’emplacement du sitemap et pourront l’exploiter.
La seule difficulté, c'est de récupérer le fichier actuel, puis l'uploader une fois que le fichier est modifié. Utilisez un logiciel FTP ou une fonctionnalité offerte par votre hébergeur.
Si besoin, j'ai rédigé un article qui explique ce qu'est un fichier sitemap et à quoi ça sert.
Quel est l'inconvénient de cette méthode ?
Cette approche présente un inconvénient : vos concurrents peuvent consulter votre fichier robots.txt et découvrir l'adresse de votre sitemap. Ils sauront donc aussi les URL de vos pages stratégiques.
⚠️ Si le nom de votre sitemap est facile à deviner (sitemap.xml ou sitemap_index.xml), alors ça ne change rien... Ils pourront y accéder même s'il n'est pas indiqué dans le fichier robots.txt.
Comment ajouter le sitemap dans le fichier robots.txt ?
Certains plugins de sitemaps ajoutent eux-mêmes la déclaration dans le fichier robots.txt, mais si vous devez vérifier ou le faire à la main, voici les détails.
Syntaxe correcte
Pour déclarer un sitemap dans le fichier robots.txt, il suffit d’ajouter une ligne sous cette forme :
Sitemap: https://www.exemple.com/sitemap.xmlSi vous avez plusieurs sitemaps, ajoutez simplement une ligne par sitemap :
Sitemap: https://www.example.com/sitemap1.xml
Sitemap: https://www.example.com/sitemap2.xml
⚠️ Attention, l'URL de chaque sitemap doit être entière (URL absolue), en commençant par https://.
Si besoin, lisez mes conseils pour faire le fichier robots.txt.
Où placer la directive ?
La ou les lignes à ajouter peut être situées n'importe où dans le fichier robots.txt.
Je vous conseille de les mettre tout en bas, à la fin du fichier.
Vérification manuelle
Mieux vaut vous assurer que le sitemap est accessible, en tapant son URL dans un navigateur. Si le fichier s’affiche correctement et contient la liste des URL, cela signifie qu’il est bien accessible.
Autres questions
Allez dans Google Search Console, rubrique Indexation > Sitemaps. Vous devriez voir le ou les fichiers déclarés, sauf si c'est trop récent. Patientez quelques jours et ça devrait être OK. Cela dit… si vous pouvez aller dans Google Search Console, autant y déclarer les sitemaps
Oui, il est tout à fait possible de déclarer plusieurs sitemaps. Il suffit d'ajouter une ligne "Sitemap:" pour chaque fichier sitemap distinct. Cela est utile pour les sites de grande taille ou ceux segmentant leurs sitemaps par type de contenu.
En théorie oui, ça suffit : tant que le sitemap est déclaré dans le robots.txt. Bien entendu, si le fichier est modifié et que les lignes disparaissent, rien ne garantit que Google continue de consulter le sitemap.
Bonjour Olivier, merci pour cet article !
La partie sur le fait que les concurrents peuvent découvrir notre sitemap m'a interpellé.
Avec des outils comme Semrush ou autres on peut découvrir les pages stratégiques de nos concurrents dans tous les cas ou bien je me trompe ? En tout cas, avec mon site j'ai réussi à prendre des positions de mes concurrents en les trouvant sur les outils.
Qu'est-ce que le sitemap donne de plus comme informations s'il vous plaît ?
Merci encore pour votre contenu écrit et vidéo.
Cyril
Le sitemap est (souvent) exhaustif, c'est donc un atout pour espionner les concurrents.
Il contient (souvent) la date de dernière modification, très utile également.