On va reprendre ça calmement et dans l’ordre :
- Google (et les autres moteurs) permet au webmaster de lister les pages de son site qu’il veut voir crawlées et indexées : il suffit de créer un fichier sitemap
- Ce fichier sitemap est un fichier XML ou texte stocké sur le site concerné
- S’il n’a pas déjà créé un compte Search Console, le webmaster doit prouver à Google qu’il est bien l’éditeur du site : pour cela il doit uploader un fichier spécifique (ou mettre une balise meta dans sa page d’accueil). On appelle ça la phase de vérification.
- Le webmaster doit ensuite indiquer à Google où se trouve ce fichier sitemap : pour cela il utilise son compte Google Webmaster Tools, ou plus simplement depuis avril 2007 en indiquant l’adresse du fichier sitemap dans le fichier robots.txt
- S’il a plusieurs sites à gérer (ou plusieurs sous-domaines du même site), il peut répéter le processus ci-dessus autant de fois que nécessaire, mais ça peut devenir assez laborieux.
- Depuis octobre 2007 Google permet au webmaster de mettre tous ses fichiers sitemaps (de différents sites) au même endroit (sur un seul serveur) à condition de passer la phase de vérification de chaque site (ou sous-domaine)
- A partir de maintenant il n’est plus obligatoire de procéder à ces différentes vérifications, il suffit d’indiquer dans le fichier robots.txt l’adresse du sitemap, même s’il est hébergé sur un autre site.
En conclusion si vous gérez les sites www.site1.com et www.site2.com et que vous souhaitez gérer les sitemaps de ces 2 sites au même endroit (sur www.site1.com) :
- avant il fallait prouver que vous êtes le webmaster des 2 sites en procédant à la vérification de
www.site1.comet dewww.site2.com - maintenant il suffit pour le site secondaire
www.site2.comde mettre une ligne dans son fichierrobots.txtqui indique que le fichier sitemap dewww.site2.comse trouve quelquepart surwww.site1.com
Pour indiquer ça dans le fichier http://www.site2.com/robots.txt il faut ajouter une ligne du style :
Sitemap:
Si mes explications ne sont pas claires, lisez celles de Google qui le seront peut-être plus ! Ou alors venez en discuter dans le forum : Gérer plusieurs sitemaps de plusieurs sites via le robots.txt
Bonjour,
étant donné que ce fichier XML est exploité par plusieurs outils de recherche, il aurait été intéressant de donner cette ressource : http://www.sitemaps.org/ qui décrit tout le processus (de la création à la soumission d’un sitemap XML).
Oui en effet merci, ça complète mon article. Les habitués de WRI connaissent déjà bien cette adresse mais pas les autres.
Bonjour,
Peut-on également déclarer des « sitemaps de sitemaps » dans le robots.txt ?
@Guillaume : mieux vaut éviter, c’est bien mieux de déclarer les sitemaps dans Google Webmaster Tools
Merci Olivier !