On va reprendre ça calmement et dans l’ordre :
- Google (et les autres moteurs) permet au webmaster de lister les pages de son site qu’il veut voir crawlées et indexées : il suffit de créer un fichier sitemap
- Ce fichier sitemap est un fichier XML ou texte stocké sur le site concerné
- S’il n’a pas déjà créé un compte Search Console, le webmaster doit prouver à Google qu’il est bien l’éditeur du site : pour cela il doit uploader un fichier spécifique (ou mettre une balise meta dans sa page d’accueil). On appelle ça la phase de vérification.
- Le webmaster doit ensuite indiquer à Google où se trouve ce fichier sitemap : pour cela il utilise son compte Google Webmaster Tools, ou plus simplement depuis avril 2007 en indiquant l’adresse du fichier sitemap dans le fichier robots.txt
- S’il a plusieurs sites à gérer (ou plusieurs sous-domaines du même site), il peut répéter le processus ci-dessus autant de fois que nécessaire, mais ça peut devenir assez laborieux.
- Depuis octobre 2007 Google permet au webmaster de mettre tous ses fichiers sitemaps (de différents sites) au même endroit (sur un seul serveur) à condition de passer la phase de vérification de chaque site (ou sous-domaine)
- A partir de maintenant il n’est plus obligatoire de procéder à ces différentes vérifications, il suffit d’indiquer dans le fichier robots.txt l’adresse du sitemap, même s’il est hébergé sur un autre site.
En conclusion si vous gérez les sites www.site1.com
et www.site2.com
et que vous souhaitez gérer les sitemaps de ces 2 sites au même endroit (sur www.site1.com
) :
- avant il fallait prouver que vous êtes le webmaster des 2 sites en procédant à la vérification de
www.site1.com
et dewww.site2.com
- maintenant il suffit pour le site secondaire
www.site2.com
de mettre une ligne dans son fichierrobots.txt
qui indique que le fichier sitemap dewww.site2.com
se trouve quelquepart surwww.site1.com
Pour indiquer ça dans le fichier http://www.site2.com/robots.txt
il faut ajouter une ligne du style :
Sitemap:
Si mes explications ne sont pas claires, lisez celles de Google qui le seront peut-être plus ! Ou alors venez en discuter dans le forum : Gérer plusieurs sitemaps de plusieurs sites via le robots.txt
Merci Olivier !
Bonjour,
Peut-on également déclarer des « sitemaps de sitemaps » dans le robots.txt ?
@Guillaume : mieux vaut éviter, c’est bien mieux de déclarer les sitemaps dans Google Webmaster Tools
Oui en effet merci, ça complète mon article. Les habitués de WRI connaissent déjà bien cette adresse mais pas les autres.
Bonjour,
étant donné que ce fichier XML est exploité par plusieurs outils de recherche, il aurait été intéressant de donner cette ressource : http://www.sitemaps.org/ qui décrit tout le processus (de la création à la soumission d’un sitemap XML).