Fichier robots.txt avec Joomla

WRInaute discret
Bonjour,
j'utilise un cms (joomla) et j'ai vu à la racine le fichier robots.txt...
& j'ai vu sur des forums que c'était pour les robots des moteurs de recherches.
je ne comprends pas très la première ligne :
User-agent: * : ça empèche les robots d'indexer ??????


Code:
User-agent: * 
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
 
WRInaute discret
Exact :D

La première ligne indique que ce qui suit concerne tous les robots.
Les autres lignes indiquent les répertoires que les robots ne doivent pas aller voir (et donc, à fortiori, ne doivent pas indexer)
 

➡️ Offre MyRankingMetrics ⬅️

pré-audit SEO gratuit avec RM Tech (+ avis d'expert)
coaching offert aux clients (avec Olivier Duffez ou Fabien Faceries)

Voir les détails ici

coaching SEO
Discussions similaires
Haut