En résumé :
- Le llms.txt n'est pas un outil de blocage mais un guide pour fournir du contenu épuré aux IA (contrairement au robots.txt qui contrôle l'accès)
- Aucun géant de l'IA ne l'a adopté après plus d'un an d'existence (OpenAI, Google, Anthropic ignorent ce standard)
- Je ne recommande pas de l'implémenter pour 4 raisons : absence d'adoption, maintenance supplémentaire, risque concurrentiel et potentiel de cloaking
- Les accès dans vos logs sont trompeurs : si des bots IA consultent votre llms.txt, c'est lors de navigation en direct sur demande utilisateur, pas pour l'entraînement
- Investissez plutôt dans robots.txt et sitemaps : ces standards établis ont un impact réel sur votre SEO
Qu'est-ce que le fichier llms.txt ?
Le fichier llms.txt est un document texte pensé pour faciliter la communication entre votre site et les IA. Contrairement aux idées reçues, ce n'est pas un outil de blocage, mais un guide. Ce fichier fournit directement l'essentiel des informations disponibles sur le site, que les IA devraient utiliser.
L'autre incompréhension trop répandue est de croire qu'il concerne la phase d'apprentissage des IA, quand elles créent leur LLM. L'idée est au contraire que ce fichier sera utilisé sur demander d'un utilisateur dans une discussion avec un chatbot IA. Voici les explications de l'inventeur :
Les informations de llms.txt seront souvent utilisées à la demande lorsqu'un utilisateur demande explicitement des informations sur un sujet, par exemple lorsqu'il inclut la documentation d'une bibliothèque de codage dans un projet ou lorsqu'il demande des informations à un robot de conversation doté d'une fonction de recherche. Nous pensons que llms.txt sera principalement utile pour l'inférence, c'est-à-dire au moment où l'utilisateur demande de l'aide, plutôt que pour l'apprentissage.
Cette initiative vient de Jeremy Howard, qui a détaillé sa proposition en septembre 2024 (source : llmstxt.org).
Son vrai objectif : fournir du contenu propre aux IA
L'idée derrière llms.txt :
- Donner aux IA une version propre et structurée de vos contenus
- Éviter qu'elles mélangent votre contenu principal avec la navigation, les publicités et autres éléments superflus
- Améliorer la qualité des données récupérées
C'est une démarche proactive. Au lieu de laisser les IA se débrouiller seules, vous leur proposez un "flux" de contenu optimisé.
llms.txt vs robots.txt : deux missions opposées
| Aspect | robots.txt | llms.txt |
|---|---|---|
| Mission | Contrôler l'accès | Guider et fournir |
| Action | Dit "N'allez pas ici" | Dit "Voici le meilleur contenu pour vous" |
| Public cible | Tous les bots | IA uniquement |
| Statut | Standard établi | Proposition non adoptée |
Le robots.txt :
- Standard établi depuis des années
- Sert à interdire l'exploration de certaines URL
- Directive principale : Disallow
- Objectif : gérer le budget de crawl et empêcher l'indexation de pages non pertinentes
Le llms.txt :
- Vocation de guider spécifiquement les IA
- Indique aux IA où trouver le contenu de qualité
- Objectif : pointer vers des versions épurées de vos contenus
Mon conseil : Plutôt que de vous préoccuper du llms.txt pour l'instant, vérifiez régulièrement votre fichier robots.txt. Assurez-vous qu'il n'interdit pas par erreur l'accès à des pages importantes et qu'il gère correctement votre budget de crawl (si vous avez un gros site).
Si jamais vous bloquez les robots des IA dans votre fichier robots.txt (oui, j'ai bien dit le traditionnel robots.txt). Dans ce cas, il ne faut pas vous étonner si votre marque n'est jamais mentionnée dans les chatbots IA. Lisez par exemple comment bloquer ChatGPT dans le robots.txt.
llms.txt vs sitemaps : guider vs inventorier des URL
| Aspect | sitemap.xml | llms.txt |
|---|---|---|
| Mission | Inventorier et informer | Guider et fournir |
| Action | Dit "Voici toutes mes pages importantes" | Dit "Voici le meilleur contenu pour vous" |
| Public cible | Moteurs de recherche | IA uniquement |
| Contenu | Liste d'URL avec métadonnées | Contenu épuré ou pointeurs vers contenu |
Les sitemaps :
- Inventaire structuré de vos pages (généralement 100% des pages à faire indexer)
- Facilite la découverte et l'indexation par les moteurs de recherche
- Contient des métadonnées (essentiellement la date de dernière modification)
- Objectif : optimiser le crawl et l'indexation de votre site
Le llms.txt :
- Ne liste pas forcément toutes les pages
- Se concentre sur le contenu le plus qualitatif
- Propose des versions épurées spécifiquement pour les IA
- Objectif : améliorer la qualité des données utilisés par les IA
Mon conseil : Investissez plutôt votre temps dans des sitemaps exhaustifs et maintenus à jour. Ils facilitent l'indexation de vos contenus et vous permettent de faire des analyses avancées de votre SEO.
La réalité du llms.txt aujourd'hui
Je préfère être clair et pragmatique : actuellement, ce fichier ne sert strictement à rien.
Aucun support officiel
La proposition du llms.txt existe depuis plus d'un an. Le constat est sans appel :
Aucun des grands acteurs de l'IA n'a annoncé officiellement le supporter
- OpenAI (ChatGPT) ❌
- Google (Gemini, Google AI Overviews, Google AI Mode) ❌
- Perplexity ❌
- Mistral ❌
- Anthropic (Claude) ❌
- Common Crawl ❌
Un standard n'a de valeur que si ceux à qui il s'adresse l'adoptent. Pour l'instant, nous n'en sommes pas là.
Remarque : j'ai vu qu'il existe un fichier llms.txt sur le site de la documentation d'Anthropic (https://docs.anthropic.com/llms.txt). Mais aucune mention de ce fichier n'est présente sur leur site, aucune explication, aucune indication de prise en charge par Claude.
Ma recommandation actuelle
Je ne vous conseille pas de créer un fichier llms.txt sur votre site.
Voici mes 4 raisons principales :
1️⃣ Aucun géant des IA ne l'a adopté Plus d'un an après sa proposition, aucun acteur majeur (OpenAI, Google, Anthropic, Common Crawl) n'a annoncé le supporter officiellement. Un standard sans adoption est inutile.
2️⃣ Maintenance supplémentaire nécessaire Implémenter llms.txt correctement demande :
- Développer ou acquérir des outils pour générer le fichier
- Vérifier régulièrement que le contenu épuré est à jour
- Maintenir la cohérence entre vos contenus web et les versions llms.txt
- Gérer les métadonnées et les fichiers
.mdassociés
D'après mon expérience et mes échanges avec des freelances et agences, j'estime entre 30 et 60 minutes par site pour effectuer une maintenance mensuelle sérieuse. Je trouve que ça fait beaucoup pour quelque chose sans aucun impact.
3️⃣ Risque concurrentiel En créant un llms.txt, vous révélez à vos concurrents :
- Quels contenus vous jugez les plus stratégiques
- Votre hiérarchisation des informations importantes
- Vos priorités éditoriales et commerciales
Cette transparence peut jouer contre vos intérêts business.
4️⃣ Potentiel de cloaking Le système permet théoriquement de fournir aux IA des informations différentes de celles visibles par les humains sur votre site. Cette forme de cloaking me dérange (c'est le fait de donner un contenu différent aux humains et aux machines). C'est peut-être d'ailleurs une des raisons pour lesquelles les géants de l'IA n'ont pas adopté ce standard : ils préfèrent analyser le contenu réel de vos pages.
La situation peut évoluer. Si un acteur majeur l'adopte un jour, je réévaluerai ma position et vous le ferai savoir. Suivez-moi sur LinkedIn et activez les notifications.
Alternative au fichier llms.txt
"OK Olivier, mais si tu déconseilles ce fichier, que recommandes-tu pour optimiser pour les LLM ?"
Question légitime ! Je recommande d'optimiser aussi bien le fond que la forme afin d'être compris par les moteurs de recherche traditionnels ET les moteurs IA. Je vérifie bien entendu que les bots des moteurs IA sont autorisés à accéder à vos contenus.
Les cas où le llms.txt pourrait être intéressant
J'ouvre une petite parenthèse pour deux cas spéciaux :
Si votre site nécessite fortement Javascript pour générer le contenu. Dans ce cas, les robots des chatbots IA pourraient ne pas accéder au contenu (car ils n'utilisent pas Javascript). Fournir une version alternative du contenu du site (accessible aux bots IA) est séduisant.
Si votre site est gigantesque (au moins des centaines de milliers d'URL), alors il est probable que les robots des IA n'aient pas tout indexé. Il serait intéressant, en théorie, de leur fournir une version centrée sur les contenus les plus importants.
Comment ça marcherait (en théorie)
À titre informatif, voici comment le système est censé fonctionner.
Format et syntaxe du fichier LLMS.txt
Emplacement et nom du fichier
Le fichier llms.txt se place à la racine de votre site, comme le robots.txt. Il peut y en avoir sur chaque sous-domaine. De façon optionnelle, il peut se trouver dans des répertoires.
Structure d'un fichier llms.txt
Un fichier conforme à la spécification contient les sections suivantes en format Markdown, dans cet ordre :
- Un H1 avec le nom du projet ou du site (c'est la seule section obligatoire).
- Un blockquote avec un court résumé du projet, contenant des informations clés nécessaires à la compréhension du reste du fichier.
- Aucune, une ou plusieurs sections Markdown de n'importe quel type sauf les titres (par exemple, paragraphes, listes, etc.). Elles contiennent des informations plus détaillées sur le projet et sur la manière d'interpréter les fichiers fournis.
- Aucune, une ou plusieurs sections Markdown délimitée par des en-têtes H2, contenant des "listes de fichiers" d'URL où des détails supplémentaires sont disponibles
- Chaque liste de fichiers est une liste Markdown, contenant un hyperlien Markdown obligatoire de ce type
[libellé](url), puis, éventuellement, un:suivi de notes sur le fichier.
Exemple de fichier llms.txt
Voici un exemple pour une entreprise fictive :
# AssuranceXYZ
> Votre partenaire assurance depuis 1995.
Nous proposons des solutions d'assurance complètes pour les particuliers, alliant garanties solides et service client de proximité.
## Nos services principaux
- [Assurance Auto](https://www.assurancexyz.fr/assurance-auto/): Protégez votre véhicule avec nos formules adaptées à vos besoins et à votre budget. Devis gratuit en ligne pour une couverture immédiate.
- [Assurance Habitation](https://www.assurancexyz.fr/assurance-habitation/): Sécurisez votre domicile, que vous soyez propriétaire ou locataire, avec notre assurance multirisques habitation.
- [Assurance Santé](https://www.assurancexyz.fr/assurance-sante/): Bénéficiez d'une complémentaire santé performante pour vos dépenses médicales, pour vous et votre famille.
## Contact
- [Nous contacter](https://www.assurancexyz.fr/contact/): Email : contact@assurancexyz.fr - Téléphone : 01 23 45 67 89
Le fichier llms-full.txt
En fait le llms.txt n'est pas forcément seul ! Vous pouvez le compléter par la version étendue nommée llms-full.txt... C'est la pièce maîtresse du dispositif :
- Version texte de vos articles
- Débarrassée du code superflu (HTML, CSS, JavaScript, menus...)
- Source principale pour les IA
Les fichiers .md complémentaires
Il est également possible de fournir une version LLM pour une page précise de votre site, au format Markdown. C'est la version la plus complète possible, avec :
- Métadonnées structurées
- Informations sur l'auteur, date, titre, résumé
- Format parfaitement exploitable par les modèles de langage
Il faut dans ce cas les fournir à une URL qui est définie en ajoutant .md à l'URL de la page concernée.
Le fichier llms.txt listé dans les logs
Si vous observez dans vos logs des bots qui accèdent au fichier llms.txt, ne concluez pas trop vite.
Ce que vous pourriez voir
Vous pourriez observer des accès de la part de :
- ChatGPT-User
- GPTBot
- Google-Extended
- et d'autres user-agents d'IA
La réalité de ces accès
Ces visites ne signifient PAS forcément que l'IA a spontanément consulté votre fichier llms.txt.
À mon avis, ces accès correspondent au schéma suivant :
- Un utilisateur demande à ChatGPT (ou autre IA) d'analyser votre site en direct, spécifiquement ce fichier
- L'IA navigue alors sur votre site pour répondre à cette demande précise
- Son bot consulte ce fichier, s'il existe
Distinction importante
Il faut bien distinguer deux phases :
- Phase d'entraînement : les IA collectent massivement des données web pour s'entraîner (elles ne consultent pas llms.txt)
- Phase d'usage en direct : un utilisateur demande une analyse ponctuelle, l'IA navigue alors sur le web (et peut tomber sur llms.txt)
Ces accès dans vos logs ne prouvent donc pas que les IA respectent le standard llms.txt. Ils montrent simplement qu'elles explorent votre site à la demande d'un utilisateur.
Bien entendu, si vous faites sur votre site un lien vers le fichier llms.txt, il est logique de le voir dans les logs.
Questions fréquentes
Non. Plus d'un an après sa proposition, aucun acteur majeur ne le supporte. Consacrer du temps à sa mise en place serait une action sans effet. L'effort requis est certes minime, mais le retour sur investissement est nul. Votre temps sera mieux investi dans l'optimisation de votre contenu existant ou dans des actions SEO qui ont un impact prouvé. Attendez qu'un géant de l'IA annonce officiellement le supporter avant de vous en préoccuper.
Ce fichier n'a aucun impact sur votre référencement naturel. Les robots des moteurs de recherche comme Googlebot lisent le fichier robots.txt et ignorent totalement le llms.txt. Votre visibilité Google ne sera pas affectée, ni positivement ni négativement. Le llms.txt n'entre dans aucun algorithme de classement des moteurs de recherche. Il est conçu pour les IA, pas pour le SEO traditionnel. Sa présence ou son absence n'influencera pas vos positions dans les résultats de recherche.
Ces deux fichiers ont des vocations fondamentalement différentes. Le robots.txt est un outil de restriction dont la mission est de contrôler l'accès en interdisant l'exploration de certaines parties de votre site. Sa logique est négative : "n'allez pas là". À l'inverse, le llms.txt adopte une approche positive en servant d'outil d'orientation qui guide les IA vers le meilleur contenu possible dans un format optimisé pour elles. Sa logique est constructive : "voici le meilleur contenu".
Utiliser robots.txt pour guider les IA reviendrait à détourner un outil de son usage prévu et pourrait créer des conflits avec les moteurs de recherche traditionnels. Le robots.txt reste essentiel pour gérer les accès des crawlers classiques, tandis que le llms.txt se concentre spécifiquement sur la livraison d'un contenu de qualité aux modèles de langage, créant ainsi une séparation claire et logique entre ces deux besoins distincts.
Si vous voulez tester par curiosité technique, la vérification reste simple. Le fichier llms.txt doit être en minuscules, placé à la racine de votre site comme le robots.txt. Vous pouvez vérifier sa présence en accédant directement à son URL dans un navigateur : https://votre-site.com/llms.txt.
Mais attention : il n'existe aucun outil pour tester si une IA le prend réellement en compte, puisqu'aucune ne le fait actuellement. Les outils de validation robots.txt ne fonctionnent pas non plus pour llms.txt. Vous naviguez donc à l'aveugle.
Rien de différent par rapport à aujourd'hui.
Sans llms.txt, les IA qui explorent le web continuent de le faire normalement. Elles analysent directement le code HTML de vos pages, avec tous les éléments qu'elles contiennent (navigation, publicités, etc.).
L'absence de ce fichier n'est en rien pénalisante aujourd'hui. Vos contenus restent accessibles aux IA exactement comme avant. Elles s'adaptent déjà très bien à l'analyse de pages web complètes, même si le résultat pourrait théoriquement être amélioré avec des contenus épurés.
Il faut distinguer deux mécanismes différents dans le fonctionnement des IA.
1) L'entraînement du modèle : les IA collectent massivement des données web passées pour apprendre. Bloquer via robots.txt peut limiter cette collecte lors des futures mises à jour du modèle.
2) La navigation en temps réel : quand un utilisateur pose une question, l'IA peut naviguer sur le web pour trouver des informations fraîches. Dans ce cas, elle respecte généralement les restrictions robots.txt, mais les pratiques varient selon les services.
Bloquer complètement les IA via robots.txt vous exclura probablement de leurs références, mais vous gardera dans leurs connaissances déjà acquises. C'est un arbitrage à faire selon vos objectifs.
Conclusion
Le fichier llms.txt est une proposition intéressante en théorie. En pratique, il ne sert à rien aujourd'hui.
Mon conseil : attendez qu'un acteur majeur l'adopte officiellement avant de vous en préoccuper.
L'écosystème de l'IA évolue vite. Cette situation peut changer. Par exemple, je suis les avancées du groupe de travail "AI Preferences (aipref)". Il est organisé par l'IETF, c'est-à-dire la principale organisation de gestion des standards d'Internet. On verra bien s'il aboutit à inclure des propositions émanant du fichier llms.txt.
Je vous tiendrai informé sur mes réseaux sociaux dès que ce sera le cas.
Si vous avez des questions, posez-les dans le forum WebRankInfo.
Si vous préférez du consulting, j'en propose sur mon site WebRankExpert.
Laisser un commentaire