Google-Extended : le user-agent pour contrôler les bots IA de Google

[WebRankInfo]

Google a annoncé la création d'un nouveau user-agent Google-Extended (utilisé uniquement dans le fichier robots.txt) qui sert à contrôler l'accès à un site pour les crawlers de Google qui alimentent ses IA (le chatbot Gemini (ex Bard), Vertex AI et d'autres à venir). Voici l'explication fournie par Google :

Google-Extended est un identifiant de produit spécifique que les éditeurs de sites web peuvent utiliser pour déterminer si leurs sites contribuent à améliorer les API génératives de Bard et de Vertex AI, y compris les futures générations de modèles qui alimentent ces produits.

Si vous souhaitez empêcher Google d'utiliser vos contenus pour alimenter ses IA génératives, mettez ceci dans votre fichier robots.txt :

User-Agent: Google-Extended
Disallow: /

ça n'aura pas d'impact sur le crawl par le Googlebot "classique".

Remarque : on peut faire la même chose pour bloquer ChatGPT sur un site.

Merci de répondre au sondage ci-dessous et de commenter ensuite dans un message

 

[rick38]

Je ne bloquerai pas en ayant l'espoir qu'il cite les liens des sources.

Mais je ne suis pas sûr que les internautes cliqueront les liens des sources si Bard leur a donné la réponse qu'il souhaite.
Et je crains que ça ne prenne tout l'espace (avec les annonces), et que finalement les sites qui ne sont pas n°1 ou qui ne font pas de pubs soient de moins en moins cliqués, bref l'IA pourrait être la fin du SEO.
J'ai lu (mais pas trouvé la source) que d'après une démo de Google avec intégration de Bard il n'y aura plus que 3 résultats naturels. D'abord la zone de l'IA, ensuite les pubs, et juste 3 résultats naturels.

Les gens s'étaient déjà détournés des recherches Google avec les réseaux sociaux du type Facebook, ils pourraient s'en détourner encore plus en utilisant plus que les IA...

 

[hugoseo]

Personnellement je suis de l'avis de Rick, et j'ajouterai même à voir si Bard est utilisé, dans les faits, pour des recherches transactionnelles ou non. Ce serait intéressant d'observer par la suite si ces recherches peuvent être trackées par les outils de mots-clés style Semrush, Ubersuggest, Ranxplorer etc...

Et s'il est possible pour nous / nos clients de tracker le chemin pris et les conversions réalisées spécifiquement depuis les utilisateurs venant de Bard.