Google a annoncé la création d'un nouveau user-agent Google-Extended (utilisé uniquement dans le fichier robots.txt) qui sert à contrôler l'accès à un site pour les crawlers de Google qui alimentent ses IA (le chatbot Gemini (ex Bard), Vertex AI et d'autres à venir). Voici l'explication fournie par Google :
Si vous souhaitez empêcher Google d'utiliser vos contenus pour alimenter ses IA génératives, mettez ceci dans votre fichier robots.txt :
ça n'aura pas d'impact sur le crawl par le Googlebot "classique".
Remarque : on peut faire la même chose pour bloquer ChatGPT sur un site.
Merci de répondre au sondage ci-dessous et de commenter ensuite dans un message
Google-Extended est un identifiant de produit spécifique que les éditeurs de sites web peuvent utiliser pour déterminer si leurs sites contribuent à améliorer les API génératives de Bard et de Vertex AI, y compris les futures générations de modèles qui alimentent ces produits.
Si vous souhaitez empêcher Google d'utiliser vos contenus pour alimenter ses IA génératives, mettez ceci dans votre fichier robots.txt :
Code:
User-Agent: Google-Extended
Disallow: /
ça n'aura pas d'impact sur le crawl par le Googlebot "classique".
Remarque : on peut faire la même chose pour bloquer ChatGPT sur un site.
Merci de répondre au sondage ci-dessous et de commenter ensuite dans un message
Dernière édition: