Robots.txt : usr-agent

saluts92 · 25 Février 2015

Bonjour,

si dans un fichier robots.txt , j'ai
User-agent:*
et
User-agent:Googlebot

faut il que je repète les Disallow pour googlebot, du genre
User-agent:*
Disallow:/mapage.html
...
User-agent:Googlebot
Disallow:/mapage.html
...

loubet · 25 Février 2015

non

saluts92 · 25 Février 2015

pourtant lorsque je teste mon fichier robots.txt dans les outils google pour webmaster
google ne bloque que les disallow qu'il y a apres User-agent:Googlebot

Similar Threads - Robots usr agent	Forum	Date
Search Console Prestashop \| Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise...	Crawl et indexation Google, sitemaps	21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt	Crawl et indexation Google, sitemaps	31 Octobre 2019
Aide sur le format de mon fichier robots.txt	Crawl et indexation Google, sitemaps	25 Octobre 2019
Problèmes d'indexation et robots.txt	Crawl et indexation Google, sitemaps	14 Octobre 2019
Réécriture et robots.txt	Débuter en référencement	10 Octobre 2019
Page de test et fichier Robots.txt	Crawl et indexation Google, sitemaps	9 Octobre 2019
Robots.txt et test url	Crawl et indexation Google, sitemaps	9 Octobre 2019
Page d'accueil non indexée ? Conflit avec robots.txt	Crawl et indexation Google, sitemaps	2 Octobre 2019
robots.txt pour site multilangue	Crawl et indexation Google, sitemaps	1 Octobre 2019
Indexation malgré le robots.txt	Problèmes de référencement spécifiques à vos sites	23 Septembre 2019