Robots.txt : usr-agent

Discussion dans 'URL Rewriting et .htaccess' créé par saluts92, 25 Février 2015.

  1. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    962
    J'aime reçus:
    42
    Bonjour,

    si dans un fichier robots.txt , j'ai
    User-agent:*
    et
    User-agent:Googlebot

    faut il que je repète les Disallow pour googlebot, du genre
    User-agent:*
    Disallow:/mapage.html
    ...
    User-agent:Googlebot
    Disallow:/mapage.html
    ...
     
  2. loubet
    loubet WRInaute impliqué
    Inscrit:
    19 Février 2003
    Messages:
    792
    J'aime reçus:
    0
  3. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    962
    J'aime reçus:
    42
    pourtant lorsque je teste mon fichier robots.txt dans les outils google pour webmaster
    google ne bloque que les disallow qu'il y a apres User-agent:Googlebot
     
Chargement...
Similar Threads - Robots usr agent Forum Date
suppression des pages bloquées par robots.txt Débuter en référencement 18 Octobre 2021
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Google me dit que ma page est bien indexée mais bloquée par robots.txt Crawl et indexation Google, sitemaps 25 Novembre 2020
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 17 Octobre 2020