Robots.txt : usr-agent

Discussion dans 'URL Rewriting et .htaccess' créé par saluts92, 25 Février 2015.

  1. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    771
    J'aime reçus:
    30
    Bonjour,

    si dans un fichier robots.txt , j'ai
    User-agent:*
    et
    User-agent:Googlebot

    faut il que je repète les Disallow pour googlebot, du genre
    User-agent:*
    Disallow:/mapage.html
    ...
    User-agent:Googlebot
    Disallow:/mapage.html
    ...
     
  2. loubet
    loubet WRInaute impliqué
    Inscrit:
    19 Février 2003
    Messages:
    792
    J'aime reçus:
    0
  3. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    771
    J'aime reçus:
    30
    pourtant lorsque je teste mon fichier robots.txt dans les outils google pour webmaster
    google ne bloque que les disallow qu'il y a apres User-agent:Googlebot
     
Chargement...
Similar Threads - Robots usr agent Forum Date
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Réécriture et robots.txt Débuter en référencement 10 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
Robots.txt et test url Crawl et indexation Google, sitemaps 9 Octobre 2019
Page d'accueil non indexée ? Conflit avec robots.txt Crawl et indexation Google, sitemaps 2 Octobre 2019
robots.txt pour site multilangue Crawl et indexation Google, sitemaps 1 Octobre 2019
Indexation malgré le robots.txt Problèmes de référencement spécifiques à vos sites 23 Septembre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice