Robots.txt : empêcher l'indexation d'une page sans pénaliser les sous pages

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par milkiway, 28 Janvier 2010.

Tags:
  1. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 196
    J'aime reçus:
    0
    Bonjour,

    J'ai un site avec des url de type :
    -http://www.monsite.zob/dossier/
    -http://www.monsite.zob/dossier/sous-dossier1/
    -http://www.monsite.zob/dossier/sous-dossier2/
    -http://www.monsite.zob/dossier/sous-dossier1/article-ici

    Je voudrais empêcher l'indexation de l'URL -http://www.monsite.zob/dossier/ SANS empêcher celle des sous dossiers et ce afin d'éviter le duplicate content (cette URL contient le contenu des deux sous dossiers).

    Que dois-je mettre dans mon Robots.txt ?

    Merci
     
    #1 milkiway, 28 Janvier 2010
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 974
    J'aime reçus:
    121
    Je rajouterais plutôt une meta noindex dans la page en question.
     
    #2 UsagiYojimbo, 28 Janvier 2010
  3. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 196
    J'aime reçus:
    0
    Merci, mais pourquoi ?
     
    #3 milkiway, 28 Janvier 2010
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 974
    J'aime reçus:
    121
    #4 UsagiYojimbo, 28 Janvier 2010
  5. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 196
    J'aime reçus:
    0
    Faire ceci est il pertinent ?
    <meta name="robots" content="noindex, follow">

    C'est une page de catégorie donc il faut impérativement que les liens soient suivis par contre je ne veux pas indexer la page.
    A moins que je ne laisse google se débrouiller comme un grand et ne mettre ni robots.txt, ni noindex ?
     
    #5 milkiway, 28 Janvier 2010
  6. nza2k
    nza2k WRInaute impliqué
    Inscrit:
    16 Janvier 2004
    Messages:
    892
    J'aime reçus:
    2
    Oui, c'est bien ça que suggérait UsagiYojimbo je pense.
     
    #6 nza2k, 28 Janvier 2010
  7. DjamesAllen
    DjamesAllen WRInaute discret
    Inscrit:
    22 Février 2012
    Messages:
    145
    J'aime reçus:
    0
    Et si on ne peut pas rajouter la meta noindex. Comment on peut le faire via le robots.txt ?
     
    #7 DjamesAllen, 17 Avril 2012
  8. JanoLapin
    JanoLapin WRInaute accro
    Inscrit:
    21 Septembre 2008
    Messages:
    4 226
    J'aime reçus:
    0
    c'est au moins un site de film de boules avec de telles urls... :mrgreen:
     
    #8 JanoLapin, 17 Avril 2012
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Robots empêcher indexation Forum Date
Empêcher l'indexation des fichier .pdf et du robots.txt Crawl et indexation Google, sitemaps 28 Octobre 2014
Empêcher l'indexation avec robots.txt d'un sous domaine (version mobile) Administration d'un site Web 6 Mars 2013
Empêcher l'indexation des urls a paramètres sur robots.txt ? Débuter en référencement 30 Mars 2010
Empecher le crawl d'un lien avec robots.txt Netlinking, backlinks, liens et redirections 2 Avril 2009
[résolu] Empecher les robots d'indexer certaines images Débuter en référencement 20 Septembre 2007
[resolu] empecher les robots de suivre un lien externe Netlinking, backlinks, liens et redirections 19 Août 2007
Empecher les robots d'indexer un dossier ? Débuter en référencement 23 Novembre 2006
Empecher les robots de recolte des mails Administration d'un site Web 16 Juillet 2006
Faut-il empêcher les robots de fonctionner ? Débuter en référencement 17 Mai 2006
[Réglé] Empecher les robots de referencer certains fichier URL Rewriting et .htaccess 4 Juin 2005
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021
le noindex dans le robots.txt Débuter en référencement 19 Novembre 2021
suppression des pages bloquées par robots.txt Débuter en référencement 18 Octobre 2021
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021