Robots.txt : Disallow des pages sport-xxxx.html sans Disallow de sport-equestre.html

Discussion dans 'Administration d'un site Web' créé par doncarlos, 8 Décembre 2010.

  1. doncarlos
    doncarlos Nouveau WRInaute
    Inscrit:
    24 Novembre 2006
    Messages:
    24
    J'aime reçus:
    0
    Bonjour,
    je souhaite empêcher le robot google de parcourir et d'indexer les pages de type
    Code:
     http://www.mondomaine.com/sport-xxxx.html
    .
    En revanche, je souhaite qu'il continue de parcourir la page
    Code:
    http://www.mondomaine.com/sport-equestre.htm
    .

    Dans le fichier robots.txt, si j'ajoute :
    Code:
    Disallow:/sport-
    ,
    la page sport-equestre.html sera ignorée avec les autres.

    Comment faire pour que le robot filtre les pages sport-xxxx.html sans filtrer sport-equestre.html .

    La solution est-elle la suivante :
    Code:
    Disallow:/sport-
    Allow:/sport-equestre
    Merci.
     
  2. doncarlos
    doncarlos Nouveau WRInaute
    Inscrit:
    24 Novembre 2006
    Messages:
    24
    J'aime reçus:
    0
  3. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 274
    J'aime reçus:
    0
    je ne sais pas si le allow est compris par tous les moteurs
     
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 974
    J'aime reçus:
    121
    A part lister toutes les pages à bloquer, je ne suis pas sûr que tu ais une solution. Si le site est en php ou asp, la création du dit robots.txt de manière dynamique ne devrait pas poser de gros soucis de dev.
     
Chargement...
Similar Threads - Robots Disallow sport Forum Date
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Balise Noindex ou Disallow dans robots.txt Référencement Google 15 Septembre 2015
Robots.txt + sous domaine disallow Débuter en référencement 11 Août 2014
Page de liens spécifiées disallow dans le robots.txt Netlinking, backlinks, liens et redirections 18 Mars 2014
Robots.txt ok à 100% mais lu comme disallow dans GWT et Bing ? Crawl et indexation Google, sitemaps 16 Décembre 2013
Disallow robots.txt et pages sattellites Crawl et indexation Google, sitemaps 19 Juillet 2012
Disallow fichiers robots de facebook Débuter en référencement 16 Juillet 2012
Robots.txt Disallow:repertoire mais pas une URL Crawl et indexation Google, sitemaps 30 Octobre 2010
Disallow tag dans robots.txt Crawl et indexation Google, sitemaps 26 Octobre 2010
Disallow robots.txt Débuter en référencement 4 Février 2010
Robots.txt tout disallow sauf page accueil ? Problèmes de référencement spécifiques à vos sites 1 Février 2009
Cacher un dossier par Disallow et robots.txt Débuter en référencement 27 Août 2008
Robots.txt - Disallow pour des pages avec paramètre Google : l'entreprise, les sites web, les services 20 Octobre 2006
Robots : Allow et Disallow ? Crawl et indexation Google, sitemaps 20 Avril 2006
Robots.txt pour phpbb : Disallow de certaines urls Problèmes de référencement spécifiques à vos sites 30 Août 2004
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021
le noindex dans le robots.txt Débuter en référencement 19 Novembre 2021