Robots.txt Disallow:repertoire mais pas une URL

Discussion dans 'Crawl et indexation Google, sitemaps' créé par PFA34, 30 Octobre 2010.

  1. PFA34
    PFA34 Nouveau WRInaute
    Inscrit:
    10 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
    Bonjour,

    Je m'explique : je souhaite interdire l'accès à un répertoire entier de mon site /repertoire

    Je l'ai mis dans le fichier robots.txt :
    Disallow: /repertoire/

    Mais dans ce répertoire je souhaite tout de même indexer certaines URL, exemple :
    /repertoire/monurl1.html
    /repertoire/monurl2.html
    /repertoire/monurl3.html...


    Si je mets ces URL dans mon fichier sitemap.xml seront-elles indéxées par tous les moteurs de recherche ?

    Code:
     <url>
            <loc>/repertoire/monurl1.html</loc>
            <lastmod>2010-10-30</lastmod>
            <changefreq>always</changefreq>
            <priority>1.0</priority>
        </url>
    
        <url>
            <loc>/repertoire/monurl2.html</loc>
            <lastmod>2010-10-30</lastmod>
            <changefreq>always</changefreq>
            <priority>1.0</priority>
        </url>
    ...

    :?:
     
  2. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Bonjour,

    Le sitemap ne change pas l'effet du robots.txt.

    Pour faire ce que tu veux, tu ne peux pas utiliser
    Code:
    Disallow: /repertoire/
    Il est obligatoire de faire
    Code:
    Disallow: /repertoire/monurl4.html
    Disallow: /repertoire/monurl5.html
    Disallow: /repertoire/monurl6.html
    Disallow: /repertoire/monurl7.html
    (mettre toutes les URL du répertoire sauf les numéros 1, 2 et 3 qui sont autorisés.

    Si les URL interdites commencent toutes par /repertoire/abcd et que les URL autorisées ne commencent pas par /repertoire/abcd, tu peux aussi mettre
    Code:
    DIsallow: /repertoire/abcd
    Jean-Luc
     
  3. PFA34
    PFA34 Nouveau WRInaute
    Inscrit:
    10 Octobre 2009
    Messages:
    17
    J'aime reçus:
    0
    Merci pour la réponse je vais faire comme ça alors !

    Sinon ce serait pas possible de faire Disallow: /repertoire/ et Allow: /repertoire/monurlquejeuveuxgarder.html

    ?
     
  4. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Oui et non. La directive Allow n'est pas standard. Elle sera comprise par certains robots et ignorées par d'autres. Elle fonctionne avec Googlebot.

    Jean-Luc
     
Chargement...
Similar Threads - Robots Disallow repertoire Forum Date
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Balise Noindex ou Disallow dans robots.txt Référencement Google 15 Septembre 2015
Robots.txt + sous domaine disallow Débuter en référencement 11 Août 2014
Page de liens spécifiées disallow dans le robots.txt Netlinking, backlinks, liens et redirections 18 Mars 2014
Robots.txt ok à 100% mais lu comme disallow dans GWT et Bing ? Crawl et indexation Google, sitemaps 16 Décembre 2013
Disallow robots.txt et pages sattellites Crawl et indexation Google, sitemaps 19 Juillet 2012
Disallow fichiers robots de facebook Débuter en référencement 16 Juillet 2012
Robots.txt : Disallow des pages sport-xxxx.html sans Disallow de sport-equestre.html Administration d'un site Web 8 Décembre 2010
Disallow tag dans robots.txt Crawl et indexation Google, sitemaps 26 Octobre 2010
Disallow robots.txt Débuter en référencement 4 Février 2010
Robots.txt tout disallow sauf page accueil ? Problèmes de référencement spécifiques à vos sites 1 Février 2009
Cacher un dossier par Disallow et robots.txt Débuter en référencement 27 Août 2008
Robots.txt - Disallow pour des pages avec paramètre Google : l'entreprise, les sites web, les services 20 Octobre 2006
Robots : Allow et Disallow ? Crawl et indexation Google, sitemaps 20 Avril 2006
Robots.txt pour phpbb : Disallow de certaines urls Problèmes de référencement spécifiques à vos sites 30 Août 2004
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021
le noindex dans le robots.txt Débuter en référencement 19 Novembre 2021