Robots.txt, exclure un mot en fin d'url

Discussion dans 'Débuter en référencement' créé par PierreToo, 8 Février 2013.

  1. PierreToo
    PierreToo Nouveau WRInaute
    Inscrit:
    8 Février 2013
    Messages:
    2
    J'aime reçus:
    0
    Bonjour,

    Je n'arrive pas à trouvé une info clairement expliqué sur ce problème :

    Voila j'ai des url du type :
    mon-site/informations/add.html
    mon-site/decouvrir/add.html

    Est ce que je peux exclure toutes les url contenant le mot "add" avec le robots.txt ?

    Avec cette commande : Disallow:/add/

    Ou est que l'on ne peut exclure uniquement des paramètres se trouvant en début d'url ?
     
  2. 1eB
    1eB WRInaute discret
    Inscrit:
    26 Janvier 2012
    Messages:
    76
    J'aime reçus:
    0
    Bonjour,

    Disallow:/add/ indique que le répertoire /add/ et tout ce qu'il y a en dessous doit être ignoré.

    Pour votre exemple Il faut utiliser :

    Disallow: /*add.html$
     
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 334
    J'aime reçus:
    390
    je précise un détail : si ces URL sont déjà indexées, les bloquer dans le robots.txt ne suffira pas à les faire désindexer : il faudra aussi en faire la demande dans GWT
    ne pas confondre avec la balise meta robots noindex qui sert à interdire l'indexation d'une page
     
  4. PierreToo
    PierreToo Nouveau WRInaute
    Inscrit:
    8 Février 2013
    Messages:
    2
    J'aime reçus:
    0
    Merci à vous pour vos réponses clairs et précises !
     
Chargement...
Similar Threads - Robots exclure mot Forum Date
Exclure certaines pages contenant un mot avec robots.txt Débuter en référencement 15 Avril 2011
Exclure pages via robots.txt Débuter en référencement 24 Juillet 2012
Que faut il exclure avec le fichier robots.txt? Débuter en référencement 3 Août 2010
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Réécriture et robots.txt Débuter en référencement 10 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
Robots.txt et test url Crawl et indexation Google, sitemaps 9 Octobre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice