Robots.txt comment bloquer une URL précise (pas tout ce qui y ressemble)

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par landry, 14 Octobre 2014.

Tags:
  1. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Bonjour,

    Comment bloquer un type d'url précise via le robots.txt.

    Par exemple :

    Disallow: /Forum/post

    bloque

    -http://www.site.com/Forum/poste-en-greve-t1196.html


    Merci
     
    #1 landry, 14 Octobre 2014
  2. baud74
    baud74 WRInaute impliqué
    Inscrit:
    21 Juillet 2014
    Messages:
    580
    J'aime reçus:
    0
    Disallow: /Forum/poste-en-greve-t1196.html

    mais pour pouvoir te répondre, il faudrait connaitre ce que tu veux bloquer et les urls du site.
     
    #2 baud74, 14 Octobre 2014
  3. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Justement je ne veux pas bloquer /Forum/poste-en-greve-t1196.html

    Je veux bloquer tout ce qui est :

    /Forum/post-1196.html
    /Forum/post-1197.html
    /Forum/post-1198.html
    ect ...

    Je veux que le mot "post" soit bloqué après "Forum", pas ce qui y ressemble à une lettre prêt comme "poste".

    J'hésite entre
    Disallow: Forum/post*
    et
    Disallow: Forum/post/

    Mais même comme ça qu'est ce qui empêche le robots.txt de bloquer /Forum/poste-en-greve-t1196.html puis que le mot "post" est inclue dans poste (qu'un charabia :D )
    Je me demande si c'est possible en fait.
     
    #3 landry, 14 Octobre 2014
  4. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 154
    J'aime reçus:
    334
    Le rewrite est avec un tiret alors:
    Disallow: Forum/post-*
     
    #4 spout, 14 Octobre 2014
  5. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    D'accord, merci.
    :D
     
    #5 landry, 14 Octobre 2014
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Robots bloquer précise Forum Date
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
WordPress Bloquer ou non WP include dans le robots.txt ? Référencement Google 5 Septembre 2018
fichier robots.txt bloquer paramètre p= Crawl et indexation Google, sitemaps 4 Septembre 2018
Robots.txt : bloquer un seul répertoire Problèmes de référencement spécifiques à vos sites 15 Février 2014
Comment bloquer des url avec robots.txt ? Crawl et indexation Google, sitemaps 8 Novembre 2012
Bloquer l'accès à certains robots et parseurs URL Rewriting et .htaccess 12 Juin 2012
Comment bloquer les pdfs dans le robots.txt Crawl et indexation Google, sitemaps 17 Janvier 2011
Bloquer tous les robots sauf Google, une si mauvaise idée? Débuter en référencement 24 Avril 2010
Bloquer les aspirateurs avec robots.txt Administration d'un site Web 19 Août 2009
Bloquer des urls via un robots.txt . est ce un problème ? Référencement Google 8 Juin 2009
Bloquer les pages recherche par robots.txt Problèmes de référencement spécifiques à vos sites 6 Mai 2009
Bloquer l'accés à des "sous-liens" en utilisant robots.txt Problèmes de référencement spécifiques à vos sites 5 Mars 2009
Bloquer flux RSS dans robots.txt ? Référencement Google 28 Décembre 2008
Bloquer index.php dans robots.txt Crawl et indexation Google, sitemaps 23 Septembre 2008
Bloquer robots sans en-têtes URL Rewriting et .htaccess 31 Août 2008
Probleme avec fichier robots.txt fichier bloquer Crawl et indexation Google, sitemaps 4 Septembre 2007
bloquer les robots et ne recevoir que les vrais utilisateurs Demandes d'avis et de conseils sur vos sites 17 Mai 2007
Utilisation de robots.txt pour bloquer les pages dynamiques Crawl et indexation Google, sitemaps 20 Septembre 2004
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021