Robots.txt comment bloquer une URL précise (pas tout ce qui y ressemble)

Discussion dans 'Problèmes de référencement spécifiques à vos sites' créé par landry, 14 Octobre 2014.

  1. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Bonjour,

    Comment bloquer un type d'url précise via le robots.txt.

    Par exemple :

    Disallow: /Forum/post

    bloque

    -http://www.site.com/Forum/poste-en-greve-t1196.html


    Merci
     
  2. baud74
    baud74 WRInaute impliqué
    Inscrit:
    21 Juillet 2014
    Messages:
    586
    J'aime reçus:
    0
    Disallow: /Forum/poste-en-greve-t1196.html

    mais pour pouvoir te répondre, il faudrait connaitre ce que tu veux bloquer et les urls du site.
     
  3. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Justement je ne veux pas bloquer /Forum/poste-en-greve-t1196.html

    Je veux bloquer tout ce qui est :

    /Forum/post-1196.html
    /Forum/post-1197.html
    /Forum/post-1198.html
    ect ...

    Je veux que le mot "post" soit bloqué après "Forum", pas ce qui y ressemble à une lettre prêt comme "poste".

    J'hésite entre
    Disallow: Forum/post*
    et
    Disallow: Forum/post/

    Mais même comme ça qu'est ce qui empêche le robots.txt de bloquer /Forum/poste-en-greve-t1196.html puis que le mot "post" est inclue dans poste (qu'un charabia :D )
    Je me demande si c'est possible en fait.
     
  4. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 921
    J'aime reçus:
    272
    Le rewrite est avec un tiret alors:
    Disallow: Forum/post-*
     
  5. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    D'accord, merci.
    :D
     
Chargement...
Similar Threads - Robots bloquer précise Forum Date
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
WordPress Bloquer ou non WP include dans le robots.txt ? Référencement Google 5 Septembre 2018
fichier robots.txt bloquer paramètre p= Crawl et indexation Google, sitemaps 4 Septembre 2018
Robots.txt : bloquer un seul répertoire Problèmes de référencement spécifiques à vos sites 15 Février 2014
Comment bloquer des url avec robots.txt ? Crawl et indexation Google, sitemaps 8 Novembre 2012
Bloquer l'accès à certains robots et parseurs URL Rewriting et .htaccess 12 Juin 2012
Comment bloquer les pdfs dans le robots.txt Crawl et indexation Google, sitemaps 17 Janvier 2011
Bloquer tous les robots sauf Google, une si mauvaise idée? Débuter en référencement 24 Avril 2010
Bloquer les aspirateurs avec robots.txt Administration d'un site Web 19 Août 2009
Bloquer des urls via un robots.txt . est ce un problème ? Référencement Google 8 Juin 2009
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice