Robot.txt bloquer le point en fin d'url

Discussion dans 'Référencement Google' créé par landry, 23 Février 2014.

  1. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Bonjour,

    J'ai quelques URL présentes sur des sites qui ne m'appartiennent pas (liens échangés entres internautes) mais certaines sont mal formulées.
    Je le vois sur la page d'erreurs rencontrées par le robot d'exploration.

    J'ai notamment ce genre d'erreur :
    -www.monsite/trucmuche/page.php.
    ou
    -www.monsite/trucmuche/page.

    Comment faire en sorte que le robot.txt bloque les url se terminant par un point sans qu'il bloque les url contenant un point ?

    J'ai pensé à :

    Code:
    User-agent: *
Disallow: /*.
    Mais j'ai peur que ça me bloque toutes les url avec un point.

    Merci
     
    #1 landry, 23 Février 2014
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    12 009
    J'aime reçus:
    133
    Pourquoi ne pas scripter ça en PHP (avec une 301) ?
     
    #2 UsagiYojimbo, 23 Février 2014
  3. indigene
    indigene WRInaute accro
    Inscrit:
    7 Septembre 2003
    Messages:
    4 101
    J'aime reçus:
    176
    C'est gentil de bloquer les liens qu'on fait vers toi :D

    Pourquoi ne pas tout simplement les rediriger dans le .htaccess ?
     
    #3 indigene, 23 Février 2014
  4. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    :lol:

    Je ne veux bloquer que les liens introuvables, les autres je les conserve avec grand plaisir.

    Comment on peut faire ça avec le .htaccess car l'idée est très bonne, je prends.
     
    #4 landry, 23 Février 2014
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Robot bloquer fin Forum Date
Robot.txt --> Bloquer des images finisssant par Crawl et indexation Google, sitemaps 16 Avril 2009
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
WordPress Bloquer ou non WP include dans le robots.txt ? Référencement Google 5 Septembre 2018
fichier robots.txt bloquer paramètre p= Crawl et indexation Google, sitemaps 4 Septembre 2018
Bloquer robot explorateurs .htaccess Crawl et indexation Google, sitemaps 17 Novembre 2014
Robots.txt comment bloquer une URL précise (pas tout ce qui y ressemble) Problèmes de référencement spécifiques à vos sites 14 Octobre 2014
Comment bloquer certaines pages uniquement à Google, Bing et Yahoo, via le robot Référencement Google 15 Février 2014
Robots.txt : bloquer un seul répertoire Problèmes de référencement spécifiques à vos sites 15 Février 2014
Comment bloquer des url avec robots.txt ? Crawl et indexation Google, sitemaps 8 Novembre 2012
Bloquer l'accès à certains robots et parseurs URL Rewriting et .htaccess 12 Juin 2012
Comment bloquer les pdfs dans le robots.txt Crawl et indexation Google, sitemaps 17 Janvier 2011
Bloquer tous les robots sauf Google, une si mauvaise idée? Débuter en référencement 24 Avril 2010
Bloquer les aspirateurs avec robots.txt Administration d'un site Web 19 Août 2009
Bloquer des urls via un robots.txt . est ce un problème ? Référencement Google 8 Juin 2009
Bloquer les pages recherche par robots.txt Problèmes de référencement spécifiques à vos sites 6 Mai 2009
Bloquer l'accés à des "sous-liens" en utilisant robots.txt Problèmes de référencement spécifiques à vos sites 5 Mars 2009
Bloquer flux RSS dans robots.txt ? Référencement Google 28 Décembre 2008
Bloquer index.php dans robots.txt Crawl et indexation Google, sitemaps 23 Septembre 2008
Bloquer robots sans en-têtes URL Rewriting et .htaccess 31 Août 2008
Probleme avec fichier robots.txt fichier bloquer Crawl et indexation Google, sitemaps 4 Septembre 2007