Robots.txt - Disallow pour des pages avec paramètre

Discussion dans 'Google : l'entreprise, les sites web, les services' créé par biddybulle, 20 Octobre 2006.

  1. biddybulle
    biddybulle WRInaute passionné
    Inscrit:
    30 Mai 2005
    Messages:
    1 428
    J'aime reçus:
    0
    A déplacer dans la bonne rubrique, me suis tromper

    Comment désactivé le passage de robots qui parcourait des pages avec toujour le même paramètre du genre

    /index/sous_dossier_truc/?parametre=
    /index/sous_dossier_bidule/sous_dossier_machin/?parametre=

    tout cela par millier

    La question est donc : Est ce que cette règle est convenable et s'appliquera sur tous les dossiers et l'arbo du site.

    User-Agent: *
    Disallow: ?parametre
     
  2. Monty973
    Monty973 WRInaute passionné
    Inscrit:
    21 Mars 2006
    Messages:
    1 160
    J'aime reçus:
    1
    Tu peux utiliser ça:

    Code:
    Disallow: /*? 
    (empêche l'indexation des pages contenant un "?")

    Mais ce n'est pas une instruction standard, et il n'y a que GoogleBot qui la reconnaisse.

    Ou ça :

    Code:
    Disallow: /*parametre
    empêche l'indexation des URL contenant la chaîne "parametre"

    Mais c'est pareil, c'est pas standard et je crois que seul GoogleBot en tient compte.

    (faudrait demander à Jean-Luc) :D
     
  3. biddybulle
    biddybulle WRInaute passionné
    Inscrit:
    30 Mai 2005
    Messages:
    1 428
    J'aime reçus:
    0
    Merci bon je vais déjà testé avec ceci.
     
  4. Amaryllid
    Amaryllid WRInaute discret
    Inscrit:
    9 Avril 2005
    Messages:
    154
    J'aime reçus:
    0
    Il n'y a pas que Google : avant que GG ne l'adopte il y avait déjà MSN.
    -http://www.amaryllidaceae.org/web-jardin/fichier/robots-txt.htm#exp
     
  5. Monty973
    Monty973 WRInaute passionné
    Inscrit:
    21 Mars 2006
    Messages:
    1 160
    J'aime reçus:
    1
    Oui mais MSN permet son utilisation pour empécher l'indexation de fichiers ayant une extension particulière, je ne suis pas sûr que ce type de syntaxe puisse être utilisé de manière aussi large que dans le cas de Google.

    Code:
    User-agent: MSNBot
    Disallow: /*.[extension de fichier]$
    
    (le symbole du dollar « $ » est obligatoire)	
    
    User-agent: MSNBot
    Disallow: /*.PDF$
    Disallow: /*.jpeg$ 
    Disallow: /*.exe$
    http://search.msn.fr/docs/siteowner.asp ... ToSite.htm
     
Chargement...
Similar Threads - Robots Disallow paramètre Forum Date
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
Robots.txt et syntaxe de Disallow Crawl et indexation Google, sitemaps 2 Juin 2017
Balise Noindex ou Disallow dans robots.txt Référencement Google 15 Septembre 2015
Robots.txt + sous domaine disallow Débuter en référencement 11 Août 2014
Page de liens spécifiées disallow dans le robots.txt Netlinking, backlinks, liens et redirections 18 Mars 2014
Robots.txt ok à 100% mais lu comme disallow dans GWT et Bing ? Crawl et indexation Google, sitemaps 16 Décembre 2013
Disallow robots.txt et pages sattellites Crawl et indexation Google, sitemaps 19 Juillet 2012
Disallow fichiers robots de facebook Débuter en référencement 16 Juillet 2012
Robots.txt : Disallow des pages sport-xxxx.html sans Disallow de sport-equestre.html Administration d'un site Web 8 Décembre 2010
Robots.txt Disallow:repertoire mais pas une URL Crawl et indexation Google, sitemaps 30 Octobre 2010
Disallow tag dans robots.txt Crawl et indexation Google, sitemaps 26 Octobre 2010
Disallow robots.txt Débuter en référencement 4 Février 2010
Robots.txt tout disallow sauf page accueil ? Problèmes de référencement spécifiques à vos sites 1 Février 2009
Cacher un dossier par Disallow et robots.txt Débuter en référencement 27 Août 2008
Robots : Allow et Disallow ? Crawl et indexation Google, sitemaps 20 Avril 2006
Robots.txt pour phpbb : Disallow de certaines urls Problèmes de référencement spécifiques à vos sites 30 Août 2004
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021
le noindex dans le robots.txt Débuter en référencement 19 Novembre 2021