Utilisation de robots.txt pour bloquer les pages dynamiques

WRInaute occasionnel
Bonjour,
Comment est il possible de bloquer les robots sur des pages avec un ? (parametre) pour que google ne les prennent pas comme un contenu dupliqué de mes pages rendues statiques avec de l'url rewriting?
 
WRInaute occasionnel
non mais il suffit de mettre des règles dans ton .htaccess pour que les ? renvoi vers les pages UR avec un code 301
 
WRInaute occasionnel
Non, ta solution n'est pas bonne, je veux faire cette redirection, ou une autre maniere d'enlever ce paramètre, pour Google et non pas pour tout le monde.
Faire ca dans le .htaccess me le ferait pour tout les internautes.
 
WRInaute passionné
Moi pas compendre...
Si tu fais de l'UR, les internautre arriveront par des pages rewritées...
Seuls les moteurs ayant les pages dans leur index tomberont sur le .htaccess ...

Non ??
 
WRInaute accro
midnightfr a dit:
Non, ta solution n'est pas bonne, je veux faire cette redirection, ou une autre maniere d'enlever ce paramètre, pour Google et non pas pour tout le monde.
Faire ca dans le .htaccess me le ferait pour tout les internautes.
en gros tu veux montrer une chose différente aux internautes et aux moteurs
:evil: tu rentres dans le coté obscur
 
WRInaute occasionnel
Re: utilisation de robots.txt pour bloquer les pages dynamiq

midnightfr a dit:
Comment est il possible de bloquer les robots sur des pages avec un ? (parametre)
Mets le nom de ta page.extension tout court, et toutes les déclinaisons paramétrées ou non seront bloquées. Par exemple une page -http://www.site.com/rep/page.aspx?param1=aaa&param2=bbb peut être bloquée pour les robots quels que soient les paramètres en ajoutant une ligne contenant ceci dans ton robots.txt :

Disallow: /rep/page.aspx

Si tu veux autoriser la page sans paramètre mais bloquer avec, tu peux mettre :

Disallow: /rep/page.aspx?

Fred
 
WRInaute occasionnel
en gros tu veux montrer une chose différente aux internautes et aux moteurs
Evil or Very Mad tu rentres dans le coté obscur

Non, vous avez pas compris
Je m'explique :

J'ai deja de l'url rewriting en place, les pages php ne sont pas accessible pour personne ca y a pas de pb.
Néanmoins, pour du partenariat, j'ai des urls avec un parametre correspondant au partenaire.
Si google enregistre ces urls( venant de partenaires avec un parametre) elles seront présentes dans l'index, et dans les resultats et ces visites seront attribuées aux partenaires alors que c'est une visite de google,(jusque la vous comprenez?)

Pour l'instant je cache donc ces parametres avec du cloaking.
Je cherche donc un moyen pour ne pas cloaker, de cacher automatiquement n'importe qu'elle url de mon site (pas une page en particulier) qui présente un parametre de type ?partenaire=xx

voila, je pense avoir été plus clair ;)


[/quote]
 
WRInaute accro
j'ai été succint alors précision : j'ai compris ton truc mais "l'enfer est quelques fois pavé de bonnes intentions". Pour moi il est dangereux de ne pas montrer la même chose au moteur / internautes. Dans ton cas ce n'est pas une "triche" mais soit sur que GG va etre d'accord avec ça.J'ai un doute peut etre a tort
 
WRInaute occasionnel
Est ce que cette syntaxe serait bonne :
User-agent: *
Disallow: *partenaire=*

Pour permettre d'interdire à tous les moteurs de ne pas indexer les pages dont l'url contient partenaire=

Merci
Nicolas
 
WRInaute impliqué
Bonsoir
iconso est-ce que ta technique fonctionne pour du php ?
J'ai un système calcul de clique avec des pages du type goto.php?xxx.
Je ne souhaite pas gg et msn (surtout msn qui ne référence que ça :() continue sur ces pages. Sinon je boost les visites de manière non réaliste.
Est-ce que cela suffit :
User-Agent: *
Disallow:goto.php

Merci de vos réponses
 
WRInaute occasionnel
Oui, l'exemple était donné en ASPX, mais il est valable pour toutes les extensions de fichiers, et même les débuts d'extension normalement (je n'ai pas testé, mais un disallow: /page.php doit empecher le crawl de /page.php3 par exemple). Ces URLs pourront se trouver dans l'index, mais ne seront ni visitées, ni complètement indexées par GG (et ne pourront donc à priori réagir sur aucun mot clef)

Fred
 
WRInaute occasionnel
L'usage du Allow est même déconseillé, car il n'est pas forcément supporté par tous les robots.. Il vaut mieux raisonner ainsi : tout ce qui n'est pas interdit est autorisé, et donc se contenter du Disallow.

Fred
 
Nouveau WRInaute
Bonjour,

Le site commercial que je gère propose divers produits.
Le produit1 peut-être vendu de diverses manières :
- unitaire
- lot de 2
- lot de 3

Pour éviter le duplicate content, j'ai imaginé rendre visible à google les produits vendus à l'unité uniquement.

Pour cela, j'ai mis les lignes suivantes dans le robot.txt (pour cacher les produits vendus par lot) :
Code:
User-agent: *
Disallow: *produitA-lot2-france*
User-agent: *
Disallow: *produitA-lot2-autre*
User-agent: *
Disallow: *produitA-lot3-france*
User-agent: *
Disallow: *produitA-lot3-autre*
User-agent: *
Disallow: *produitB-lot3-france*
User-agent: *
Disallow: *produitB-lot3-autre*

Sachant que l'url est du type :
http://www.monsite.fr/produit-lot2-france

J'ai également mis en place un sitemap.xml qui contient la liste des produits que je veux afficher (à l'unité).

Est ce que la syntaxe dans robot.txt est ok ?
Avez-vous des suggestions à me faire ?
 
Discussions similaires
Haut