|
Voir le sujet précédent :: Voir le sujet suivant
|
| Auteur |
Message |
| |
|
midnightfr
WRInaute passionné
Inscrit le: 12 Mar 2004
Messages: 526
|
 Posté le : Lun Sep 20, 2004 10:38 Sujet du message: utilisation de robots.txt pour bloquer les pages dynamiques |
|
|
Bonjour,
Comment est il possible de bloquer les robots sur des pages avec un ? (parametre) pour que google ne les prennent pas comme un contenu dupliqué de mes pages rendues statiques avec de l'url rewriting? |
|
| |
|
 |
midnightfr
WRInaute passionné
Inscrit le: 12 Mar 2004
Messages: 526
|
| Posté le : Lun Sep 20, 2004 11:33 Sujet du message: utilisation de robots.txt pour bloquer les pages dynamiques |
|
|
Je voulais dire en fait, est il possible d'utiliser des expressions regulieres dans robots.txt?
Merci |
|
| |
|
|
lou
WRInaute impliqué
Inscrit le: 09 Mai 2004
Messages: 477
|
| Posté le : Lun Sep 20, 2004 12:22 Sujet du message: utilisation de robots.txt pour bloquer les pages dynamiques |
|
|
| non mais il suffit de mettre des règles dans ton .htaccess pour que les ? renvoi vers les pages UR avec un code 301 |
|
| |
|
|
midnightfr
WRInaute passionné
Inscrit le: 12 Mar 2004
Messages: 526
|
| Posté le : Lun Sep 20, 2004 17:16 Sujet du message: utilisation de robots.txt pour bloquer les pages dynamiques |
|
|
Non, ta solution n'est pas bonne, je veux faire cette redirection, ou une autre maniere d'enlever ce paramètre, pour Google et non pas pour tout le monde.
Faire ca dans le .htaccess me le ferait pour tout les internautes. |
|
| |
|
|
jeroen
WRInaute accro
Inscrit le: 30 Aoû 2002
Messages: 2289
|
| Posté le : Lun Sep 20, 2004 20:10 Sujet du message: utilisation de robots.txt pour bloquer les pages dynamiques |
|
|
Moi pas compendre...
Si tu fais de l'UR, les internautre arriveront par des pages rewritées...
Seuls les moteurs ayant les pages dans leur index tomberont sur le .htaccess ...
Non ?? |
|
| |
|
|
Erazor
WRInaute accro
Inscrit le: 14 Fév 2004
Messages: 5187
|
| Posté le : Lun Sep 20, 2004 21:08 Sujet du message: utilisation de robots.txt pour bloquer les pages dynamiques |
|
|
| midnightfr a écrit: |
Non, ta solution n'est pas bonne, je veux faire cette redirection, ou une autre maniere d'enlever ce paramètre, pour Google et non pas pour tout le monde.
Faire ca dans le .htaccess me le ferait pour tout les internautes. |
en gros tu veux montrer une chose différente aux internautes et aux moteurs
 tu rentres dans le coté obscur |
|
| |
|
|
iconso
WRInaute impliqué
Inscrit le: 08 Avr 2003
Messages: 443
Localisation: Loire Atlantique
|
| Posté le : Mar Sep 21, 2004 3:41 Sujet du message: Re: utilisation de robots.txt pour bloquer les pages dynamiq |
|
|
| midnightfr a écrit: |
| Comment est il possible de bloquer les robots sur des pages avec un ? (parametre) |
Mets le nom de ta page.extension tout court, et toutes les déclinaisons paramétrées ou non seront bloquées. Par exemple une page -http://www.site.com/rep/page.aspx?param1=aaa¶m2=bbb peut être bloquée pour les robots quels que soient les paramètres en ajoutant une ligne contenant ceci dans ton robots.txt :
Disallow: /rep/page.aspx
Si tu veux autoriser la page sans paramètre mais bloquer avec, tu peux mettre :
Disallow: /rep/page.aspx?
Fred |
|
| |
|
|
midnightfr
WRInaute passionné
Inscrit le: 12 Mar 2004
Messages: 526
|
| Posté le : Mar Sep 21, 2004 10:17 Sujet du message: utilisation de robots.txt pour bloquer les pages dynamiques |
|
|
| Citation: |
en gros tu veux montrer une chose différente aux internautes et aux moteurs
Evil or Very Mad tu rentres dans le coté obscur |
Non, vous avez pas compris
Je m'explique :
J'ai deja de l'url rewriting en place, les pages php ne sont pas accessible pour personne ca y a pas de pb.
Néanmoins, pour du partenariat, j'ai des urls avec un parametre correspondant au partenaire.
Si google enregistre ces urls( venant de partenaires avec un parametre) elles seront présentes dans l'index, et dans les resultats et ces visites seront attribuées aux partenaires alors que c'est une visite de google,(jusque la vous comprenez?)
Pour l'instant je cache donc ces parametres avec du cloaking.
Je cherche donc un moyen pour ne pas cloaker, de cacher automatiquement n'importe qu'elle url de mon site (pas une page en particulier) qui présente un parametre de type ?partenaire=xx
voila, je pense avoir été plus clair 
[/quote] |
|
| |
|
|
Erazor
WRInaute accro
Inscrit le: 14 Fév 2004
Messages: 5187
|
| Posté le : Mar Sep 21, 2004 11:35 Sujet du message: utilisation de robots.txt pour bloquer les pages dynamiques |
|
|
| j'ai été succint alors précision : j'ai compris ton truc mais "l'enfer est quelques fois pavé de bonnes intentions". Pour moi il est dangereux de ne pas montrer la même chose au moteur / internautes. Dans ton cas ce n'est pas une "triche" mais soit sur que GG va etre d'accord avec ça.J'ai un doute peut etre a tort |
|
| |
|
|
midnightfr
WRInaute passionné
Inscrit le: 12 Mar 2004
Messages: 526
|
| Posté le : Mar Sep 21, 2004 11:57 Sujet du message: utilisation de robots.txt pour bloquer les pages dynamiques |
|
|
| c'est pour ca que je veux remplacer mon cloaking par une utilisation de robots.txt |
|
| |
|
|
midnightfr
WRInaute passionné
Inscrit le: 12 Mar 2004
Messages: 526
|
| Posté le : Mar Sep 21, 2004 14:37 Sujet du message: utilisation de robots.txt pour bloquer les pages dynamiques |
|
|
Est ce que cette syntaxe serait bonne :
User-agent: *
Disallow: *partenaire=*
Pour permettre d'interdire à tous les moteurs de ne pas indexer les pages dont l'url contient partenaire=
Merci
Nicolas |
|
| |
|
|
midnightfr
WRInaute passionné
Inscrit le: 12 Mar 2004
Messages: 526
|
| Posté le : Mar Sep 21, 2004 15:45 Sujet du message: utilisation de robots.txt pour bloquer les pages dynamiques |
|
|
| svp! aidez moi! |
|
| |
|
|
iconso
WRInaute impliqué
Inscrit le: 08 Avr 2003
Messages: 443
Localisation: Loire Atlantique
|
| Posté le : Mer Sep 22, 2004 21:34 Sujet du message: utilisation de robots.txt pour bloquer les pages dynamiques |
|
|
midnightfr : as-tu lu mon message un peu plus haut ???
Fred |
|
| |
|
|
Jeff-44
WRInaute passionné
Inscrit le: 03 Sep 2004
Messages: 594
Localisation: Nantes
|
| Posté le : Lun Fév 21, 2005 20:17 Sujet du message: utilisation de robots.txt pour bloquer les pages dynamiques |
|
|
Bonsoir
iconso est-ce que ta technique fonctionne pour du php ?
J'ai un système calcul de clique avec des pages du type goto.php?xxx.
Je ne souhaite pas gg et msn (surtout msn qui ne référence que ça  ) continue sur ces pages. Sinon je boost les visites de manière non réaliste.
Est-ce que cela suffit :
User-Agent: *
Disallow:goto.php
Merci de vos réponses |
|
| |
|
|
iconso
WRInaute impliqué
Inscrit le: 08 Avr 2003
Messages: 443
Localisation: Loire Atlantique
|
| Posté le : Lun Fév 21, 2005 20:39 Sujet du message: utilisation de robots.txt pour bloquer les pages dynamiques |
|
|
Oui, l'exemple était donné en ASPX, mais il est valable pour toutes les extensions de fichiers, et même les débuts d'extension normalement (je n'ai pas testé, mais un disallow: /page.php doit empecher le crawl de /page.php3 par exemple). Ces URLs pourront se trouver dans l'index, mais ne seront ni visitées, ni complètement indexées par GG (et ne pourront donc à priori réagir sur aucun mot clef)
Fred |
|
| |
|
|
| |
|
|
