Petite question sur robots.txt

[moncheche]

Bonjour,

Les bots indexent toutes mes pages en utilisant des filtres de recherche sur mon site, résultat gros duplicata content 14000 pages au total.

Lorsque sur mon site il y a des filtres de recherche, un point d'interrogation se rajoute et l'url ressemble à ça :

http://www.monsite.com/ma-categorie.html?cat%16

Est-il possible, avec le fichier robots.txt, d'exclure de l'indexation toutes les pages qui commencent par http://www.monsite.com/ma-categorie.html? afin de réduire mon duplicata content et si oui, comment ?

Merci d'avance pour vos réponses.

Paulo
http://www.moncheche.com

 

[UsagiYojimbo]

Le plus simple serait de bloquer les paramètres en question.

 

[moncheche]

Bloquer les paramètres ? C'est a dire ? J'avais lu qu'une commande de robots.txt pouvez résoudre ce problème, ce n'est pas le cas ? Merci

 

[UsagiYojimbo]

Tu peux :

- Mettre en place une canonical vers tes url sans paramètres
- Bloquer les url à paramètres via l'ajout de disallow : Disallow:/*?param=

 

[moncheche]

Ok merci je vais essayer d'editer mon robots.txt.

Disallow:/*?param=

J'ai juste a ajouter cette ligne dans mon robots.txt et en principe aucune URL contenant le point d'interrogation ne sera indexé.
Désolé, je suis débutant et je découvre.

Merci en tout cas pour cette aide.

 

[UsagiYojimbo]

Non, il faut que tu remplaces le param et que tu fasses une ligne pour chacun des paramètres que tu veux bloquer.

Exemple :

User-agent:*
Disallow:/*?limit=
Disallow:/*?dir=
Disallow:/*&order=

 

[moncheche]

Ok super, je commence à comprendre ;-)

Dernière question : si je met juste ça, est-ce que ça arrêtera l'indexation de tout les paramètres ou dois-je spécifier chacun des paramètres comme dans ton exemple ?

User-agent:*
Disallow:/*?

Merci.

 

[_Soul]

C'est des regexs donc oui normalement