Trop de restriction dans le robots.txt

[dreadstock]

Bonjour à tous,

J'ai un problème de duplicate content, que je n'arrive pas à résoudre avec les redirections, ma dernière solution est donc de mettre toutes les urls que je ne veux pas indexer dans le robots.txt
Exemple :

http://www.example.com/ville/12.html
http://www.example.com/ville/13.html
http://www.example.com/ville/14.html
http://www.example.com/ville/15.html
http://www.example.com/ville/16.html
http://www.example.com/ville/17.html
http://www.example.com/ville/18.html

J'ai au moins 500 liens à mettre dans le robot txt.
J'aurais pu faire : Disallow: /ville/ mais c'est pas possible, car la page que je souhaite indexer dans GG est http://www.example.com/ville/12-appartement-a-vendre-en-paca/

Voila. Etant donné que c'est la seule solution que j'ai trouvé (du moins pour mes petites compétences en dév), pensez vous que mettre autant d"url dans le robot ne va pas me pénaliser vis à vis de GG ? Par ailleurs, si quelqu'un à une autre solution, je suis preneur.
Pour info : la balise rel-canonical, j'ai essayé, je travaille avec joomla, je peux pas, le htaccess, je vois pas comment, la redirection 301 directe dans la page , je peux pas à cause de joomla

Merci par avance

 

[Madrileño]

Il existe des URL prévues pour donner des exemples: "example.com" ou encore "example.net" (avec un "a").

 

[UsagiYojimbo]

Pourquoi ne pas mettre la meta robots à noindex,follow dans les pages que tu ne veux pas indexer ?

 

[dreadstock]

Pourquoi ne pas mettre la meta robots à noindex,follow dans les pages que tu ne veux pas indexer ?

Oui j'y avait aussi pensé, mais je travaille avec joomla et je ne crois pas qu'il soit possible de modifier les pages unes par unes.

 

[dreadstock]

Il existe des URL prévues pour donner des exemples: "example.com" ou encore "example.net" (avec un "a").

Merci, mais je ne comprends pas bien pourquoi utiliser cela ?

 

[Leonick]

Merci, mais je ne comprends pas bien pourquoi utiliser cela ?

pour éviter de faire des BL gratos à monsite qui existe aussi bien en .fr (renvoie sur les pagesjaunes) qu'en .com

 

[dreadstock]

A bien vu , je ne connaissais pas ! merci /

 

[UsagiYojimbo]

Pourquoi ne pas mettre la meta robots à noindex,follow dans les pages que tu ne veux pas indexer ?

Oui j'y avait aussi pensé, mais je travaille avec joomla et je ne crois pas qu'il soit possible de modifier les pages unes par unes.

C'est un CMS, c'est le genre de problématique qu'ils gèrent, que ce soit en natif ou en utilisant de bons plugins.

Genre : http://extensions.joomla.org/extensions/site-management/seo-a-metadata/7124

 

[dreadstock]

Malheureusement l'extension ne me permet pas de faire cela.

Je vais être obligé de mettre mes 500 liens dans le robots.txt. J'espère que ca pas gêner google bot. Avez vous une idée ?

Merci

 

[cedric_g]

Et euh... filtrer dans ton robots.txt les URL répondant à /ville/*.html ?

 

[dreadstock]

Oh j'ai pire, après vérification, c'est bien plus grave que prévu. derrière l'ID je peux mettre n'importe quoi cela ramène à chaque fois sur le même bien. J'ai jamais vu ca.

Exemple le même bien est accessible sur les urls suivantes :

www.example.com/ville1/21.html
www.exemple.com/ville1/region1/21.html
www.exemple.com/ville2/region2/21.html

www.example.com/ville1/21
www.exemple.com/ville1/region1/21
www.exemple.com/ville2/region2/21

et en mettant n"importe quoi derrière le 21 example :
www.example.com/ville1/21^poiuy
www.exemple.com/ville1/region1/21lkjh
www.exemple.com/ville2/region2/21fglkj

ca pour chaque bien. Autant vous dire que je suis mal .

 

[dreadstock]

Pourquoi ne pas mettre la meta robots à noindex,follow dans les pages que tu ne veux pas indexer ?

Oui j'y avait aussi pensé, mais je travaille avec joomla et je ne crois pas qu'il soit possible de modifier les pages unes par unes.

C'est un CMS, c'est le genre de problématique qu'ils gèrent, que ce soit en natif ou en utilisant de bons plugins.

Genre : http://extensions.joomla.org/extensions/site-management/seo-a-metadata/7124

Je te remercie cette solution est magnifique ! merci pour le composant !