Interdire le crawl d une partie du site

[T-aimi]

Bonjour,

J ai un site internet dans le domaine de la rencontre depuis 2012, et je cherche a ameliorer son referencement naturel (le site s est mangé un pingouin en 2013 apres un beau début) : www.t-aimi.fr .

J ai pris quelques avis et tous sont d'accord : mes pages en no-index (les profils) soit 99% du site me porte préjudice notament au niveau du crawl car mes pages interessantes du coup ne doivent pas etre crawler souvent. J ai mis ces pages en no index il y a 2 ans car le contenu est pauvre et tres repetitif mais ce sont les pages qui interessent le plus les internautes donc je souhaite les laisser en acces libre.

Si je mets ceci dans mon robot txt :

User-agent: *
Disallow: /profile/
Disallow: /membres/

Est ce que c est bien bon pour empecher le crawl de cette partie du site, les profils ayant une url en /profile/blablabla et les pages d affiches des profils en /membres/blabla

Je ne voudrais pas faire de bourde.

merci

 

[rick38]

Oui. Cela dit je ne pense pas que ça changera quelque chose par rapport aux noindex, Google sait reconnaître les pages qui ont besoin d'être souvent crawlées (= pages qui ont du contenu mis à jour depuis le dernier crawl).