Comment interdire le crawl des pages de faibles valeurs (Noindex ; Nofollow ; Disallow ?)

[thomask]

Lors de crawl sur mon site, je me suis rendu compte que j'avais presque 30 000 pages, pour seulement 6 000 produits.

Pour chacun de mes articles, plusieurs url sont créés : recommandé produit X à un ami, détail de livraison pour produit X, vous avez à une question sur produit X, etc...

Ces nouvelles pages sont spécifiques à chaque produit d'où mes 30 000 pages.

En plus d'être nombreuses elles sont très pauvres et impactent la qualité moyenne de mon site et son budget crawl.

Je veux les cacher aux yeux de Google définitivement.

Comment faire ?

Es-ce que si j'utilise les balises "noindex" et "nofollow" pour les liens concernés suffit ou dois-je également utiliser l'attribut "disallow" dans le robot.txt (que je ne maîtrise pas vraiment).

 

[karak]

Hello,

Le robots.txt permet d'interdire le crawl
L'attribut nofollow sur un lien indique à Google de ne pas transmettre de popularité au lien
Le balise meta robots noindex indique à Google de ne pas indexer une page
Une page en noindex sera généralement moins souvent crawlée que les pages indexées

J'espère que ces informations te seront utiles.

 

[yule]

J'espère que ces informations te seront utiles.

Sinon un peu de lecture

Courage :wink:

 

[thomask]

Hello,

Le robots.txt permet d'interdire le crawl
L'attribut nofollow sur un lien indique à Google de ne pas transmettre de popularité au lien
Le balise meta robots noindex indique à Google de ne pas indexer une page
Une page en noindex sera généralement moins souvent crawlée que les pages indexées

J'espère que ces informations te seront utiles.

J'espère que ces informations te seront utiles.

Sinon un peu de lecture

Courage :wink:

Merci pour vos réponses. J'avais lu cet article et ce genre d'information. Mais comme je ne maîtrise pas le robot.txt et que je ne veux pas prendre le risque de me saborder, je voulais savoir si ajouter disallow pour les liens concernés était essentiel ou non.

J'ai l'impression que oui...