Referencement des fichiers backend, bon ou mauvais?

WRInaute occasionnel
Bonjour,

Depuis un mois j'ai mis en ligne un site web avec la possibilité d'avoir les derniers articles du site par flux rss. J'ai vu que google avait indéxé les différents fichiers backend.

Exemple: ***/backend.php3?id_rubrique=12

Aussi, je me demandais si il fallait interdire aux robots d'indexer ces pages car ses pages ressemblent à une accumulation de mots clefs ou a une copie des articles du site.

Une règle dans le fichier robots.txt du genre:
User-agent: *
Disallow: /backend.php3
vous semble t'elle bonne et justifiée?

Merci d'avance :)
 
WRInaute discret
Je pense pas que ce soit bon... Le disallow empechera peut-être certains moteurs d'afficher le lien "RSS" qui correspond à ton site (comme Yahoo) et ça pourra empêcher des moteurs de fichiers RSS de trouver tes flux (comme Yahoo dans Mon Yahoo!)

Donc je pense pas qu'interdire le référencement des flux rss soit très bon...
 
Discussions similaires
Haut