URL RW et Desindexage

WRInaute discret
salut,
j'ai lu une news sur le referencement recement et je n'ai pas compris la désindéxation de page.
j'ai un site avec de l'url rewriting, et j'ai donc des pages qui sont accéssible via une url du type :
h*tp://w**.domaine.com/annonce_communique.html

mais l'adresse qui lui correspond sans URL RW
h*tp://w**.domaine.com/main/annonce/index.php

1- est elle indexé? je n'ai pas mis de robot.txt a la racine et je ne comprend pas comment dire de ne pas indexer le fichier index qui est dans le dossier annonce.
2- désindexer ce dossier ne risque-t-il pas de bloquer google pour voir ma page avec l'url reecrite?

merci de votre aide :)
 
WRInaute occasionnel
Si tu ne dis pas aux robots de ne pas indexer la deuxième URL, tu auras deux pages de contenu identique avec deux URL différentes donc risque de "duplicate content".

Pour savoir comment faire un fichier robots.txt et savoir quoi mettre dedans, je te conseille l'outil de recherche rouge en haut à droite de la cette page.

1/ Si tu ne fais pas cela, tes deux pages seront indexées.
2/ Ne t'en fais pas, même si tu interdis aux robots de venir voir tes URL de type h*tp://w**.domaine.com/main/annonce/index.php, les autres de ce type h*tp://w**.domaine.com/annonce_communique.html seront quand même indexées.
 
WRInaute occasionnel
Pour te faciliter la tache voila ce qu'il faut que tu mettes dans le fichier robots.txt placé à la racine de ton site pour que les robots n'ayent pas voir ce qu'il y a dans ton répertoire annonce :
Code:
User-agent: *
Disallow: /main/annonce
 
WRInaute discret
il est possible sinon d'indiquer a appache d'interdir le listage des dossier.
L'effet est le meme ?
 

➡️ Offre MyRankingMetrics ⬅️

pré-audit SEO gratuit avec RM Tech (+ avis d'expert)
coaching offert aux clients (avec Olivier Duffez ou Fabien Faceries)

Voir les détails ici

coaching SEO
Haut