Interaction robots.txt , réecriture d'url

[pio]

Bonjour à tous.

Je suis autodidacte donc à la rue
Apres maintes recherches il y a toujours un point qui m'échappe au niveau du robots.txt
J'aimerais faire interdire l'indexation de tous les scripts de mon site qui sont réunis dans un dossier. Ceci dans le but paranoîaque de ne pas dévoiler l'arborescence du site dans le robots.txt

Genre
USER:*
Disalow: /repertoire-principale/

et donc de permettre que l'indexation du fichier index, qui est à la racine, au même niveau que le répertoire principal qui contient les scripts, les templates, les styles, les images, l'admin... tout quoi.

Seulement, il y a des pages qui sont à l’intérieur de ce répertoire principal qui doivent être indexée mais dont les url sont réécrites

Genre
RewriteRules ^ma-page-a-indexee-réecrite-$ repertoire-principal/sous-dossier/script.php?var=$1&... [L]

Donc ma question:
est ce que l'url réécrite de la page sera quand même indexée si j'interdis du coté du robots.txt l'indexation du script ?

Je pense que c'est une question de débutant mais je bute

Merci

 

[jeanluc]

Bonjour,

En bref, robots.txt ne se préoccupe pas des fichiers. Pour lui, seules comptent les URL.

Fais gaffe à la syntaxe exacte sinon tu auras des mauvaises surprises dans robots.txt :

USER:*
Disalow: /repertoire-principal/

n'aura aucun effet.

Par contre :

User-agent: *
 Disallow: /repertoire-principal/

interdira toutes les URL commençant par http://www.ton_site.com/repertoire-principal/ (donc http://www.ton_site.com/repertoire-principal/bidouille.php sera aussi interdit).

J'espère que cela clarifie les choses.

Jean-Luc

 

[pio]

Ok c'est ce que je voulais savoir.

Merci pour la rectification du code mais je l'ai tapé à la va vite

Est ce que c'est une pratique courante de faire ce que j'ai cité plus haut, ou c'est plutôt déconseillé ?
(mal vu par les moteurs genre google, ou autre chose qui m'échappe )

Est ce qu'il y en a qui réécrive l’accès au robots.txt ?
Genre:

RewriteRules ^robots.txt$  robots.php [L]

pour y faire un filtrage par exemple.