Sitemap, robots.txt et url rewriting

[alexdezark]

Bonjour à tous,

J'utilise une redirection dans un htaccess pour masquer à l'utilisateur un nom de répertoire dans la barre d'adresse du navigateur.

Au lieu d'afficher : http://www.monsite.com/site/genre1/page.php
j'affiche : http://www.monsite.com/genre1/page.php

Dans mon htaccess j'ai :

RewriteEngine On
RewriteCond %{REQUEST_URI} !^/(site|js|medias|css|images)/
RewriteRule ^(.*)$ /site/$1 [L]

Je voudrais savoir comment doit être rédigé mon sitemap pour que les moteurs de recherche trouvent les pages indiquées.

Les moteurs de recherche appliquent-ils les règles énoncées dans le htaccess ?

Et dans mon fichier robots.txt si je veux empêcher l'exploration du repertoire '/js', est-ce que la ligne

Disallow: /js/

sera bien la ligne à écrire ?

Merci d'avance pour vos réponses.

 

[forty]

"Disallow: /js/" ne sert que pour les robots qui lisent le fichier robots.txt : c'est pas valable pour les utilisateurs ou les aspirateurs, spammeurs, ...

sinon les règles htaccess s'appliquent à tous (sauf condition particulière).

Pour éviter de voir le contenu d'un répertoire, tu peux utiliser l'une des méthodes suivante :
- mettre un fichier index.php vide dans le répertoire (ou avec seulement une redirection vers la racine)
- utiliser la directive apache dans le htaccess :

Options -Indexes

 

[alexdezark]

Bonjour Forty,

Merci de ta réponse.

Je crois savoir que Options -Indexes empêche de lister le contenu de tous les répertoires, est-ce cela ?

Donc si je met ça dans mon htaccess à la racine du site cela va-t-il aussi empêcher les moteurs de recherche de référencer le contenu de mon répertoire '/site' qui est celui que je veux que les moteurs explorent ?

faut-il placer cette ligne dans un htaccess dans chaque répertoire dont on veut interdire l'exploration ?

Je ne comprend pas bien non plus pourquoi le fait de placer un index.php vide dans un répertoire va empêcher son exploration ?

Merci d'avance pour ces éclaircissements

 

[forty]

Options -Indexes permet d'empêcher de voir le contenu d'un répertoire quand il n'y a pas de fichier index (évite d'afficher la liste des fichiers du répertoire). Ca n'empêche pas d'accéder directement à l'un des fichiers du répertoire.

Si l'option Indexes n'est pas supprimée, apache affiche le contenu du fichier index.php ou index.html s'il existe. C'est donc une bonne solution pour contrôler l'affichage que tu va avoir en appelant -http://www.tonsite/js/

Sinon si tu veux empêcher de voir le contenu des fichiers .js : c'est quasiment impossible s'ils sont utilisés sur ton site.