Protéger le fichier robots.txt

Bonjour,

Afin de protéger mon robots.txt des regards indiscrets, j'ai ajouté la ligne suivante
dans mon .htacess :

RewriteCond %{HTTP_USER_AGENT} Mozilla [NC]
RewriteRule ^robots.txt - [F]

ça fonctionne avec IE : on ne peut plus consulter le fichier.
Est-ce que cela risque de gêner les robots, style googlebot et autres ?

merci
 
bah, je sais pas... je pense que c'est plus sûr...
Certains répertoires contiennent des mots de passe non cryptés.

au aujet de la maison blanche -> ils interdisent le référencement de toutes les pages qui ont un rapport avec l'irak ;-)
 
Ethancarter a dit:
Certains répertoires contiennent des mots de passe non cryptés.
Ouch ! Voila ce qu'on appelle une _belle_ faille. Tu devrais davantage te soucier de sécuriser ces répertoires (à l'aide de .htaccess par exemple) que ton robots.txt

Tu es conscient que ce n'est pas parce que ton robots.txt sera "caché" que quelqu'un ne pourra pas accéder aux répertoires dont tu parles ? Enfin, ça peut te protéger face à un script kiddie (et encore !) mais face à quelqu'un qui a un minimum de bases... tu cours droit à la catastrophe.
 
Et surtout, si ton fichier robots.txt n'est pas accessible par le web, aucun robot ne pourra le lire. Tu peux tout aussi bien le supprimer !
 
En outre j'ajouterai que faisant une rule sur l'user agent est aisement contournable sans trop se fatiguer...
 
ADBD a dit:
Et surtout, si ton fichier robots.txt n'est pas accessible par le web, aucun robot ne pourra le lire. Tu peux tout aussi bien le supprimer !

Tu n'as pas lu ma question ! Il n'est pas accessible uniquement avec IE, pour un robot, pas de problèmes...du moins c'est ce que je pense et c'est justement l'objet de ma question..au fait l'a tu lue avant de répondre ? :(
 
wap a dit:
Ethancarter a dit:
Certains répertoires contiennent des mots de passe non cryptés.
Ouch ! Voila ce qu'on appelle une _belle_ faille. Tu devrais davantage te soucier de sécuriser ces répertoires (à l'aide de .htaccess par exemple) que ton robots.txt

Tu es conscient que ce n'est pas parce que ton robots.txt sera "caché" que quelqu'un ne pourra pas accéder aux répertoires dont tu parles ? Enfin, ça peut te protéger face à un script kiddie (et encore !) mais face à quelqu'un qui a un minimum de bases... tu cours droit à la catastrophe.

Oui, tu as raison. La plupart des dossiers sont protégés mais pas tous. Certains doivent rester accessibles de l'exterieur car ils contiennent des fichiers requis par des SSI.
 
wap a dit:
Ethancarter a dit:
Afin de protéger mon robots.txt des regards indiscrets, j'ai ajouté la ligne suivante
Simple curiosité, mais pourquoi tu veux le protéger des "regards indiscrets" ? Même la Maison Blanche ne le fait pas ;-)

Je ne veux pas UPER le topic mais elle était trop belle celle-la !!! :lol: :lol: :lol:
 

➡️ Offre MyRankingMetrics ⬅️

pré-audit SEO gratuit avec RM Tech (+ avis d'expert)
coaching offert aux clients (avec Olivier Duffez ou Fabien Faceries)

Voir les détails ici

coaching SEO
Discussions similaires
Haut