robot.txt et les répertoires!!!

WRInaute discret
Bonjour,

Est il judicieux de faire un fichier robot.txt pour interdire l'accès à un répertoire
de mon site même si à aucun moment je ne mentionne le chemin de ce répertoire
sur mes pages.

En gros, un Disallow: web/conf/ qui est le répertoire de configuration de mon site (avec des pages en .php) est t-il necessaire ou alors juste un Disallow: web/admin/ pour l'administration.

Sinon peut-on créer un robot.txt insitant les robots à visiter une (ou plusieurs) page(s) en particulier.

merci d'avance...
 
WRInaute discret
Bonjour,

Oui, il est judicieux de l'écrire quand même ! J'ai pas mal de robots qui essayent d'accéder sur mon site à des répertoires qui n'existent même pas, alors si en plus ils existent... Le fait de le mettre dans le robots.txt ( s'il est utilisé par le robot ) les empèchera de parcourir le contenu.

Il n'existe pas de manière d'inciter les robots à visiter un page avec le robots.txt.

a+
 
Olivier Duffez (admin)
Membre du personnel
comme à chaque fois je ramène ma fraise pour préciser qu'il s'agit du fichier robots.txt (avec un S).
pour ceux qui l'ignorent (je dois refaire les menus de ce site...), il existe un article sur les Robots sur WRI, avec une FAQ...
 
WRInaute discret
Merci WebRankInfo pour l'info sur le lien... je fonce tout de suite voir FAQ Robots :wink:

Sinon c'est bien du robots.txt (avec un "s") dont je voulais parler... Merci!!!

Ah! pendant que je peux te parler... pourquoi dans le robots.txt du site de WRI
il y a çà:

User-agent: TurnitinBot
Disallow: /

Si j'ai bien compris c'est pour éviter ce robot... pourquoi :?:
 
WRInaute discret
TurnitinBot fait le tour des sites apparemment pour "vérifier des droits d'auteur" par rapport aux étudiants, enfin c'est ce que j'ai comris.

Donc, ça ne te ramènera rien comme audience. Si tu n'as rien avoir avec les étudiants et leur travail, tu peux donc interdire à TurnitinBot de venir. Il respecte trés bien cette consigne.
 
WRInaute discret
C'est bon à savoir...

Petit confirmation:

Si je mets Disallow: web/pub/ celà interdit l'accès à tous les fichiers dans ce répertoire donc pas besoin de faire Disallow: web/admin/bannière.php et ainsi de suite pour toutes les pages de ce repertoire (sauf si je ne veux supprimer que cette adresse)
 
Olivier Duffez (admin)
Membre du personnel
sauf que web/admin n'est pas inclus dans web/pub !!! donc attention...
ceci dit le plus sûr pour les zones d'admin reste d'utiliser les fichiers .htaccess et .htpasswd (cf rubrique Articles)
 
WRInaute discret
Oups!!!

WebRankInfo a dit:
sauf que web/admin n'est pas inclus dans web/pub !!! donc attention...

Un copier/coller mal géré... je voulais dire :
Si je mets Disallow: web/pub/ celà interdit l'accès à tous les fichiers dans ce répertoire donc pas besoin de faire Disallow: web/pub/bannière.php et ainsi de suite pour toutes les pages de ce repertoire (sauf si je ne veux supprimer que cette adresse)

Sinon pour l'admin, pas de problème je sais que les fichiers .htaccess et .htpasswd sont de rigueur.
 
Discussions similaires
Haut