Répertoires dans robots.txt

WRInaute accro

Bonjour
Ma question est simple:

Dans l'aide de Wri sur la syntaxe du fichiers robots.txt les répertoires figurent sans slashe ( / ) à la fin du pathname.

Est-il possible ou souhaitable d'écrire, par exemple:
Code:
User-agent: *
Disallow: /images/
Disallow: /robotstats/
au lieu de:
Code:
User-agent: *
Disallow: /images
Disallow: /robotstats
Cette dernière option est celle indiquée dans l'aide de Wri, mais n'est-il pas plus facile aux crawlers, de distinguer un répertoire d'un fichier, s'il se termine par un slashe ?

Merci beaucoup de vos réponses.

Jean Francois Ortolo

 
WRInaute accro

Bonjour WebRankInfo

J'ai regardé ce fichier robots.txt de google.com , et il y a les deux: Avec et sans slashes pour les directories.

C'est vrai que j'aurais mieux fait de regarder avant de poser ma question, je ne savais pas que le fichier apparaitraît directement.

Merci beaucoup de ta réponse.

Jean Francois Ortolo

 
Discussions similaires
Haut