Robots.txt

[jordan]

2 petites questions:

1. est-ce que ça vaut la peine de mettre un fichier robots.txt à la base de mon site si je veux que toutes les pages soient indexées, par tous les robots?

2. Si la réponse est oui, est ce que le contenu de ce fichier doit être le suivant? :

User-Agent: *
Disallow:

 

[MetalSeb]

Non, il sert juste à restreindre l'accès. Si tu veux tout autoriser, ça ne sert à rien d'en mettre un.

 

[jeanluc]

+1

MetalSeb a tout dit en une ligne!

Jean-Luc

 

[lapi]

ouais un robot.txt sert a limité l'accès aux robot "pirates" et pour la petite information il faut mettre a l'abrit tes infos sécrètes donc limiter l'accès à tes dossier et fichiers "intimes"

 

[jeanluc]

ouais un robot.txt sert a limité l'accès aux robot "pirates" et pour la petite information il faut mettre a l'abrit tes infos sécrètes donc limiter l'accès à tes dossier et fichiers "intimes"

Désolé, mais robots.txt ne sert pas à ça.

robots.txt n'empêche pas l'accès des robots hostiles, mais il permet de communiquer avec les robots de bonne volonté qui respectent ses instructions. Les robots spammeurs et autres pirates ne respectent pas ses instructions.

En aucun cas, il ne faut essayer de protéger des informations sensibles avec robots.txt. Le mieux est de les mettre hors de portée du serveur web ou d'utiliser .htaccess, par exemple.

Jean-Luc

 

[lapi]

merci pour la précision jean luc

 

[birkoss]

Aussi ca évite d'avoir des erreurs 404 dans ses logs quand les robots tentent d'y accéder...

Même si je permet toutes l'indexation, je le met quand même pour éviter cela.

 

[serval2a]

Oui mais tu peux tout autant le laisser vide

 

[lapi]

mais quand il est vide il laisse le choix à la configuration par defaut du robot

 

[jordan]

merci les gars