A quoi sert le fichier robot.txt

[PABLO22]

j aimerais savoir a quoi sert ce fichier et si c est indispensable ??
si oui comment le configurer

 

[maetga]

Comme je n'ai aucune interdiction à indiquer aux robots j'ai mis un fichier robots.txt vide, il parait que c'est mieux car son absence génère une erreur 404

 

[jeanluc]

Bonjour,

D'abord, c'est robots.txt. Tu trouveras des infos dans cette page : https://www.webrankinfo.com/dossiers/indexation/20-ans-robots-txt .

Pour maetga, je ne vois pas l'intérêt de mettre un fichier vide si ce n'est d'embellir tes stats. Du point de vue du robot, le fait de mettre un fichier même vide oblige le robot à le lire, à l'analyser et à constater qu'il est vide, donc perte de temps par rapport à un code 404.

Jean-Luc

 

[Thierry Bugs]

Tu fais un robots text particulièrement pour interdire des pages ou des répertoires, ça sert bien quand tu as changés de nom des pages, pour interdire des répertoires de photos, des objets flash...
Maetga a raison de dire que certains moteur ne trouvant pas de robots text génèrent une erreur 404.
D'ailleurs puisque tu es dans le robots text profites en pour faire un htaccess (pour rediriger les erreurs 404 vers accueil ou vers ton plan du site par exemple)

 

[pene-r]

Salut :wink: ,
Le robots.txt sert à dire au robot qu'elle partie du site il peut indexer et qu'elle partie il ne doit pas indexer (je ne sais pas si les robots, s'interdisent quand même la visite des pages ou fichiers :roll: ).
quelques sujets de lecture:
FAQ WRI

Pablo22, attention à bien nomer le fichier : robots.txt (avec un s à robots)
Tu peux même éditer ton titre, ça évitera peut être des confusions.
@+

Excusez la répétition, me suis fait griller, par Jean-luc et thierry :?

 

[PABLO22]

thierry bugs

meric de ton conseil
Peux tu m expliquer comment au fait cet htacess ???

 

[e-kiwi]

perso j ai jamais mis de robots.txt sur un site