Faut-il toujours éditer un fichier robots.txt

[Inès d.]

Bonjour,

Je suis en train de réaliser une refonte de site. Toutes les pages du site peuvent être indexées. Il n'y a pas de restriction particulière. Dans ce cas, est-il nécessaire d'éditer un fichier robots.txt ?

Merci pour votre aide !

 

[UsagiYojimbo]

Ca évite quelques 404, vu que pas mal de robots ou de moteurs de recherches testent son existence.

 

[Inès d.]

C'est noté. Merci !

 

[jcaron]

A moins que tu ne consultes tes logs à la recherche de 404, ce n'est pas gênant en soi: ils vont venir, ils vont se prendre un 404, et ils ne vont pas aller plus loin.

Sinon tu peux mettre un robots.txt vide si tu préfères.

Jacques.

 

[Inès d.]

Mais si les robots recoivent une erreur 404, il ne vont pas visiter le site ? et du coup pas indexer les pages ?

 

[jeanluc]

Mais si les robots recoivent une erreur 404, il ne vont pas visiter le site ? et du coup pas indexer les pages ?

Non, ils vont conclure que, si tu n'as pas créé de robots.txt, c'est que tu souhaites qu'ils visitent toutes les pages.

Jean-Luc

 

[Inès d.]

Donc, le fichier robots.txt n'est pas nécessaire dans mon cas.

Merci pour toutes ces précisions. Comme je débute, tout est loin d'être clair pour moi