Nouvelle publication et robots.txt

[geba]

Bonjour,

Je souhaiterais mettre en ligne un nouveau projet et en interdire l'accès aux robots le temps de sa mise au point et des derniers réglages. Le fichier robots.txt me semble tout à fait indiqué. Mais quand je déciderai d'ouvrir le site en modifiant le robots.txt, l'indexation se déroulera t'elle alors normalement ? Sans tenir compte du verrouillage antérieur ?

Merci de votre éclairage.

 

[hardmicro]

oui car même si les robots ne passe pas tout le temps dans le fichier robots.txt pour vériffier une fois qu'ils verras qu'il est autorisé a crawler tes pages ils le fera normalement.

 

[geba]

Merci de ta réponse rapide de si bon matin. C'est bien ce que j'imaginais, mais avec le référencement on a toujours un peu la pétoche. Bonne journée.

 

[hardmicro]

Merci de ta réponse rapide de si bon matin. C'est bien ce que j'imaginais, mais avec le référencement on a toujours un peu la pétoche. Bonne journée.

Mdr ces jours-ci je suis un couche tard et d'ailleurs aujourdhui c'est la nuit blanche, j'ai un serveur à configuré, je rencontre quelques pb sur les DNS.

Bonne matinée plutot :wink: :roll:

 

[spationaute-troglodyte]

oui car même si les robots ne passe pas tout le temps dans le fichier robots.txt pour vériffier une fois qu'ils verras qu'il est autorisé a crawler tes pages ils le fera normalement.

détrompe toi c'est la page la plus visitée d'un site web
yahoo par exemple y passe systématiquement
google quelques fois par jour et souvent avec un bot différent