Fonctionnement robots.txt

[wbjs]

Bonjour,

J'aimerais avoir des renseignements sur le fonctionnement du robots.txt, s'il vous plaît.

Je souhaite que tous les moteurs indexent toutes les pages de mon site : mettre un robots.txt vide avec juste le lien vers le sitemap.xml est-il correct ou faut-il mettre :

User-agent: *
Sitemap: http://example.com/sitemap.xml

ou

User-agent: *
Disallow:
Sitemap: http://example.com/sitemap.xml

ou encore

User-agent: *
Allow: /
Sitemap: http://example.com/sitemap.xml

Je vous remercie.

 

[UsagiYojimbo]

Ta 3e solution (même si perso je ne met jamais le sitemap dans le robots.txt, vu que je le soumet à part dans les outils webmaster des moteurs de recherche qui m'intéressent).

 

[WebRankInfo]

je te conseille un fichier robots.txt VIDE, et d'aller déclarer ton sitemap dans Search Console (en le changeant de nom par discrétion)
si besoin, lis mon article sur le fonctionnement du robots.txt et mes conseils sur les sitemaps

 

[wbjs]

Merci pour vos réponses.

Faut-il obligatoirement mettre un robots.txt vide ou ne pas en mettre revient au même, s'il vous plaît ?

Je peux donc soumettre le sitemap à Google et Bing, on ne peut pas pour les autres moteurs de recherche ? ça ne pose pas de problème pour le référencement sur les autres moteurs ?

 

[WebRankInfo]

avoir un robots.txt vide ou ne pas en avoir revient au même pour le SEO : tu autorises tout.
mettre un fichier en ligne même vide évite d'avoir des erreurs 404 une ou plusieurs fois par jour dessus

oui, tu peux vivre sans sitemap et avoir un bon référencement. Relis mon tuto sur le sitemap, tu verras !