Fonctionnement robots.txt

Discussion dans 'Débuter en référencement' créé par wbjs, 19 Août 2016.

  1. wbjs
    wbjs Nouveau WRInaute
    Inscrit:
    19 Août 2016
    Messages:
    2
    J'aime reçus:
    0
    Bonjour,

    J'aimerais avoir des renseignements sur le fonctionnement du robots.txt, s'il vous plaît.

    Je souhaite que tous les moteurs indexent toutes les pages de mon site : mettre un robots.txt vide avec juste le lien vers le sitemap.xml est-il correct ou faut-il mettre :

    User-agent: *
    Sitemap: http://example.com/sitemap.xml

    ou

    User-agent: *
    Disallow:
    Sitemap: http://example.com/sitemap.xml

    ou encore

    User-agent: *
    Allow: /
    Sitemap: http://example.com/sitemap.xml

    Je vous remercie.
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 874
    J'aime reçus:
    71
    Ta 3e solution (même si perso je ne met jamais le sitemap dans le robots.txt, vu que je le soumet à part dans les outils webmaster des moteurs de recherche qui m'intéressent).
     
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 998
    J'aime reçus:
    294
  4. wbjs
    wbjs Nouveau WRInaute
    Inscrit:
    19 Août 2016
    Messages:
    2
    J'aime reçus:
    0
    Merci pour vos réponses.

    Faut-il obligatoirement mettre un robots.txt vide ou ne pas en mettre revient au même, s'il vous plaît ?

    Je peux donc soumettre le sitemap à Google et Bing, on ne peut pas pour les autres moteurs de recherche ? ça ne pose pas de problème pour le référencement sur les autres moteurs ?
     
  5. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 998
    J'aime reçus:
    294
    avoir un robots.txt vide ou ne pas en avoir revient au même pour le SEO : tu autorises tout.
    mettre un fichier en ligne même vide évite d'avoir des erreurs 404 une ou plusieurs fois par jour dessus

    oui, tu peux vivre sans sitemap et avoir un bon référencement. Relis mon tuto sur le sitemap, tu verras !
     
Chargement...
Similar Threads - Fonctionnement robots Forum Date
Fonctionnement de la méthode cocon sémantique Référencement Google 31 Mai 2019
Tracer le fonctionnement d'Apache (2.2.15) Administration d'un site Web 23 Avril 2018
Fonctionnement Balises titre Hn Problèmes de référencement spécifiques à vos sites 17 Janvier 2018
Je ne suis pas sur du bon fonctionnement de mon .htaccess Netlinking, backlinks, liens et redirections 12 Septembre 2016
Fonctionnement Pagerank Google : l'entreprise, les sites web, les services 5 Avril 2016
probleme fonctionnement script Développement d'un site Web ou d'une appli mobile 4 Janvier 2015
Fonctionnement d'un sous domaine Administration d'un site Web 19 Octobre 2013
Contrat maintenance fonctionnement heures décomptées Droit du web (juridique, fiscalité...) 3 Octobre 2013
verification de l'etat de fonctionnement d 'un site Demandes d'avis et de conseils sur vos sites 6 Septembre 2013
Fonctionnement des stats Commerce Electronique sur Google Analytics? Google Analytics 5 Septembre 2013
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice