Robots.txt user-agent: *

Discussion dans 'Débuter en référencement' créé par pascal_22, 17 Décembre 2013.

  1. pascal_22
    pascal_22 WRInaute occasionnel
    Inscrit:
    11 Juin 2009
    Messages:
    254
    J'aime reçus:
    7
    Bonjour!

    Je viens de voir un post et dans mon fic hier robots.txt j'avais seulement qu'une ligne...
    Code:
    User-agent: *

    Je viens de la remplacer par
    Code:
    User-agent: *
    Allow: /
    Est-ce la bonne choses à faire? ou les 2 reviens au même?

    MErci!

    Pascal
     
  2. Acketeers1
    Acketeers1 Nouveau WRInaute
    Inscrit:
    11 Décembre 2013
    Messages:
    13
    J'aime reçus:
    0
    Bonjour,
    User-agent: *
    Allow: /
    Cela veut dire que tout les robots a indexer tout vos repertoires ce code ne met pas d'interdiction aux robots

    User-agent: *
    Disallow: / le repertoire ou le fichier que vous ne voulez qui ce soit apparut dans les resultats de recherches
     
  3. pascal_22
    pascal_22 WRInaute occasionnel
    Inscrit:
    11 Juin 2009
    Messages:
    254
    J'aime reçus:
    7
    Merci beaucoup!!

    Bonne journée!!
     
  4. longo600
    longo600 WRInaute passionné
    Inscrit:
    24 Février 2005
    Messages:
    2 209
    J'aime reçus:
    7
    Je ne sais pas comment font les autres moteurs, pour le miens, j'ai procédé de la manière suivante ;
    -suis-je concerné par le USER-AGENT ?
    dans ton 1er cas oui,
    -Si OUI, qu'est-ce que je dois ignorer = chaque ligne qui contient disallow …

    Donc, les 2 sont bons … le mieux est de ne pas en mettre, ca évite les confusions possibles et les erreurs.
     
  5. Acketeers1
    Acketeers1 Nouveau WRInaute
    Inscrit:
    11 Décembre 2013
    Messages:
    13
    J'aime reçus:
    0
    Voici quelques exemple de robots.txt

    User-agent: *
    Disallow: /

    1er ligne : tout les robots peuvent indexer votre contenu
    2eme ligne: exclure tout fichier ou repertoire qui se trouve apres /

    User-agent: *
    Disallow: /(fichier ou repertoire)

    2eme ligne : un fichier qui ne doit pas etre indexer par les robots
    Si vous voulez specifier le robot qui ne doit pas indexer tout vos contenus modifier le premier ligne par le nom du robot
    Ex: User-agent: googlebot
    Disallow: /pages/
    Voici un robots.txt sans exclusion

    User-agent: *
    Allow: /

    Sitemap: addresse de votre sitemap
    Host: addresse de votre site
    Robots.txt avec exclusion

    User-agent: *
    Disallow: /

    Sitemap: addresse de votre sitemap
    Host: addresse de votre site

    NB: chaque exclusion doit etre fait par une ligne de Disallow : /
     
Chargement...
Similar Threads - Robots user agent Forum Date
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps Samedi à 14:26
lien variable à bloquer sur robots Développement d'un site Web ou d'une appli mobile 3 Mai 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Réécriture et robots.txt Débuter en référencement 10 Octobre 2019