Robots.txt user-agent: *

Discussion dans 'Débuter en référencement' créé par pascal_22, 17 Décembre 2013.

  1. pascal_22
    pascal_22 WRInaute occasionnel
    Inscrit:
    11 Juin 2009
    Messages:
    252
    J'aime reçus:
    7
    Bonjour!

    Je viens de voir un post et dans mon fic hier robots.txt j'avais seulement qu'une ligne...
    Code:
    User-agent: *

    Je viens de la remplacer par
    Code:
    User-agent: *
    Allow: /
    Est-ce la bonne choses à faire? ou les 2 reviens au même?

    MErci!

    Pascal
     
  2. Acketeers1
    Acketeers1 Nouveau WRInaute
    Inscrit:
    11 Décembre 2013
    Messages:
    13
    J'aime reçus:
    0
    Bonjour,
    User-agent: *
    Allow: /
    Cela veut dire que tout les robots a indexer tout vos repertoires ce code ne met pas d'interdiction aux robots

    User-agent: *
    Disallow: / le repertoire ou le fichier que vous ne voulez qui ce soit apparut dans les resultats de recherches
     
  3. pascal_22
    pascal_22 WRInaute occasionnel
    Inscrit:
    11 Juin 2009
    Messages:
    252
    J'aime reçus:
    7
    Merci beaucoup!!

    Bonne journée!!
     
  4. longo600
    longo600 WRInaute passionné
    Inscrit:
    24 Février 2005
    Messages:
    2 166
    J'aime reçus:
    7
    Je ne sais pas comment font les autres moteurs, pour le miens, j'ai procédé de la manière suivante ;
    -suis-je concerné par le USER-AGENT ?
    dans ton 1er cas oui,
    -Si OUI, qu'est-ce que je dois ignorer = chaque ligne qui contient disallow …

    Donc, les 2 sont bons … le mieux est de ne pas en mettre, ca évite les confusions possibles et les erreurs.
     
  5. Acketeers1
    Acketeers1 Nouveau WRInaute
    Inscrit:
    11 Décembre 2013
    Messages:
    13
    J'aime reçus:
    0
    Voici quelques exemple de robots.txt

    User-agent: *
    Disallow: /

    1er ligne : tout les robots peuvent indexer votre contenu
    2eme ligne: exclure tout fichier ou repertoire qui se trouve apres /

    User-agent: *
    Disallow: /(fichier ou repertoire)

    2eme ligne : un fichier qui ne doit pas etre indexer par les robots
    Si vous voulez specifier le robot qui ne doit pas indexer tout vos contenus modifier le premier ligne par le nom du robot
    Ex: User-agent: googlebot
    Disallow: /pages/
    Voici un robots.txt sans exclusion

    User-agent: *
    Allow: /

    Sitemap: addresse de votre sitemap
    Host: addresse de votre site
    Robots.txt avec exclusion

    User-agent: *
    Disallow: /

    Sitemap: addresse de votre sitemap
    Host: addresse de votre site

    NB: chaque exclusion doit etre fait par une ligne de Disallow : /
     
Chargement...
Similar Threads - Robots user agent Forum Date
Fichier robots.txt et user-agent Débuter en référencement 21 Octobre 2007
Compteur de visites sans les user-agent des robots Développement d'un site Web ou d'une appli mobile 20 Septembre 2006
Nouvelle "Encyclopédie des Robots" et UserAgents Administration d'un site Web 20 Octobre 2005
redirection pour le users mais pas pour les robots URL Rewriting et .htaccess 21 Novembre 2005
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ? Débuter en référencement 14 Avril 2022
canonical et robots=index sur une même page Débuter en référencement 7 Décembre 2021
le noindex dans le robots.txt Débuter en référencement 19 Novembre 2021
suppression des pages bloquées par robots.txt Débuter en référencement 18 Octobre 2021
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Les mots-clés de mon site ne sont pas détectés par les robots de référencement Problèmes de référencement spécifiques à vos sites 7 Juillet 2021
Wordpress et le robots.txt Débuter en référencement 21 Juin 2021
Search Console noindex détecté dans la balise Meta robots Débuter en référencement 21 Mai 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021
Robots : n'autoriser que les 4 ou 5 moteurs de recherche principaux Crawl et indexation Google, sitemaps 15 Janvier 2021
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Google me dit que ma page est bien indexée mais bloquée par robots.txt Crawl et indexation Google, sitemaps 25 Novembre 2020
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 17 Octobre 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020