Fichier "robots.txt"

Discussion dans 'Crawl et indexation Google, sitemaps' créé par jm06, 28 Mai 2003.

  1. jm06
    jm06 Nouveau WRInaute
    Inscrit:
    28 Février 2003
    Messages:
    4
    J'aime reçus:
    0
    Bonjour,

    J'ai lu dans les pages de conseils de votre site qu'il fallait créer un fichier" robots.txt" pour une indexation totale; la ligne ....<meta name="Robots" content="follow,index,all"> ...ne suffit elle pas?...................merci d'éclairer un novice.
    Bon WE à tous

    JM06
     
  2. Mitirapa
    Mitirapa WRInaute passionné
    Inscrit:
    10 Juillet 2002
    Messages:
    1 175
    J'aime reçus:
    0
    avec un robots.txt on peut aller plus loin..
    on peut spécifier dedans directement les fichiers à na pas lire (et donc meme des .pdf et autres dont tu ne peux pas mettre de meta...)
     
  3. BZHcool
    BZHcool WRInaute discret
    Inscrit:
    18 Avril 2003
    Messages:
    142
    J'aime reçus:
    0
    Bonjour jm06,

    La balise ....<meta name="Robots" content="follow,index"> sur toutes tes pages suffit pour faire suivre les liens et indexer tes pages par un robot.

    Moi je n'ai pas pour le moment de robots.txt sur mes sites et aucun problème de référencement par GG et les autres...
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 050
    J'aime reçus:
    325
    jm06, je ne dis pas qu'il faut créer un fichier robots.txt, et encore moins pour que le site soit référencé. Idem pour la balise robots.
    Par défaut, les robots indexent tout (tout ce qu'ils peuvent). Si tu veux éviter qu'ils indexent certaines parties ou certaines pages, tu peux utiliser le fichier robots.txt ou les balises meta.
    Je conseille de créer un fichier robots.txt (même s'il est vide) pour éviter aux robots de se payer une erreur 404 régulièrement en venant sur un site.
     
  5. perle d'argent
    perle d'argent WRInaute discret
    Inscrit:
    4 Janvier 2003
    Messages:
    76
    J'aime reçus:
    0
    J'ai une page dont l'accès est protégé par mot de passe, car elle contient des infos personnelles de gens qui se sont inscrits (fichier des enseignants volontaires). Je viens de voir que Google l'a indexée et affiche une belle adresse email...
    Que dois-je mettre précisément dans la balise META de cette page pour que les robots ne l'indexent plus? Je sais que le cas a été discuté, mais je suis un peu perdue dans toutes ces infos :oops:
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 050
    J'aime reçus:
    325
    tu peux mettre ce code :
    Code:
    <meta name="robots" content="noindex">
    et dans ton fichier robots.txt :
    Code:
    User-agent: *
    Disallow: /liste.htm
    (à personnaliser)
    pour Google tu peux aussi lui demander de ne pas garder de version en cache (pour qu'il supprime l'actuelle) :
    Code:
    <META NAME="robots" CONTENT="noarchive">
     
  7. perle d'argent
    perle d'argent WRInaute discret
    Inscrit:
    4 Janvier 2003
    Messages:
    76
    J'aime reçus:
    0
    Merci olivier, t'es un chef! :D
    Je m'en vais mettre en pratique tout de suite!

    Juste une petite précision, mon fichier n'est pas à la racine, mais du genre
    *http**www.donationlousalome.org/fichiers/liste.htm
    Dois-je spécifier le chemin, ou /liste.htm suffit?
    Merci encore!

    PS: du coup, je viens de lever un lièvre, mais je m'en vais dans "Gestion d'un site web". Même si ce n'est pas moi qui ai lancé ce topic, je crois qu'il est un peu déplacé!!
     
  8. Nitou
    Nitou WRInaute impliqué
    Inscrit:
    1 Décembre 2002
    Messages:
    696
    J'aime reçus:
    0
    /fichiers/liste.html me semble t'il ;)
     
  9. perle d'argent
    perle d'argent WRInaute discret
    Inscrit:
    4 Janvier 2003
    Messages:
    76
    J'aime reçus:
    0
    Merci m'dame :wink:
     
Chargement...
Similar Threads - Fichier robots Forum Date
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
Search Console un fichier robots.txt pour chaque protocole Débuter en référencement 15 Août 2019
Search Console bloquée par le fichier robots.txt Crawl et indexation Google, sitemaps 25 Juin 2019
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0 Crawl et indexation Google, sitemaps 16 Mai 2019
"Indexée malgré le blocage par le fichier robots.txt" Que faire si ce message ? Crawl et indexation Google, sitemaps 12 Février 2019
noindex fr-fr dans fichier robots.txt avec translatepress Référencement international (langues, pays) 18 Décembre 2018
Indexée malgré le blocage par le fichier robots.txt Débuter en référencement 5 Décembre 2018
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
Mon site est bloqué par le fichier robots.txt Crawl et indexation Google, sitemaps 12 Septembre 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice