Fichier "robots.txt"

Nouveau WRInaute
Bonjour,

J'ai lu dans les pages de conseils de votre site qu'il fallait créer un fichier" robots.txt" pour une indexation totale; la ligne ....<meta name="Robots" content="follow,index,all"> ...ne suffit elle pas?...................merci d'éclairer un novice.
Bon WE à tous

JM06
 
WRInaute passionné
avec un robots.txt on peut aller plus loin..
on peut spécifier dedans directement les fichiers à na pas lire (et donc meme des .pdf et autres dont tu ne peux pas mettre de meta...)
 
WRInaute discret
Bonjour jm06,

La balise ....<meta name="Robots" content="follow,index"> sur toutes tes pages suffit pour faire suivre les liens et indexer tes pages par un robot.

Moi je n'ai pas pour le moment de robots.txt sur mes sites et aucun problème de référencement par GG et les autres...
 
Olivier Duffez (admin)
Membre du personnel
jm06, je ne dis pas qu'il faut créer un fichier robots.txt, et encore moins pour que le site soit référencé. Idem pour la balise robots.
Par défaut, les robots indexent tout (tout ce qu'ils peuvent). Si tu veux éviter qu'ils indexent certaines parties ou certaines pages, tu peux utiliser le fichier robots.txt ou les balises meta.
Je conseille de créer un fichier robots.txt (même s'il est vide) pour éviter aux robots de se payer une erreur 404 régulièrement en venant sur un site.
 
WRInaute discret
J'ai une page dont l'accès est protégé par mot de passe, car elle contient des infos personnelles de gens qui se sont inscrits (fichier des enseignants volontaires). Je viens de voir que Google l'a indexée et affiche une belle adresse email...
Que dois-je mettre précisément dans la balise META de cette page pour que les robots ne l'indexent plus? Je sais que le cas a été discuté, mais je suis un peu perdue dans toutes ces infos :oops:
 
Olivier Duffez (admin)
Membre du personnel
tu peux mettre ce code :
Code:
<meta name="robots" content="noindex">
et dans ton fichier robots.txt :
Code:
User-agent: *
Disallow: /liste.htm
(à personnaliser)
pour Google tu peux aussi lui demander de ne pas garder de version en cache (pour qu'il supprime l'actuelle) :
Code:
<META NAME="robots" CONTENT="noarchive">
 
WRInaute discret
Merci olivier, t'es un chef! :D
Je m'en vais mettre en pratique tout de suite!

Juste une petite précision, mon fichier n'est pas à la racine, mais du genre
*http**www.donationlousalome.org/fichiers/liste.htm
Dois-je spécifier le chemin, ou /liste.htm suffit?
Merci encore!

PS: du coup, je viens de lever un lièvre, mais je m'en vais dans "Gestion d'un site web". Même si ce n'est pas moi qui ai lancé ce topic, je crois qu'il est un peu déplacé!!
 
Discussions similaires
Haut