Robot.txt et mots-clés détectés

Nouveau WRInaute
Bonjour,

à la lecture de mon rapport Google Webmaster Tools, je constate que le mot "disallow" a été trouvé 267 fois pas le robot Google.
Pas étonnant, car j'ai cru bon de lister dans le robot.txt une longue liste de sites unsafe à exclure.
Ma liste se présente ainsi:

User-agent: *
Disallow: /aipbot
Disallow: /Alexibot
Disallow: /almaden
Disallow: /Aqua_Products
Disallow: /asterias
Disallow: /attach
Disallow: /b2w/0.1
Disallow: /BackDoorBot/1.0
Disallow: /BackWeb
Disallow: /Bandit

...

Questions pour les champions:
1. Est-ce bien malin de vouloir lister dans un robot autant de unsafe bots?
2. Les 267 occurences de "Disallow" selon Google bot impactent-elles le référencement?
3. Que font les pros dans ce cas?

Merci d'avance,

Win, Genève
 
WRInaute accro
Visiblement il y a quelque chose que tu as mal compris dans la structure du robots.txt.
useragent : * ca veut dire tout les bots
ce qui est en dessous ce sont tes répertoires pour lesquels tu met en disallow, donc si tu veux spécifier des bots c'est plutot 270 useragent qu'il faut mettre.
 
WRInaute accro
Et le fichier doit s'appeler robots.txt (avec un "s"), pas robot.txt. Et en plus s'il l'a indexé (comme une page, pas comme un fichier d'exclusion), c'est qu'il y a un lien vers lui...

Jacques.

EDIT: typo
 
Nouveau WRInaute
Merci Jacques et bproductiv pour ces premiers éléments de réponse.

jcaron a dit:
Et le fichier doit s'appeler robots.txt (avec un "s"), pas robot.txt.

Jacques : le fichier s'appelle bien robots.txt depuis le début.

bproductiv a dit:
si tu veux spécifier des bots c'est plutot 270 useragent qu'il faut mettre.

Tu as raison, et je reformule ma question: Comment interdire cretains robots unsafe par robots.txt?

Win, Genève
 
Nouveau WRInaute
Vu. merci.

Je viens aussi de trouver yellowpipe.com qui m'a donné la syntaxe de l'exclusion:

User-agent: BackDoorBot/1.0
Disallow: /

Merci pour ton aide.
 
Nouveau WRInaute
Oui. L'article est clair. Il précise néanmoins que le robots.txt est utile pour "les bots qui respectent robots.txt".
De fait, je fais confiance (a priori) à yellowpipe.com qui te permet de créer un robots.txt en excluant automatiquement une liste (qu'ils mettent à jour eux-mêmes, j'espère) de certains spiders.
 
Discussions similaires
Haut