Est-ce que ce type de consigne robots.txt est bonne

[Fredo73]

Bonjour à tous

Mon soucis porte sur le fichier robots.txt
Dans un fichier robots.txt je demande avec les 2 lignes ci-dessous à ce que toutes les adresses avec un "?" ne doivent pas être indexées pour éviter les duplicat:

Disallow: /*?* 
Disallow: /*?

Mais j'ai un certain nombre d'adresses comportant un "?" qui doivent être indexées.
Ces URL sont toutes dans un même dossier.
La 1ère * correspond au nom de la page, et la 2ème * correspond à l'ID de la page
Est-ce que je peux ajouter la ligne ci-dessous à mon robots.txt ? Est-elle valide ?

Allow: /NOM-DU-DOSSIER/*/?*

Merci pour vos réponses

Fred

 

[zeb]

GWT te donne accès a un outil te permettant de tester un robots.txt fictif (copié/collé sur l'outil de test) en fonction des URL que tu lui précise.
Tu peux donc en fonction de ton robots txt vérifier la réaction du bot google sur les adresse de ton site. ça devrait répondre a tes questions.
Le test est "fictif", tu n'est pas obligé de modifier le robots.txt présent sur le site pour cela.

 

[Fredo73]

Merci pour l'info.
Je vais essayer de suivre ton conseil

 

[Fredo73]

Merci Zeb pour l'info.
C'est exactement ce que je cherchais. J'avais zappé que GWT proposait cette possibilité de test.
Ca répond à ma question.

La consigne "allow" qui m'intéressait est donc bonne si je me base sur le résultat du test de GWT

Bonne fin de WE

 

[jeanluc]

Bonjour,

L'outil de GWT vérifie si ton robots.txt est conforme à la spécification de Google qui n'est pas standard. Les "allow" et les "*" ne sont pas dans le standard. Ils ne seront donc pas compris par la plupart des robots autres que ceux de Google.

Jean-Luc

 

[Fredo73]

Quelle serait alors la solution équivalente qui puisse être comprise des autres robots ?