WRInaute discret
Bonjour, je viens de rencontrer un robots.txt qui utilise cette syntaxe, quel est l'effet de l'astérixe avec le Disallow ?
User-agent: *
Disallow: *
 
WRInaute accro
Ce n'est pas la bonne syntaxe à mon avis. On ne peut pas être sur de l'interprétation des moteurs.
C'est soit:

User-agent: *
Disallow: /

soit:

User-agent: *
Disallow:
 
WRInaute discret
C'est bien ce que je me disais, mon "google mini" n'indexe rien, mais ça ne semble pas gêner google.com ???
 
WRInaute accro
Google reconnaît quelques extensions comme *, mais c'est non-standard, donc dangereux (tu peux à la limite les mettre dans des sections avec des User-Agents connus comme l'interprétant).

Jacques.
 
Discussions similaires
Haut