Robots.txt

[mandyben]

Bonjour,

j'ai lu des choses sur le robots.txt, mais je ne suis pas sur d'un truc car après avoir testé mon robots.txt sur google webmaster tools, je ne suis plus sur. si on veut être dans les moteurs de recherche, faut il mettre

User-agent: *
Disallow:

ou

User-agent: *
Allow:

la logique voudrait qu'on mette allow, mais moi je me suis rendu compte que j'ai toujours eu "disallow" dans mon robots.txt, je suis quand même indéxé dans google, mais peut être que je le suis moins bien avec mon code actuel.

Dois je rester en disallow ou pas ?

Merci de vo sréponses.

benoit

 

[L.Jee]

En fait, t'as pas besoin de mettre quelque chose pour être dans les moteurs, seulement mettre quelque chose quand tu ne veux pas

 

[mandyben]

ok, mais le fait que je sois quand même référençé alors que j'ai ça c'est pas bizarre ?

je pensais en fait qu'il fallait mieux toujours avoir avoir un fichier robots.txt

 

[jcaron]

Comme dit par L.Jee, si tu n'as pas de restrictions particulières, tu ne mets pas du tout de robots.txt.

Sinon le format c'est un série de blocs séparés par une ligne vide. Chaque bloc commence par User-Agent: quelque chose, suivi d'une ou plusieurs lignes Disallow: quelque chose. Pour les user-agents qui correspondent, tout ce qui commence par ce qui est dans chaque Disallow ne sera pas consulté par le robot. Disallow: sans rien derrière signifie que tout est autorisé. User-agent: * fait que le bloc s'applique à tous les robots.

Jacques.

 

[salva]

Comme dit par L.Jee, si tu n'as pas de restrictions particulières, tu ne mets pas du tout de robots.txt.

Peut être une ligne pour le sitemap