Faut il avoir un robots.txt dans son arbo ?

[nycius]

Salut

je n'ai pas de robots?txt dans mon arbo ?
est ce grave pour google ?
si je dois en mettre un, que dois je mettre ?

 

[dmathieu]

ca ne genera pas ton référencement si c'est ca que tu veux savoir :wink:
(sauf dans le cas de duplicate content ou le robots.txt permet d'ignorer une des deux pages)

 

[nycius]

merci kazhar
jai mis <META NAME="Robots" CONTENT="all"> dans toutes mes pages
cest bon ?

 

[dmathieu]

pour que le robot indexe et suive toutes pages oui

 

[vpx]

Pour que les robots prennent tout, tu n'as besoin ni de robots.txt ni de meta tag. Par défaut ils parcourent toutes les pages.

 

[nycius]

avant jamais ceci : <META NAME="Robots" CONTENT="index, follow">

quelle difference entre les deux ? la il prenait que l'index en fait ?
ca peut venir de ca que mon site sorte pas dans google alors que tout est optimisé