Robots.txt qui fait des erreurs apache

[cbroissa]

Salut,

J'ai plein d'erreur dans le log apache, de moteur de recherche (je suppose) qui essaye d'accéder à robots.txt, mais il n'existe pas car j'utilise directement la balise meta.

Comment faire pour éviter ces erreurs ? il faut créer un robots.txt vide ?

Merci

 

[sonikbuzz]

Tu peux désactiver ce type d'erreur avec apache (je crois).
Autrement robots.txt de ce style fera l'affaire.

# Welcome googlebot visitor (message facultatif  :lol: )

User-agent: *
Disallow:

[/quote]

 

[sgaze]

Sauf qu'avec le robots.txt proposé par sonikbuzz, tu vas indiquer à tous les robots que le site ne doit pas être indexé !! A mon avis c'est pas ce que tu recherches.

 

[sonikbuzz]

Sauf qu'avec le robots.txt proposé par sonikbuzz, tu vas indiquer à tous les robots que le site ne doit pas être indexé !! A mon avis c'est pas ce que tu recherches.

Non non non, le robots.txt de sonikbuzz autorise tous les bots a tous les repertoires . si je devais interdire tous les repertoires j'ecrirais :

User-agent: *
Disallow:/

-http://www.yooda.com/outils_referencement/robots_txt.php?SITE=www.noogle.fr&valid=Ok

 

[sgaze]

Tu as raison sonikbuzz, sorry...

 

[cbroissa]

merci mais comment les moteurs vont réagir quand ils verront un robots.txt et une balise meta, ils vont choisir lequel, la somme des 2, l'un ou l'autre ?

mon site est dynamique et je choisis donc page par page ce que le moteur pourra faire (index, noindex, follow, nofollow),
et là avec un robots.txt j'ai pas envie de leur dire qu'ils peuvent tout faire.

Merci