Probléme robots.txt

[auboutdumonde33]

Bonsoir à tous,
J’ai un énorme problème avec mon site www.extensys-informatique.com , j’ai refait entièrement le site et GWT me dit que l’accès est bloqué par le fichier robots.txt, j’ai vérifié le fichier robots et il me semble bien.
Sur GWT, une chose m’étonne, il indique toujours l’ancien fichier et ne prends pas en compte le nouveau !
Résultat mon fichier sitemap.xml est indiqué en erreur
Je ne comprends pas !!!,
Si une âme sympathique veut bien m’expliquer, je suis preneur
Mon site est sous Joomla 1.5
Merci a tous
Patrick :wink:

 

[michel.leonard]

A mon avis , et ce n'est pas forcément la bonne réponse, il faudrai revoir les headers du fichier robots.txt pour éviter que le crawler ne puisse le mettre en cache, il faudrai aussi l'encoder en UTF-8...

 

[auboutdumonde33]

Bonjour,
C’est sympa de votre part d’avoir répondu,
Ma question est quel est la syntaxe exacte pour éviter que Mr Google refasse la bêtise
Mon fichier robots.txt

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap: http://www.extensys-informatique.com/sitemap.xml

Cordialement à tous

 

[duplex13]

Bonjour,

Je pense que la première ligne de votre http://www.extensys-informatique.com/robots.txt est inutile voir pose problème (celle-ci : Allow: /) : la syntaxe lorsqu'on veut autoriser tout le site est

Disallow:

Pour les répertoires interdits d'accès : est-ce qu'il y a un lien qui mène vers ceux-ci ? Si non, ce n'est peut-être pas névessaire de les mentionner dans le robots.txt