Probleme avec fichier robots.txt fichier bloquer

Difficile de donner un avis sans avoir l'url du site.

 

>> j'ai checher dans affichage puis source je ne voit pas le fichier robots.txt

pardon ? dans le source de ta page d'accueil tu compte voir le fichier robots.txt ? il va falloir nous donner ton url pour voir ce qui se passe vraiment

 

Bonjour,

Aucun problème chez moi pour afficher :
-http://marseille-shop.zlio.com/robots.txt

Cordialement,

Nicolas

 

idem pour mon site

mon site : http://www.referencemoi.com a des problemes de robots aidez moi à trouver le nouveau d etre de nouveau indexé par google. merci

 

Il faut enlever la ligne blanche.

 

ma ligne Blanche ?

 

Dans le fichier robots.txt.
Les lignes vides doivent commencer par le symbole #

 

Non, Jeviensderio répondait à bonitos.

Toi tu n'a pas de robots.txt du tout.

 

px tu me dire comment creer un fichier robot.TXT?

 

Premièrement, les lignes vides peuvent être utilisées dans robots.txt et elles ne peuvent pas être remplacées par des lignes commençant par #. Une ligne vide sert de séparateur obligatoire entre deux groupes de commandes destinées à des robots différents. Une ligne commençant par un # est un commentaire et ne compte pas. Donc, dans ce cas-ci, il faut conserver la ligne vide.

D'autre part, le problème de validation du robots.txt vient d'un bug de l'outil webmaster de Google qui ne connaît que Mediapartners-Google comme user agent pour le robot AdSense, alors que les docs Google utilisent indifféremment Mediapartners-Google ou Mediapartners-Google*. C'est l'astérisque qui perturbe les GWT! Donc il faut enlever l'* pour résoudre le problème.

Jean-Luc

 

http://docs.abondance.com/robots.html

 

Dans la dernière spécification, les lignes blanches sont effectivement admises. Elle ne doivent pas remplacer les commentaires et je ne vois pas qu'elles soient requises entre des groupes.
On peut les séparer par un commentaire si on veut, par une ligne blanche ou rien du tout.

Je ne vois pas non plus qu'on puisse ajouter * à l'agent donc l'erreur doit bien venir de là.

 

Ce que tu appelles "dernière spécification" est un brouillon (draft) de 1997, comme beaucoup de documents techniques sur Internet. Cette version de 1997 de la spécification n'a pas eu beaucoup de succès et le standard de fait est resté la spécification publiée par le même auteur (Martijn Koster) en 1994.

Par exemple, si on considère Google, dans Comment utiliser un fichier robots.txt pour contrôler l'accès à mon site ?, on trouve un lien de référence vers la spécification de robots.txt utilisée par Google et elle date bien de 1994. Soit dit en passant, l'emploi de "Allow:" dans la spécification de 1997 est différent de celui préconisé par Google.

Pour ce qui est de l'astérisque à la fin du user agent, voir Centre d'assistance AdSense - Comment autoriser l'accès à votre robot d'exploration.

Jean-Luc

 

Justement, le standard de 1994 n'en parle pas.
Donc je pense que le mieux est de tester avec tous les moteurs de recherche et d'en tirer un standard de fait. Quand j'aurai le temps...