Probleme avec fichier robots.txt fichier bloquer
- Auteur de la discussion bonitos
- Date de début
-
- Tags
- fichier robots.txt
WRInaute passionné
Difficile de donner un avis sans avoir l'url du site.
http://marseille-shop.zlio.com voila merci bocoup amicalement
Nouveau WRInaute
Bonjour,
Aucun problème chez moi pour afficher :
-http://marseille-shop.zlio.com/robots.txt
Cordialement,
Nicolas
Aucun problème chez moi pour afficher :
-http://marseille-shop.zlio.com/robots.txt
Cordialement,
Nicolas
re bonjour et encore merci c parce que je voit dans outil webmaster il me disent url bloquer cose fichet robot.txt. mon amis a le meme probleme est-ce que kelkun peu regarder et me dire si quelque chose fonctione mal
http://davx-informatique-portable.zlio.com
merci d'avance cordialement
http://davx-informatique-portable.zlio.com
merci d'avance cordialement
idem pour mon site
mon site : http://www.referencemoi.com a des problemes de robots aidez moi à trouver le nouveau d etre de nouveau indexé par google. merci
mon site : http://www.referencemoi.com a des problemes de robots aidez moi à trouver le nouveau d etre de nouveau indexé par google. merci
WRInaute passionné
bonitos a dit:
Il faut enlever la ligne blanche.
WRInaute passionné
stefcraft a dit:
Dans le fichier robots.txt.
Les lignes vides doivent commencer par le symbole #
WRInaute accro
stefcraft a dit:
Non, Jeviensderio répondait à bonitos.
Toi tu n'a pas de robots.txt du tout.
Premièrement, les lignes vides peuvent être utilisées dans robots.txt et elles ne peuvent pas être remplacées par des lignes commençant par #. Une ligne vide sert de séparateur obligatoire entre deux groupes de commandes destinées à des robots différents. Une ligne commençant par un # est un commentaire et ne compte pas. Donc, dans ce cas-ci, il faut conserver la ligne vide.
D'autre part, le problème de validation du robots.txt vient d'un bug de l'outil webmaster de Google qui ne connaît que Mediapartners-Google comme user agent pour le robot AdSense, alors que les docs Google utilisent indifféremment Mediapartners-Google ou Mediapartners-Google*. C'est l'astérisque qui perturbe les GWT! Donc il faut enlever l'* pour résoudre le problème.
Jean-Luc
D'autre part, le problème de validation du robots.txt vient d'un bug de l'outil webmaster de Google qui ne connaît que Mediapartners-Google comme user agent pour le robot AdSense, alors que les docs Google utilisent indifféremment Mediapartners-Google ou Mediapartners-Google*. C'est l'astérisque qui perturbe les GWT! Donc il faut enlever l'* pour résoudre le problème.
Jean-Luc
WRInaute accro
WRInaute passionné
jeanluc a dit:
Dans la dernière spécification, les lignes blanches sont effectivement admises. Elle ne doivent pas remplacer les commentaires et je ne vois pas qu'elles soient requises entre des groupes.
On peut les séparer par un commentaire si on veut, par une ligne blanche ou rien du tout.
Je ne vois pas non plus qu'on puisse ajouter * à l'agent donc l'erreur doit bien venir de là.
Ce que tu appelles "dernière spécification" est un brouillon (draft) de 1997, comme beaucoup de documents techniques sur Internet. Cette version de 1997 de la spécification n'a pas eu beaucoup de succès et le standard de fait est resté la spécification publiée par le même auteur (Martijn Koster) en 1994.
Par exemple, si on considère Google, dans Comment utiliser un fichier robots.txt pour contrôler l'accès à mon site ?, on trouve un lien de référence vers la spécification de robots.txt utilisée par Google et elle date bien de 1994. Soit dit en passant, l'emploi de "Allow:" dans la spécification de 1997 est différent de celui préconisé par Google.
Pour ce qui est de l'astérisque à la fin du user agent, voir Centre d'assistance AdSense - Comment autoriser l'accès à votre robot d'exploration.
Jean-Luc
Par exemple, si on considère Google, dans Comment utiliser un fichier robots.txt pour contrôler l'accès à mon site ?, on trouve un lien de référence vers la spécification de robots.txt utilisée par Google et elle date bien de 1994. Soit dit en passant, l'emploi de "Allow:" dans la spécification de 1997 est différent de celui préconisé par Google.
Pour ce qui est de l'astérisque à la fin du user agent, voir Centre d'assistance AdSense - Comment autoriser l'accès à votre robot d'exploration.
Jean-Luc
WRInaute passionné
jeanluc a dit:
Justement, le standard de 1994 n'en parle pas.
Donc je pense que le mieux est de tester avec tous les moteurs de recherche et d'en tirer un standard de fait. Quand j'aurai le temps...
Discussions similaires
