Probleme avec fichier robots.txt fichier bloquer

Discussion dans 'Crawl et indexation Google, sitemaps' créé par bonitos, 4 Septembre 2007.

  1. bonitos
    bonitos Nouveau WRInaute
    Inscrit:
    4 Septembre 2007
    Messages:
    7
    J'aime reçus:
    0
    salut! voila mon problème le ficher robots.txt bloque mon url. j'ai checher dans affichage puis source je ne voit pas le fichier robots.txt voila je ne suis pas un pro. merci bocoup a bientot :cry:
     
  2. Jeviensderio
    Jeviensderio WRInaute passionné
    Inscrit:
    29 Septembre 2006
    Messages:
    1 062
    J'aime reçus:
    0
    Difficile de donner un avis sans avoir l'url du site.
     
  3. e-kiwi
    e-kiwi WRInaute accro
    Inscrit:
    23 Décembre 2003
    Messages:
    13 257
    J'aime reçus:
    1
    >> j'ai checher dans affichage puis source je ne voit pas le fichier robots.txt

    pardon ? dans le source de ta page d'accueil tu compte voir le fichier robots.txt ? il va falloir nous donner ton url pour voir ce qui se passe vraiment
     
  4. bonitos
    bonitos Nouveau WRInaute
    Inscrit:
    4 Septembre 2007
    Messages:
    7
    J'aime reçus:
    0
  5. Nicolas_75
    Nicolas_75 Nouveau WRInaute
    Inscrit:
    3 Juin 2006
    Messages:
    7
    J'aime reçus:
    0
    Bonjour,

    Aucun problème chez moi pour afficher :
    -http://marseille-shop.zlio.com/robots.txt

    Cordialement,

    Nicolas
     
  6. bonitos
    bonitos Nouveau WRInaute
    Inscrit:
    4 Septembre 2007
    Messages:
    7
    J'aime reçus:
    0
    re bonjour et encore merci c parce que je voit dans outil webmaster il me disent url bloquer cose fichet robot.txt. mon amis a le meme probleme est-ce que kelkun peu regarder et me dire si quelque chose fonctione mal

    http://davx-informatique-portable.zlio.com

    merci d'avance cordialement
     
  7. stefcraft
    stefcraft Nouveau WRInaute
    Inscrit:
    10 Avril 2006
    Messages:
    3
    J'aime reçus:
    0
    idem pour mon site

    mon site : http://www.referencemoi.com a des problemes de robots aidez moi à trouver le nouveau d etre de nouveau indexé par google. merci
     
  8. Jeviensderio
    Jeviensderio WRInaute passionné
    Inscrit:
    29 Septembre 2006
    Messages:
    1 062
    J'aime reçus:
    0
    Il faut enlever la ligne blanche.
     
  9. stefcraft
    stefcraft Nouveau WRInaute
    Inscrit:
    10 Avril 2006
    Messages:
    3
    J'aime reçus:
    0
    ma ligne Blanche ?
     
  10. Jeviensderio
    Jeviensderio WRInaute passionné
    Inscrit:
    29 Septembre 2006
    Messages:
    1 062
    J'aime reçus:
    0
    Dans le fichier robots.txt.
    Les lignes vides doivent commencer par le symbole #
     
  11. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 910
    J'aime reçus:
    75
    Non, Jeviensderio répondait à bonitos.

    Toi tu n'a pas de robots.txt du tout.
     
  12. stefcraft
    stefcraft Nouveau WRInaute
    Inscrit:
    10 Avril 2006
    Messages:
    3
    J'aime reçus:
    0
    px tu me dire comment creer un fichier robot.TXT?
     
  13. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    Premièrement, les lignes vides peuvent être utilisées dans robots.txt et elles ne peuvent pas être remplacées par des lignes commençant par #. Une ligne vide sert de séparateur obligatoire entre deux groupes de commandes destinées à des robots différents. Une ligne commençant par un # est un commentaire et ne compte pas. Donc, dans ce cas-ci, il faut conserver la ligne vide.

    D'autre part, le problème de validation du robots.txt vient d'un bug de l'outil webmaster de Google qui ne connaît que Mediapartners-Google comme user agent pour le robot AdSense, alors que les docs Google utilisent indifféremment Mediapartners-Google ou Mediapartners-Google*. C'est l'astérisque qui perturbe les GWT! Donc il faut enlever l'* pour résoudre le problème.

    Jean-Luc
     
  14. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 910
    J'aime reçus:
    75
  15. bonitos
    bonitos Nouveau WRInaute
    Inscrit:
    4 Septembre 2007
    Messages:
    7
    J'aime reçus:
    0
    merci a vous meme si sa a pris longtemp pour une question mes sa a valu le coup merci encore

    cordialement bonitos
     
  16. Jeviensderio
    Jeviensderio WRInaute passionné
    Inscrit:
    29 Septembre 2006
    Messages:
    1 062
    J'aime reçus:
    0

    Dans la dernière spécification, les lignes blanches sont effectivement admises. Elle ne doivent pas remplacer les commentaires et je ne vois pas qu'elles soient requises entre des groupes.
    On peut les séparer par un commentaire si on veut, par une ligne blanche ou rien du tout.

    Je ne vois pas non plus qu'on puisse ajouter * à l'agent donc l'erreur doit bien venir de là.
     
  17. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 882
    J'aime reçus:
    0
    Ce que tu appelles "dernière spécification" est un brouillon (draft) de 1997, comme beaucoup de documents techniques sur Internet. Cette version de 1997 de la spécification n'a pas eu beaucoup de succès et le standard de fait est resté la spécification publiée par le même auteur (Martijn Koster) en 1994.

    Par exemple, si on considère Google, dans Comment utiliser un fichier robots.txt pour contrôler l'accès à mon site ?, on trouve un lien de référence vers la spécification de robots.txt utilisée par Google et elle date bien de 1994. Soit dit en passant, l'emploi de "Allow:" dans la spécification de 1997 est différent de celui préconisé par Google.

    Pour ce qui est de l'astérisque à la fin du user agent, voir Centre d'assistance AdSense - Comment autoriser l'accès à votre robot d'exploration.

    Jean-Luc
     
  18. Jeviensderio
    Jeviensderio WRInaute passionné
    Inscrit:
    29 Septembre 2006
    Messages:
    1 062
    J'aime reçus:
    0
Chargement...
Similar Threads - Probleme fichier robots Forum Date
Problème fichier robots.txt Problèmes de référencement spécifiques à vos sites 3 Novembre 2014
Problèmes indexation => fichiers robots.txt pourtant ok Crawl et indexation Google, sitemaps 17 Décembre 2012
Probleme fichier robots et google. Problèmes de référencement spécifiques à vos sites 10 Décembre 2012
Problème redirect 301 avec fichier htaccess URL Rewriting et .htaccess 19 Juillet 2018
Probleme des liens 404 au niveau du fichier htaccess Problèmes de référencement spécifiques à vos sites 6 Octobre 2017
Problème PDO pour afficher le contenu d'une requête située dans un autre fichier Développement d'un site Web ou d'une appli mobile 10 Mars 2017
Problème de blocage de téléchargement fichiers PDF avec htaccess URL Rewriting et .htaccess 9 Février 2015
Problème avec FTP: Suppression impossible des fichiers URL Rewriting et .htaccess 30 Décembre 2014
Problème hacking Wordpress - fichiers wp-sample.php et wp-admin/wp-user.php Débuter en référencement 30 Avril 2014
Problemes pour récupérer les fichiers en FTP d'infomaniak Administration d'un site Web 25 Février 2013