Robot.txt et erreur 404

Discussion dans 'Crawl et indexation Google, sitemaps' créé par xicor, 19 Juin 2003.

  1. xicor
    xicor Nouveau WRInaute
    Inscrit:
    21 Avril 2003
    Messages:
    13
    J'aime reçus:
    0
    Bonjlour,

    J'ai repéré la ligne suivante dans mes logs:
    64.68.82.68 web10 - [19/Jun/2003:00:26:50 +0200] "GET /robots.txt HTTP/1.0" 404 283 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)".

    Le 404 n'est pas erreur 404?

    Pourtant j'ai bien le fichier robot.txt suivant à la racine de mon site:


    Code:
    # Allow all 
    User-agent: * 
    Disallow:/pdf/
    Disallow:/baseline.html
    Disallow:/blanc.html
    Disallow:/nav.html
    Disallow:/construction.html
    Disallow:/construction_merci.html
    Disallow:/xls/
    Merci pour votre aide.
     
  2. Vortex
    Vortex WRInaute discret
    Inscrit:
    27 Mai 2003
    Messages:
    72
    J'aime reçus:
    0
    il manque pas un 'S' à ton fichier robotS.txt ?????
     
  3. cdpdf
    cdpdf WRInaute impliqué
    Inscrit:
    11 Mars 2003
    Messages:
    729
    J'aime reçus:
    0
    c'est bete mais c'est comme cela
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 720
    J'aime reçus:
    779
  5. xicor
    xicor Nouveau WRInaute
    Inscrit:
    21 Avril 2003
    Messages:
    13
    J'aime reçus:
    0
    honte à moi, il manquait bien un S

    Désolé pour le dérangement

    merçi
     
  6. Vortex
    Vortex WRInaute discret
    Inscrit:
    27 Mai 2003
    Messages:
    72
    J'aime reçus:
    0
    Pas grave... je t'avouerai que moi, la premiere fois que j'ai voulu mettre un robots.txt, je savais pas si il fallait un S ou pas... du coup j'ai mis 2 fichiers, un avec le S, l'autre sans :)
     
  7. hetzeld
    hetzeld WRInaute passionné
    Inscrit:
    2 Décembre 2002
    Messages:
    1 586
    J'aime reçus:
    0
    Ce n'aurait pas été plus simple de chercher sur Google ? :lol:
     
  8. Mies Van der Rohe
    Mies Van der Rohe WRInaute passionné
    Inscrit:
    7 Décembre 2002
    Messages:
    1 163
    J'aime reçus:
    0
    Par rapport à ça, je trouve en effet qui'il est beaucoup plus préis de chercher via Google que de chercher avec le moteur interne du forum. pas vous?
     
  9. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 720
    J'aime reçus:
    779
    si c'est vraiment le cas je désactive l'indexation du forum car ça prend au moins 50% de l'espace disque dans la base de données (phpBB).
    autant laisser Google travailler !
     
  10. vincent Fraternet
    vincent Fraternet Nouveau WRInaute
    Inscrit:
    9 Janvier 2004
    Messages:
    3
    J'aime reçus:
    0
    Bonjour,

    Je reviens sur le probléme concernant le fichier robots.txt.

    Certains moteurs comme Yahoo! Slurp et Pompos (par exemple). Lors de l'appel du fichier robots.txt, ils retournent une erreur 404.

    Voici les infos sur le fichier
    [kiki@bibi]# cat robots.txt
    User-agent: *
    Disallow:/analog-docs/
    Disallow:/cgi-bin/

    [kiki@bibi]# file robots.txt
    robots.txt: ASCII text

    68.142.251.145 - [17/Jun/2005:16:55:55 +0200] www.xxxxxxxxxx "GET /robots.txt HTTP/1.0" 404 11737 0 32696 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

    Je comprend pas bien pourquoi, ça me retourne une erreur 404 ?

    Vincent
     
  11. vincent Fraternet
    vincent Fraternet Nouveau WRInaute
    Inscrit:
    9 Janvier 2004
    Messages:
    3
    J'aime reçus:
    0
    J'ai commis une petite erreur.

    C'est cette syntax
    User-agent: *
    Disallow: /analog-docs/
    Disallow: /cgi-bin/

    et non
    User-agent: *
    Disallow:/analog-docs/
    Disallow:/cgi-bin/

    Ca décolle maintenant.
     
  12. Amaryllid
    Amaryllid WRInaute discret
    Inscrit:
    9 Avril 2005
    Messages:
    154
    J'aime reçus:
    0
    Je ne crois pas.
    L'espace ou "blanc" qui suit User-agent: et Disallow: est facultatif.
    Ca doit être écrit là dedans :
    http://www.robotstxt.org/wc/norobots.html

    PS : Est-ce qu'il ne faudrait pas éditer le titre (robot.txt) pour ne pas induire des débutants en erreur s'il ne lisent pas le fil ? (en ajoutant un gros S par exemple).
     
  13. jeanluc
    jeanluc WRInaute accro
    Inscrit:
    3 Mai 2004
    Messages:
    2 875
    J'aime reçus:
    0
    Bonjour,

    Cette erreur veut dire que le fichier robots.txt n'est pas présent sur ton système... donc pas la peine de parler de son contenu, puisque le fichier n'est pas là ou pas à la bonne place ou pas lisible ou pas avec le bon nom de fichier. :wink:

    Jean-Luc
     
  14. vincent Fraternet
    vincent Fraternet Nouveau WRInaute
    Inscrit:
    9 Janvier 2004
    Messages:
    3
    J'aime reçus:
    0
    Erreur 404 sur robots.txt

    Effectivement, c'était bien Apache qui était mal configuré !!

    Désolé, du dérangement !
     
Chargement...
Similar Threads - Robot erreur 404 Forum Date
/%5C et /\\ dans les log des erreurs 404 des robots Problèmes de référencement spécifiques à vos sites 14 Septembre 2003
Robot, erreur 404 et redirection Administration d'un site Web 1 Juin 2003
erreurs robots.txt Crawl et indexation Google, sitemaps 23 Décembre 2020
Rattraper une erreur robot.txt Crawl et indexation Google, sitemaps 17 Septembre 2016
27 erreurs à éviter sur la meta robots noindex et les URL canoniques Crawl et indexation Google, sitemaps 9 Mai 2016
les erreurs du robot Domain Re-Animator Administration d'un site Web 18 Août 2015
[Robots.txt] Réindéxer un site suite à une erreur dans le fichier robots.txt Crawl et indexation Google, sitemaps 23 Janvier 2015
Robots de Google gênés par erreur FastCGI ? Débuter en référencement 26 Août 2014
Comment corriger des erreurs d'url détectées par le robot de google Problèmes de référencement spécifiques à vos sites 25 Avril 2014
GWT - erreurs d'exploration qui explosent - robots.txt Débuter en référencement 12 Juin 2013
Erreur rencontrée par googlebot dans fichier robots inexistant Crawl et indexation Google, sitemaps 19 Août 2012
Erreur Fichier Robots.txt > désindexation de site Problèmes de référencement spécifiques à vos sites 7 Août 2012
Fichier robots.txt : erreurs d'analyse dans GWT Crawl et indexation Google, sitemaps 19 Janvier 2012
WMT : erreur URL à accès restreint par un fichier robots.txt Crawl et indexation Google, sitemaps 15 Août 2011
Erreurs Fichier Robots.txt Crawl et indexation Google, sitemaps 26 Octobre 2010
[RESOLU] Erreur Google : Impossible d'atteindre robots.txt Problèmes de référencement spécifiques à vos sites 26 Octobre 2008
Erreur GG :URL à accès restreint par robots.txt Crawl et indexation Google, sitemaps 28 Juin 2008
[resolu]erreur 403 sur l'acces au robot.txt et l'index.php Crawl et indexation Google, sitemaps 20 Août 2007
Sitemap sur OSC --> google trouve une erreur robot.txt Crawl et indexation Google, sitemaps 14 Juin 2007
Robots.txt qui fait des erreurs apache Débuter en référencement 7 Septembre 2006