Robot.txt et erreur 404

[xicor]

Bonjlour,

J'ai repéré la ligne suivante dans mes logs:
64.68.82.68 web10 - [19/Jun/2003:00:26:50 +0200] "GET /robots.txt HTTP/1.0" 404 283 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)".

Le 404 n'est pas erreur 404?

Pourtant j'ai bien le fichier robot.txt suivant à la racine de mon site:

# Allow all 
User-agent: * 
Disallow:/pdf/
Disallow:/baseline.html
Disallow:/blanc.html
Disallow:/nav.html
Disallow:/construction.html
Disallow:/construction_merci.html
Disallow:/xls/

Merci pour votre aide.

 

[Vortex]

il manque pas un 'S' à ton fichier robotS.txt ?????

 

[cdpdf]

c'est bete mais c'est comme cela

 

[WebRankInfo]

on dirait bien, car le fichier http://www.mon-petitmonde.com/robots.txt n'existe pas
https://www.webrankinfo.com/dossiers/indexation/20-ans-robots-txt

 

[xicor]

honte à moi, il manquait bien un S

Désolé pour le dérangement

merçi

 

[Vortex]

Pas grave... je t'avouerai que moi, la premiere fois que j'ai voulu mettre un robots.txt, je savais pas si il fallait un S ou pas... du coup j'ai mis 2 fichiers, un avec le S, l'autre sans

 

[hetzeld]

Pas grave... je t'avouerai que moi, la premiere fois que j'ai voulu mettre un robots.txt, je savais pas si il fallait un S ou pas... du coup j'ai mis 2 fichiers, un avec le S, l'autre sans

Ce n'aurait pas été plus simple de chercher sur Google ? :lol:

 

[Mies Van der Rohe]

Par rapport à ça, je trouve en effet qui'il est beaucoup plus préis de chercher via Google que de chercher avec le moteur interne du forum. pas vous?

 

[WebRankInfo]

Par rapport à ça, je trouve en effet qui'il est beaucoup plus préis de chercher via Google que de chercher avec le moteur interne du forum. pas vous?

si c'est vraiment le cas je désactive l'indexation du forum car ça prend au moins 50% de l'espace disque dans la base de données (phpBB).
autant laisser Google travailler !

 

[vincent Fraternet]

Bonjour,

Je reviens sur le probléme concernant le fichier robots.txt.

Certains moteurs comme Yahoo! Slurp et Pompos (par exemple). Lors de l'appel du fichier robots.txt, ils retournent une erreur 404.

Voici les infos sur le fichier
[kiki@bibi]# cat robots.txt
User-agent: *
Disallow:/analog-docs/
Disallow:/cgi-bin/

[kiki@bibi]# file robots.txt
robots.txt: ASCII text

68.142.251.145 - [17/Jun/2005:16:55:55 +0200] www.xxxxxxxxxx "GET /robots.txt HTTP/1.0" 404 11737 0 32696 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

Je comprend pas bien pourquoi, ça me retourne une erreur 404 ?

Vincent

 

[vincent Fraternet]

J'ai commis une petite erreur.

C'est cette syntax
User-agent: *
Disallow: /analog-docs/
Disallow: /cgi-bin/

et non
User-agent: *
Disallow:/analog-docs/
Disallow:/cgi-bin/

Ca décolle maintenant.

 

[Amaryllid]

J'ai commis une petite erreur.

Je ne crois pas.
L'espace ou "blanc" qui suit User-agent: et Disallow: est facultatif.
Ca doit être écrit là dedans :
http://www.robotstxt.org/wc/norobots.html

PS : Est-ce qu'il ne faudrait pas éditer le titre (robot.txt) pour ne pas induire des débutants en erreur s'il ne lisent pas le fil ? (en ajoutant un gros S par exemple).

 

[jeanluc]

Certains moteurs comme Yahoo! Slurp et Pompos (par exemple). Lors de l'appel du fichier robots.txt, ils retournent une erreur 404.

Bonjour,

Cette erreur veut dire que le fichier robots.txt n'est pas présent sur ton système... donc pas la peine de parler de son contenu, puisque le fichier n'est pas là ou pas à la bonne place ou pas lisible ou pas avec le bon nom de fichier. :wink:

Jean-Luc

 

[vincent Fraternet]

Erreur 404 sur robots.txt

Effectivement, c'était bien Apache qui était mal configuré !!

Désolé, du dérangement !