Robots.txt fantôme ?

A
Anonymous
Guest
Dans le fichier web.log de notre site larkconsultants.com, je trouve une ligne isolée concernant un crawler de Google
crawler10.googlebot.com - - [23/Nov/2002:05:21:48 +0100] "GET /robots.txt HTTP/1.0" 302 221 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
Il me semble que 302 est le code de réponse à la demande du fichier robots.txt, et qu'il signifie Found.
Si cette supposition :?: est juste, elle est surprenante car le site ne contient aucun fichier robots.txt.
D'ailleurs, le crawler quitte le site après cette unique demande.

Je serais reconnaissant pour tout commentaire, car j'essaie comprendre pourquoi notre site, existant depuis onze mois, n'est pas visible chez Google.

Jacek
 
WRInaute occasionnel
Salut,

Les 3XX ce sont les redirections et effectivement larkconsultants.com/robots.txt redirige bien une page "File Not Found".

Essayes de mettre un robots.txt comme celui là:
Code:
# Allow all 
User-agent:  * 
Disallow:

Mirgolth
 
A
Anonymous
Guest
Mirgolth,

Comme j'ai appris chez -www.searchengineworld.com/robots/robots_tutorial.htm, robots.txt fait partie de The Robots Exclusion Standard, et, si je comprends bien :?: , son absence veut dire "Toutes pages admises pour les robots".
Donc, le robots.txt que vous proposez, paraît superflu.

Jacek
 
A
Anonymous
Guest
tu rediriges temporairement ( 302 ) vers une autre url qui n'a pas du tout la bonne syntaxe. Il y a de quoi rendre un robot perplexe...

Mirgolth,

La psychanalyse de robots me dépasse, mais je comprends votre remarque comme un bienveillant conseil.
Je viens de créer ce robots.txt sur le site.

Merci beaucoup,
Jacek
 
WRInaute discret
Je vous confirme qu'il vaut mieux avoir un fichier robots.txt qui ne sert pas toujours que d'avoir une redirection automatique est peut etre préjudiciable.

et ce n'est pas 1 ko qui vont allourdir le site :)
 
A
Anonymous
Guest
...il vaut mieux avoir un fichier robots.txt qui ne sert pas toujours que d'avoir une redirection automatique est peut etre préjudiciable.

C'est de cette manière que j'ai compris le bienveillant conseil de Mirgolth.

Jacek
 
WRInaute passionné
Mirgolth a dit:
Les 3XX ce sont les redirections et effectivement larkconsultants.com/robots.txt redirige bien une page "File Not Found".

Bonjour,

Le code 301 est une redirection permanente, alors que le 302 est une redirection temporaire.Par exemple, dans le cas d'un hébergement OVH, comme tous les sites web sont "clusterisés", on a automatiqument un code 302 pour toutes les pages.
Le 302 a pour but de faire savoir au navigateur/moteur que la page ne se trouve pas forcément à la même adresse physique (le même chemin serveur) et est un code "found" au même titre que le code 200.

Dan
 
WRInaute passionné
Anonymous a dit:
Mirgolth,
Comme j'ai appris chez -www.searchengineworld.com/robots/robots_tutorial.htm, robots.txt fait partie de The Robots Exclusion Standard, et, si je comprends bien :?: , son absence veut dire "Toutes pages admises pour les robots".
Donc, le robots.txt que vous proposez, paraît superflu.
Jacek
C'est vrai que sous cette syntaxe là, il n'est pas indispensable!
Sa présence évite d'avoir un fichier log qui se remplit d'erreurs 404 à chaque fois que le fichier robots.txt est requis.

Dan
 
Discussions similaires
Haut