Requetes sur /robots.txt puis plus rien.

WRInaute discret
Bonjour,

dans mes logs j'ai remarqué de nombreux appels a /robots.txt, j'ai dabord pensé a un moteur de recherche mais il semble que ce soient les navigateurs de certains internautes qui font ces requetes. Et curieusement, cela n'est pas suivi d'une visite, juste le robots.txt puis plus rien 8O

J'imagine que je ne dois pas etre le seul, est ce que l'un d'entre vous sait pourquoi cela arrive et a quoi cela peut bien servir :?:

Merci.

Ben
http://www.sur-la-toile.com/
 
Olivier Duffez (admin)
Membre du personnel
Bonjour et bienvenue sur ce forum !
Ce fichier sert à indiquer aux robots d'indexation les pages ou répertoires à indexer et ceux à ne pas indexer (enfin pour les robots qui respectent ce protocole !).
Ce fichier est accessible à tous, tu peux donc t'inspirer du fichier /robots.txt sur n'importe quel site.
Je sens qu'un petit topo là-dessus intéresserait du monde...
 
WRInaute discret
Merci pour ta réponse.

Oui, je sais a quoi sert le fichier en lui meme mais je me demande pourquoi un navigateur voudrait le lire?

Je ne pense pas que ce soit des internautes qui accedent directement au fichier car mon site est tres recent et peu connu, pourtant cela arrive frequemment.

Je crois avoir trouve une explication, il pourrait s'agir de MSIECrawler, si j'ai bien compris il sagit du programme qui rends les pages disponibles hors connexion pour Internet Explorer. Mais je me demande malgre tout pourquoi il verifie le fichier robots.txt sans rien faire ensuite. Si il chargeait les pages ensuite ce serait plus logique...

Ben
http://www.sur-la-toile.com
 
Discussions similaires
Haut