À propos du robot.txt

[Sehrus]

Bonjour !

Quand je regarde mes visites sur webstatistic de 1and1, j'ai toujours + ou - 125 lectures de mon robots.txt.

Les bots des moteurs de recherches peuvent passer aussi souvent ou es-ce quelque chose d'autre qui peut provoquer ça ? :?

Merci de me répondre !

 

[datch]

Personnellement je pense que c'est les robots car google est la toute la journée.

dc c fort possible que ca soit les robots si ton site est bien référencé..

 

[Sehrus]

Merci !

Je ne savais pas que google avait autant de robots 8O

 

[datch]

tu peux faire des traceroutes pour savoir qui c'est.

 

[jeanluc]

C'est les bots de Yahoo! Search et Live.com qui sont les plus acharnés pour lire et relire robots.txt. Ils le lisent des dizaines de fois par jour, en fait, à chaque fois qu'ils viennent lire quelques pages. Googlebot le lit aussi mais beaucoup moins souvent.

Jean-Luc