Benoit1 WRInaute passionné 18 Juillet 2005 #1 Salut, depuis quelques temps je trouve dans mes stats un bot qui ne crawl des dizaines de fois le robot txt. A quoi ça sert je me le demandes ?
Salut, depuis quelques temps je trouve dans mes stats un bot qui ne crawl des dizaines de fois le robot txt. A quoi ça sert je me le demandes ?
Benoit1 WRInaute passionné 18 Juillet 2005 #3 KaZhaR a dit: host ? il crawl uniquement le robots.txt ? Cliquez pour agrandir... Oui -Unknown robot (identified by hit on 'robots.txt') 0+195 795.98 Ko le 0 étant (ou devant être les hits) les + 195 sont les passages sur le robots.txt. Les autres bots passent dans tout le site bien sûr.
KaZhaR a dit: host ? il crawl uniquement le robots.txt ? Cliquez pour agrandir... Oui -Unknown robot (identified by hit on 'robots.txt') 0+195 795.98 Ko le 0 étant (ou devant être les hits) les + 195 sont les passages sur le robots.txt. Les autres bots passent dans tout le site bien sûr.
