Nouveau WRInaute
Bonjour à tous,
Je viens de mettre en place su mon site en place un sytème pour détécter les accès des robots au robots.txt. Grâce à ce système, j'enregistre les IPs dans une base, et je pourrai donc les suivre tout au long de leur visite.
Le problème, c'est que d'après ce que j'ai pu lire partout sur les forums, les robots ne passent pas à chaque fois dans robots.txt.
D'ou, m'a question : savez-vous si google ou slurp, etc... peuvent après avoir lu le robots.txt une première fois, revenir lors d'un crawl ultérieur avec une adresse DIFFERENTE de celle utilisée la première fois, et ceci SANS passer par le robots.txt ?
En gros, le robots.txt se propage-t-il dans les fermes de spiders ou est-ce que chacun gère sa propre copie de robots.txt ?
Merci si vous avez des réponses... et bonne vacances à tous !
Je viens de mettre en place su mon site en place un sytème pour détécter les accès des robots au robots.txt. Grâce à ce système, j'enregistre les IPs dans une base, et je pourrai donc les suivre tout au long de leur visite.
Le problème, c'est que d'après ce que j'ai pu lire partout sur les forums, les robots ne passent pas à chaque fois dans robots.txt.
D'ou, m'a question : savez-vous si google ou slurp, etc... peuvent après avoir lu le robots.txt une première fois, revenir lors d'un crawl ultérieur avec une adresse DIFFERENTE de celle utilisée la première fois, et ceci SANS passer par le robots.txt ?
En gros, le robots.txt se propage-t-il dans les fermes de spiders ou est-ce que chacun gère sa propre copie de robots.txt ?
Merci si vous avez des réponses... et bonne vacances à tous !
