Bonjour,
Le freshbot se dechaine,enfin à mon échelle. Et il passe sur des pages qui n'ont jamais été crawlé auparavant. Je pensais que c'éait surtout le deepbot qui suivait les liens et indexaient les nouvelles pages. En fait, le freshbot a l'air de faire la même chose de maniére systématique (et donc décharge sans doute le deepbot d'une partie de son boulot)
François
Le freshbot se dechaine,enfin à mon échelle. Et il passe sur des pages qui n'ont jamais été crawlé auparavant. Je pensais que c'éait surtout le deepbot qui suivait les liens et indexaient les nouvelles pages. En fait, le freshbot a l'air de faire la même chose de maniére systématique (et donc décharge sans doute le deepbot d'une partie de son boulot)
François