Création d'un ROBOT crawler

[tsaong]

Bonjour tout le monde
je pense que cette une information que beaucoup de personnes recherchent, mais je souhaitais savoir comment faire pour creer un "robot" afin de rechercher des sites dans un domaine precis!

Je ne sais pas si je suis très clair!
l'idée est de pouvoir crawler le web à la recherche de sites dans un domaine précis!

si quelqu'un à des idées, avec plaisirs!!!
@+

 

[jcaron]

Un robot qui "crawle" ne fait que lire des pages et suivre des liens. Donc il faut un point de départ (ou plusieurs) et que tous les sites que tu recherches soient accessibles en suivant des liens sur ces sites (récursivement).

Maintenant, c'est ce que les moteurs de recherche font, et ils ont crawlé des milliards de pages, les ont indexés et triés, donc le plus simple pour trouver les sites que tu cherches est probablement d'utiliser ces moteurs plutôt que de réinventer la roue, non?

Sinon il va falloir nous expliquer ce que tu veux faire "de plus" ou différemment...

Jacques.

 

[tsaong]

A aujourdh'ui j'édite un site internet avec un certains nombre liens et donc de sites!
Cependant, la recherche manuel commence à être plutot difficile pour trouver de nouveaux sites!
Donc je me disait pourquoi pas la robotiser!

J'ai besoin de mettre à jour ma database régulièrement, et j'ai besoin de plus en plus de temps pour effectuer les MàJ!
Donc si quelqu'un à une idée!!! Welcome