Bonjour,
Je développe un crawler qui indexe les annonces de différents sites de petites annonces.
Pour ce faire, je n'ai à priori pas trouvé d'outils existants aussi, pour le moment c'est un développement php MySQL maison.
Le problème que je rencontre concerne le séquencement des requêtes exécutées... Je ne vois absolument pas comment règler ce point la...
La problématique est multiple:
Comment crawler un site sans risquer de l'effondrer...?
Comment exploiter au maximum les ressources que j'ai à disposition...?
Je pense que toutes les personnes qui ont un jour développé un crawler se sont posé ces questions et doivent avoir des éléments de réponse ;-)
D'avance merci pour vos conseils et commentaires ;-)
Je développe un crawler qui indexe les annonces de différents sites de petites annonces.
Pour ce faire, je n'ai à priori pas trouvé d'outils existants aussi, pour le moment c'est un développement php MySQL maison.
Le problème que je rencontre concerne le séquencement des requêtes exécutées... Je ne vois absolument pas comment règler ce point la...
La problématique est multiple:
Comment crawler un site sans risquer de l'effondrer...?
Comment exploiter au maximum les ressources que j'ai à disposition...?
Je pense que toutes les personnes qui ont un jour développé un crawler se sont posé ces questions et doivent avoir des éléments de réponse ;-)
D'avance merci pour vos conseils et commentaires ;-)