Projet de crawler

Discussion dans 'Crawl et indexation Google, sitemaps' créé par blanchonvincent, 25 Septembre 2013.

  1. blanchonvincent
    blanchonvincent Nouveau WRInaute
    Inscrit:
    25 Septembre 2013
    Messages:
    2
    J'aime reçus:
    0
    Bonjour,

    J'ai un projet de crawler open source (non utilisable dans un cadre commercial !) et je souhaiterais des contributeurs, car je n'aurais pas le temps de tout développer tout seul, et le but est aussi de partager de l’expérience avec d'autres développeurs.
    Voici le projet : https://github.com/blanchonvincent/SearchEngineCrawler.

    Chacun est le bienvenu, que ce soit pour contribuer, tester ou tout autre aider :)
    Cette initiative est né d'une envie de tirer de la puissance des composants de Zend Framework 2 et d'approfondir la compréhension sur le crawl sur google (et les autres moteurs). Ce crawler n'a pas pour objectif d'être une alternative aux solutions existantes, car il faut déployer toute une architecture derrière, mais ça peut permettre de vérifier quelques positions :)

    Le projet est déjà bien avancé, il y a surement quelques bugs, les tests unitaires sont disponibles dans la répertoire "tests". Le projet s'installe en 2 lignes de commande, donc n'hésitez pas à le tester :)

    Voilà, hésitez pas à me contacter si vous êtes intéressé, ça permettra de vous guider et de vous aider à comprendre la logique de développement.

    Merci à tous ceux qui prendront un moment de leur temps pour aider ce projet à avancer :)
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 960
    J'aime reçus:
    278
    J'appellerais plutôt ça un "scraper" qu'un "crawler" non ?
     
  3. blanchonvincent
    blanchonvincent Nouveau WRInaute
    Inscrit:
    25 Septembre 2013
    Messages:
    2
    J'aime reçus:
    0
Chargement...
Similar Threads - Projet crawler Forum Date
Projet : Crawler de site pour mise en cache chez Fasterize Développement d'un site Web ou d'une appli mobile 7 Septembre 2017
Projet de recommandation CNIL, dévoilé le 14 janvier 2020 Monétisation d'un site web 6 Février 2020
Dotclear - projet communautaire open-source a besoin de vous Développement d'un site Web ou d'une appli mobile 29 Juin 2017
Pétition SaveTheLink contre un projet de l'Europe de taxe sur les liens Internet Le café de WebRankInfo 21 Janvier 2017
Que fait un chef de projet seo chez l'annonceur ? Débuter en référencement 21 Juillet 2016
Outils de CRM ? Outils de gestion de projets ? Le café de WebRankInfo 20 Avril 2016
Demande d'avis sur un projet de blog Demandes d'avis et de conseils sur vos sites 2 Février 2016
Participez au projet de loi numérique, RDV demain Paris e-commerce 15 Octobre 2015
finalisation d'un projet Droit du web (juridique, fiscalité...) 15 Octobre 2015
CMS de gestion de projets Administration d'un site Web 21 Juillet 2015
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice