Scraper en masse les SERP

Discussion dans 'Débuter en référencement' créé par ChapeauNoir, 28 Octobre 2013.

  1. ChapeauNoir
    ChapeauNoir Nouveau WRInaute
    Inscrit:
    28 Octobre 2013
    Messages:
    5
    J'aime reçus:
    0
    Salut,

    Dans le cadre d'un projet pour les cours, j'aimerais lister toutes les pages d'un site (type Wikipedia). Plutôt que de programmer un bot qui suit les lien, ça me semble plus simple de récupérer ce que Google a déjà trouvé.
    Je voudrais donc récupérer tous les liens qui sortent pour la requête "site:monsite.com/categorie_visee/" (environ 20 000 liens).
    J'ai cherché pour Google mais les seuls outils que j'ai trouvé étaient limités à 100 liens. Si j'ai 1000 liens ce sera déjà suffisant pour mon étude, mais 100 c'est trop peu.
    Connaissez vous des programmes qui font ça ? (si c'est Yahoo par ex ça me va très bien aussi)

    Merci pour votre aide.
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 190
    J'aime reçus:
    333
  3. ChapeauNoir
    ChapeauNoir Nouveau WRInaute
    Inscrit:
    28 Octobre 2013
    Messages:
    5
    J'aime reçus:
    0
    Merci pour ce lien et pour la réactivité !
    Cependant je n'ai jamais fait de JS donc j'ai peur de galérer un peu (seulement php, c++).

    Je me penche sur ça dans tous les cas, mais si quelqu'un a un autre lien je reste preneur !
     
  4. rand0m
    rand0m WRInaute discret
    Inscrit:
    9 Octobre 2013
    Messages:
    198
    J'aime reçus:
    0
    Tu fais du PHP/C++ et tu demandes comment développer un scraper ? wtf ? En plus, si tu veux scraper 20k liens, t'as intérêt à avoir des proxys privés rotatifs de bonne qualité.
     
  5. ChapeauNoir
    ChapeauNoir Nouveau WRInaute
    Inscrit:
    28 Octobre 2013
    Messages:
    5
    J'aime reçus:
    0
    Salut rand0m,
    Je ne comprends pas trop ta réaction ? J'ai bien essayé de développer mon propre script mais je me fais tout de suite bloquer. Ça me semble donc raisonnable de chercher quelque chose de déjà fait par quelqu'un de plus compétent de moi.
     
Chargement...
Similar Threads - Scraper masse SERP Forum Date
Facebook n'arrive pas à "scraper" ma page web Facebook 20 Septembre 2015
Votre avis sur rddz scraper et son utilité? Référencement Google 23 Avril 2013
Nouveau spam report "spécial scraper" Référencement Google 27 Août 2011
Liens annuaires en masse non désirés ! Netlinking, backlinks, liens et redirections 7 Février 2021
WordPress Désindexation en masse de mes pages Problèmes de référencement spécifiques à vos sites 1 Juillet 2020
Attaques sshd en masse : qui fait çà ? Administration d'un site Web 19 Mai 2020
résoudre un problème de "masse noire" Crawl et indexation Google, sitemaps 5 Avril 2020
Attendre des années avant de récupérer l'argent amassé sur adsense AdSense 23 Novembre 2019
Réglage nofollow sur des articles en masse Crawl et indexation Google, sitemaps 23 Juin 2019
Redirection 301 en masse pour booster le Quality Risk Netlinking, backlinks, liens et redirections 9 Novembre 2018