Scraper en masse les SERP

Discussion dans 'Débuter en référencement' créé par ChapeauNoir, 28 Octobre 2013.

  1. ChapeauNoir
    ChapeauNoir Nouveau WRInaute
    Inscrit:
    28 Octobre 2013
    Messages:
    5
    J'aime reçus:
    0
    Salut,

    Dans le cadre d'un projet pour les cours, j'aimerais lister toutes les pages d'un site (type Wikipedia). Plutôt que de programmer un bot qui suit les lien, ça me semble plus simple de récupérer ce que Google a déjà trouvé.
    Je voudrais donc récupérer tous les liens qui sortent pour la requête "site:monsite.com/categorie_visee/" (environ 20 000 liens).
    J'ai cherché pour Google mais les seuls outils que j'ai trouvé étaient limités à 100 liens. Si j'ai 1000 liens ce sera déjà suffisant pour mon étude, mais 100 c'est trop peu.
    Connaissez vous des programmes qui font ça ? (si c'est Yahoo par ex ça me va très bien aussi)

    Merci pour votre aide.
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 169
    J'aime reçus:
    345
  3. ChapeauNoir
    ChapeauNoir Nouveau WRInaute
    Inscrit:
    28 Octobre 2013
    Messages:
    5
    J'aime reçus:
    0
    Merci pour ce lien et pour la réactivité !
    Cependant je n'ai jamais fait de JS donc j'ai peur de galérer un peu (seulement php, c++).

    Je me penche sur ça dans tous les cas, mais si quelqu'un a un autre lien je reste preneur !
     
  4. rand0m
    rand0m WRInaute discret
    Inscrit:
    9 Octobre 2013
    Messages:
    194
    J'aime reçus:
    1
    Tu fais du PHP/C++ et tu demandes comment développer un scraper ? wtf ? En plus, si tu veux scraper 20k liens, t'as intérêt à avoir des proxys privés rotatifs de bonne qualité.
     
  5. ChapeauNoir
    ChapeauNoir Nouveau WRInaute
    Inscrit:
    28 Octobre 2013
    Messages:
    5
    J'aime reçus:
    0
    Salut rand0m,
    Je ne comprends pas trop ta réaction ? J'ai bien essayé de développer mon propre script mais je me fais tout de suite bloquer. Ça me semble donc raisonnable de chercher quelque chose de déjà fait par quelqu'un de plus compétent de moi.
     
Chargement...
Similar Threads - Scraper masse SERP Forum Date
Bots scrapers et impact SEO : comment les bloquer ? Crawl et indexation Google, sitemaps 21 Mai 2022
Votre avis sur rddz scraper et son utilité? Référencement Google 23 Avril 2013
Nouveau spam report "spécial scraper" Référencement Google 27 Août 2011
[Réglé] Insertion d'un Skyscraper dans fichier HTML Développement d'un site Web ou d'une appli mobile 13 Avril 2007
Outil de test de code HTTP en masse (sitemap ou liste d'URL) Référencement Google 19 Mai 2022
Liens annuaires en masse non désirés ! Netlinking, backlinks, liens et redirections 7 Février 2021
WordPress Désindexation en masse de mes pages Problèmes de référencement spécifiques à vos sites 1 Juillet 2020
Attaques sshd en masse : qui fait çà ? Administration d'un site Web 19 Mai 2020
résoudre un problème de "masse noire" Crawl et indexation Google, sitemaps 5 Avril 2020
Attendre des années avant de récupérer l'argent amassé sur adsense AdSense 23 Novembre 2019
Réglage nofollow sur des articles en masse Crawl et indexation Google, sitemaps 23 Juin 2019
Redirection 301 en masse pour booster le Quality Risk Netlinking, backlinks, liens et redirections 9 Novembre 2018
Masse de pages en noindex, nouveau critère pénalisant ? Débuter en référencement 30 Septembre 2018
Redirection de masse code 410 Htaccess URL Rewriting et .htaccess 19 Juin 2018
Strategie de masse Adwords, des outils? AdWords 27 Juin 2017
mailing de masse Administration d'un site Web 8 Août 2016
Twitter : désinscription de masse Twitter 20 Juillet 2016
1 fiche produit/déclinaison = duplicate content en masse ? Crawl et indexation Google, sitemaps 20 Avril 2016
Suppression en masse de mauvaises url Crawl et indexation Google, sitemaps 26 Novembre 2015
Redirection 301 en masse spécifique Administration d'un site Web 22 Novembre 2015