probléme file_get_contents

Discussion dans 'Développement d'un site Web ou d'une appli mobile' créé par monandroid, 4 Octobre 2019.

  1. monandroid
    monandroid Nouveau WRInaute
    Inscrit:
    27 Septembre 2019
    Messages:
    3
    J'aime reçus:
    0
    Bonjour,
    j'ai un problème avec le site leboncoin.fr quand j'utilise ( file_get_contents)

    Code:
    $homepage = file_get_contents('https://www.leboncoin.fr');
    echo $homepage;
    ou

    Code:
    ini_set('user_agent', 'Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.1) Gecko/20090615 Firefox/3.5');
        $homepage = file_get_contents('https://www.leboncoin.fr');
        echo $homepage;
    
    le message : Warning: file_get_contents(https://www.leboncoin.fr): failed to open stream: HTTP request failed! HTTP/1.0 403 Forbidden
     
  2. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    2 056
    J'aime reçus:
    364
    Leboncoin bloque les scripts de scraping.
     
  3. passion
    passion WRInaute accro
    Inscrit:
    6 Janvier 2006
    Messages:
    3 924
    J'aime reçus:
    191
    Si tu y vas à la méthode bourrin, c'est certain que tu vas être boulé par leur serveur.
    Je ne sais pas si c'est du scraping de masse ou juste quelques infos de temps à autre... mais une chose est sûr, tu auras plus de chances si tu simules la navigation "humaine".
    Commence par utiliser plutôt du curl et de ne pas oublier de mettre un user-agent et une tempo entre chaque requête.
    Have fun :)
     
    KOogar apprécie ceci.
  4. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    2 056
    J'aime reçus:
    364
    Même avec curl et un user-agent ça ne marchera pas pour Leboncoin.
    Ils en ont eu un peu marre de tous les sites qui viennent leur piquer leurs annonces...
    Il y a sans doute une solution mais il faudra bien chercher...
    Quel est le but ici ?
     
  5. passion
    passion WRInaute accro
    Inscrit:
    6 Janvier 2006
    Messages:
    3 924
    J'aime reçus:
    191
    Tu as l'air d'en parler avec expérience, tu en as fait les frais ? :p
     
  6. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    2 056
    J'aime reçus:
    364
    Dans une boîte de merde que j'ai quittée, j'ai vu passer un projet comme ça. Scrapper Leboncoin, Airbnb et d'autres, pour faire une base de données à jour des évolutions des prix immobiliers... Même quand on arrive à scrapper, on est bloqué après x pages par heure, ils ont mis plein d'astuces pour décourager la copie de leur site.
    Puis un projet qui repose sur le pompage d'autres sites je trouve ça malsain et sans intérêt pour un dev, bref moi j'ai dit "niet, faites-le faire par d'autres".
     
  7. passion
    passion WRInaute accro
    Inscrit:
    6 Janvier 2006
    Messages:
    3 924
    J'aime reçus:
    191
    Moi c'était pages jaunes ;)
     
  8. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 181
    J'aime reçus:
    351
    Il faut faire ça avec Puppeteer.
     
  9. monandroid
    monandroid Nouveau WRInaute
    Inscrit:
    27 Septembre 2019
    Messages:
    3
    J'aime reçus:
    0
Chargement...
Similar Threads - probléme file_get_contents Forum Date
Méthode file_get_contents php - Problème de géocoding yahoo Développement d'un site Web ou d'une appli mobile 26 Novembre 2009
Problème de htaccess chez Ionos URL Rewriting et .htaccess 12 Septembre 2022
Problème sur jquery avec fonction asynchrone Développement d'un site Web ou d'une appli mobile 6 Septembre 2022
Problème de crawl et d'indexation Crawl et indexation Google, sitemaps 1 Septembre 2022
WordPress Problème affichage style avec Elementor (titre, bordures, separateur) Administration d'un site Web 8 Août 2022
Problème d'indexation de backlinks Débuter en référencement 24 Juillet 2022
Problème d'indexation de backlinks Problèmes de référencement spécifiques à vos sites 21 Juillet 2022
Probleme de visibilité de ma page Facebook Facebook 5 Juillet 2022
problème avec le développeur Droit du web (juridique, fiscalité...) 22 Juin 2022
Problème désindexation des pages de Google Débuter en référencement 21 Juin 2022
Problème d'indexation de pages sur Google Problèmes de référencement spécifiques à vos sites 31 Mai 2022
problème de redirection non souhaitée Administration d'un site Web 28 Avril 2022
Problème d'indexation Produits Prestashop Crawl et indexation Google, sitemaps 28 Avril 2022
Problème d'affichage des campagnes Google Ads dans un tableau de bord Data Studio AdWords 26 Avril 2022
Problème de vitesse d'affichage des pages sur Analytics Google Analytics 26 Avril 2022
Problème : Google Crawl et Index des pages en No Index et bloqué par le robot.txt Crawl et indexation Google, sitemaps 26 Avril 2022
Problème avec GA4 : nb de visiteurs temps réel et par jour Google Analytics 19 Avril 2022
Problème indexation pages précises en React.js Débuter en référencement 19 Avril 2022
Problème de référencement Demandes d'avis et de conseils sur vos sites 8 Avril 2022
Problème adsence : Annonces ne s'affichent plus AdSense 10 Mars 2022