Lecture Header avec CURL et outil WRI

Discussion dans 'Développement d'un site Web ou d'une appli mobile' créé par saluts92, 25 Janvier 2020.

  1. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    828
    J'aime reçus:
    32
    @WebRankInfo est il possible de savoir quels paramètres CURL (si tu me confirmes bien que ton outil de lecture d'entete utilise bien CURL, mais j'ai eu l'info que oui) tu utilises s'il te plait ?

    En effet j'ai besoin de tester des entetes et pour un petit pourcentage cela ne passe pas pour certain site qui utilise des solutions tierces pour filtrer ou non certaines origines

    Par exemple pour l'URL
    Code:
    https://www.monoprix.fr/mode/pantalon-chino-coupe-straight-monoprix-homme-3532097-p
    je n'y arrive pas malgré de nombreux tests (surtout au niveau du user_agent)
    et ton outil renvoi toujours le code 200 (tant espéré)

    Merci
     
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 077
    J'aime reçus:
    295
  3. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    828
    J'aime reçus:
    32
    ils sont forts chez WRI
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 850
    J'aime reçus:
    457
    oui j'utilise CURL. j'en sais rien pourquoi j'obtiens un code 200 et pas d'autres outils...

    j'envoie ces headers :
    Code:
    Accept-Encoding: gzip,deflate
    Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
    Accept-Language: fr-fr,fr;q=0.7,en-us;q=0.5,en;q=0.3
    Keep-Alive: 300
     
  5. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    828
    J'aime reçus:
    32
    merci, mais n'aurais tu, s'il te plait, pas les options CURL que tu envoies plutot ?
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 850
    J'aime reçus:
    457
    je ne sais pas du tout si ce sont les bonnes options, j'en doute même. Si d'autres ont des suggestions je suis preneur
    Code:
    CURLOPT_ENCODING, 'gzip,deflate'
    CURLOPT_HEADER, true
    CURLINFO_HEADER_OUT, true
    CURLOPT_VERBOSE, true
    CURLOPT_CONNECTTIMEOUT, 5
    CURLOPT_TIMEOUT, 15
    CURLOPT_RETURNTRANSFER, true
    CURLOPT_SSL_VERIFYPEER, false
    CURLOPT_USERAGENT, $user_agent
    CURLOPT_HTTPHEADER, $header
    
     
    spout apprécie ceci.
  7. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 533
    J'aime reçus:
    205
    Moi je n'ai même pas accès à monoprix.fr (Access Denied), ils doivent bloquer tout un tas d'IPs (et je suis je ne suis pas en Europe).
     
  8. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    828
    J'aime reçus:
    32
    je vais tester, mais ce qui est sur c'est que tu es plus fort que nous pour l'instant..;)
     
  9. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    828
    J'aime reçus:
    32
    il n'y a pasque monoprix qui bloque, mais systématiquement l'outil WRI retourne une réponse (et ça m'agace ...:))
     
  10. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    828
    J'aime reçus:
    32
    ça serait abusé de ma part de te demander le contenu de ta variable $header s'il te plait ?

    je pense que le "secret" est dedans, car j'ai testé tous tes autres paramètres sans succès
     
    #10 saluts92, 26 Janvier 2020
    Dernière édition: 26 Janvier 2020
  11. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 533
    J'aime reçus:
    205
    C'est certainement ce qu'il a mis plus haut (à mettre dans un tableau en php) :

     
  12. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    828
    J'aime reçus:
    32
    j'ai réussi à le faire passer sur ma machine de test mais avec un seul user-agent : Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36

    sur ma machine de PROD ça ne passe pas, je suis certainement blacklisté

    je constate aussi (enfin) que l'outil WRI, avec certains user-agent (tel que Googlebot), ça ne fonctionne pas non plus
     
Chargement...
Similar Threads - Lecture Header CURL Forum Date
Balise Audio et lectures successives sur iOS Développement d'un site Web ou d'une appli mobile 14 Avril 2020
Outils de lecture de positionnement Référencement Google 20 Janvier 2020
Automatiser l’écriture et la lecture sur les Réseaux Sociaux Développement d'un site Web ou d'une appli mobile 19 Janvier 2020
Serveur adapté pour lecture vidéo sur pic de visiteurs Demandes d'avis et de conseils sur vos sites 2 Décembre 2019
Lecture entete HTTP avec CURL et 403 Développement d'un site Web ou d'une appli mobile 31 Octobre 2019
Blog - avis de lecture Demandes d'avis et de conseils sur vos sites 5 Septembre 2018
lecture mkv sous chrome Développement d'un site Web ou d'une appli mobile 4 Septembre 2016
Lecture aléatoire des vidéos de mon site avec IE Développement d'un site Web ou d'une appli mobile 23 Janvier 2015
Interdire la lecture d'un fichier "texte image"aux Robot txt Débuter en référencement 1 Mars 2013
Lecture données d'une SESSION PHP différente de celle en cours Développement d'un site Web ou d'une appli mobile 14 Février 2013