Lecture Header avec CURL et outil WRI

Discussion dans 'Développement d'un site Web ou d'une appli mobile' créé par saluts92, 25 Janvier 2020.

  1. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    922
    J'aime reçus:
    40
    @WebRankInfo est il possible de savoir quels paramètres CURL (si tu me confirmes bien que ton outil de lecture d'entete utilise bien CURL, mais j'ai eu l'info que oui) tu utilises s'il te plait ?

    En effet j'ai besoin de tester des entetes et pour un petit pourcentage cela ne passe pas pour certain site qui utilise des solutions tierces pour filtrer ou non certaines origines

    Par exemple pour l'URL
    Code:
    https://www.monoprix.fr/mode/pantalon-chino-coupe-straight-monoprix-homme-3532097-p
    je n'y arrive pas malgré de nombreux tests (surtout au niveau du user_agent)
    et ton outil renvoi toujours le code 200 (tant espéré)

    Merci
     
    #1 saluts92, 25 Janvier 2020
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 153
    J'aime reçus:
    324
    #2 spout, 25 Janvier 2020
  3. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    922
    J'aime reçus:
    40
    ils sont forts chez WRI
     
    #3 saluts92, 25 Janvier 2020
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 333
    J'aime reçus:
    577
    oui j'utilise CURL. j'en sais rien pourquoi j'obtiens un code 200 et pas d'autres outils...

    j'envoie ces headers :
    Code:
    Accept-Encoding: gzip,deflate
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: fr-fr,fr;q=0.7,en-us;q=0.5,en;q=0.3
Keep-Alive: 300
     
    #4 WebRankInfo, 25 Janvier 2020
  5. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    922
    J'aime reçus:
    40
    merci, mais n'aurais tu, s'il te plait, pas les options CURL que tu envoies plutot ?
     
    #5 saluts92, 25 Janvier 2020
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 333
    J'aime reçus:
    577
    je ne sais pas du tout si ce sont les bonnes options, j'en doute même. Si d'autres ont des suggestions je suis preneur
    Code:
    CURLOPT_ENCODING, 'gzip,deflate'
CURLOPT_HEADER, true
CURLINFO_HEADER_OUT, true
CURLOPT_VERBOSE, true
CURLOPT_CONNECTTIMEOUT, 5
CURLOPT_TIMEOUT, 15
CURLOPT_RETURNTRANSFER, true
CURLOPT_SSL_VERIFYPEER, false
CURLOPT_USERAGENT, $user_agent
CURLOPT_HTTPHEADER, $header
     
    #6 WebRankInfo, 25 Janvier 2020
    spout apprécie ceci.
  7. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 679
    J'aime reçus:
    250
    Moi je n'ai même pas accès à monoprix.fr (Access Denied), ils doivent bloquer tout un tas d'IPs (et je suis je ne suis pas en Europe).
     
    #7 rick38, 25 Janvier 2020
  8. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    922
    J'aime reçus:
    40
    je vais tester, mais ce qui est sur c'est que tu es plus fort que nous pour l'instant..;)
     
    #8 saluts92, 25 Janvier 2020
  9. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    922
    J'aime reçus:
    40
    il n'y a pasque monoprix qui bloque, mais systématiquement l'outil WRI retourne une réponse (et ça m'agace ...:))
     
    #9 saluts92, 25 Janvier 2020
  10. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    922
    J'aime reçus:
    40
    ça serait abusé de ma part de te demander le contenu de ta variable $header s'il te plait ?

    je pense que le "secret" est dedans, car j'ai testé tous tes autres paramètres sans succès
     
    #10 saluts92, 26 Janvier 2020
    Dernière édition: 26 Janvier 2020
  11. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 679
    J'aime reçus:
    250
    C'est certainement ce qu'il a mis plus haut (à mettre dans un tableau en php) :

     
    #11 rick38, 26 Janvier 2020
  12. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    922
    J'aime reçus:
    40
    j'ai réussi à le faire passer sur ma machine de test mais avec un seul user-agent : Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36

    sur ma machine de PROD ça ne passe pas, je suis certainement blacklisté

    je constate aussi (enfin) que l'outil WRI, avec certains user-agent (tel que Googlebot), ça ne fonctionne pas non plus
     
    #12 saluts92, 26 Janvier 2020
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Lecture Header CURL Forum Date
Balise Audio et lectures successives sur iOS Développement d'un site Web ou d'une appli mobile 14 Avril 2020
Outils de lecture de positionnement Référencement Google 20 Janvier 2020
Automatiser l’écriture et la lecture sur les Réseaux Sociaux Développement d'un site Web ou d'une appli mobile 19 Janvier 2020
Serveur adapté pour lecture vidéo sur pic de visiteurs Demandes d'avis et de conseils sur vos sites 2 Décembre 2019
Lecture entete HTTP avec CURL et 403 Développement d'un site Web ou d'une appli mobile 31 Octobre 2019
Blog - avis de lecture Demandes d'avis et de conseils sur vos sites 5 Septembre 2018
lecture mkv sous chrome Développement d'un site Web ou d'une appli mobile 4 Septembre 2016
Lecture aléatoire des vidéos de mon site avec IE Développement d'un site Web ou d'une appli mobile 23 Janvier 2015
Interdire la lecture d'un fichier "texte image"aux Robot txt Débuter en référencement 1 Mars 2013
Lecture données d'une SESSION PHP différente de celle en cours Développement d'un site Web ou d'une appli mobile 14 Février 2013