Lecture Header avec CURL et outil WRI

[saluts92]

@WebRankInfo est il possible de savoir quels paramètres CURL (si tu me confirmes bien que ton outil de lecture d'entete utilise bien CURL, mais j'ai eu l'info que oui) tu utilises s'il te plait ?

En effet j'ai besoin de tester des entetes et pour un petit pourcentage cela ne passe pas pour certain site qui utilise des solutions tierces pour filtrer ou non certaines origines

Par exemple pour l'URL

https://www.monoprix.fr/mode/pantalon-chino-coupe-straight-monoprix-homme-3532097-p

je n'y arrive pas malgré de nombreux tests (surtout au niveau du user_agent)
et ton outil renvoi toujours le code 200 (tant espéré)

Merci

 

[spout]

Idem avec mon outil : https://toolki.com/fr/headers qui utilise Guzzle, pas de réponse.

 

[saluts92]

ils sont forts chez WRI

 

[WebRankInfo]

oui j'utilise CURL. j'en sais rien pourquoi j'obtiens un code 200 et pas d'autres outils...

j'envoie ces headers :

Accept-Encoding: gzip,deflate
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: fr-fr,fr;q=0.7,en-us;q=0.5,en;q=0.3
Keep-Alive: 300

 

[saluts92]

j'envoie ces headers :

merci, mais n'aurais tu, s'il te plait, pas les options CURL que tu envoies plutot ?

 

[WebRankInfo]

je ne sais pas du tout si ce sont les bonnes options, j'en doute même. Si d'autres ont des suggestions je suis preneur

CURLOPT_ENCODING, 'gzip,deflate'
CURLOPT_HEADER, true
CURLINFO_HEADER_OUT, true
CURLOPT_VERBOSE, true
CURLOPT_CONNECTTIMEOUT, 5
CURLOPT_TIMEOUT, 15
CURLOPT_RETURNTRANSFER, true
CURLOPT_SSL_VERIFYPEER, false
CURLOPT_USERAGENT, $user_agent
CURLOPT_HTTPHEADER, $header

 

[rick38]

Moi je n'ai même pas accès à monoprix.fr (Access Denied), ils doivent bloquer tout un tas d'IPs (et je suis je ne suis pas en Europe).

 

[saluts92]

je ne sais pas du tout si ce sont les bonnes options

je vais tester, mais ce qui est sur c'est que tu es plus fort que nous pour l'instant..

 

[saluts92]

Moi je n'ai même pas accès à monoprix.fr (Access Denied),

il n'y a pasque monoprix qui bloque, mais systématiquement l'outil WRI retourne une réponse (et ça m'agace ...)

 

[saluts92]

CURLOPT_HTTPHEADER, $header

ça serait abusé de ma part de te demander le contenu de ta variable $header s'il te plait ?

je pense que le "secret" est dedans, car j'ai testé tous tes autres paramètres sans succès

 

[rick38]

C'est certainement ce qu'il a mis plus haut (à mettre dans un tableau en php) :

Accept-Encoding: gzip,deflate
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: fr-fr,fr;q=0.7,en-us;q=0.5,en;q=0.3
Keep-Alive: 300

 

[saluts92]

j'ai réussi à le faire passer sur ma machine de test mais avec un seul user-agent : Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36

sur ma machine de PROD ça ne passe pas, je suis certainement blacklisté

je constate aussi (enfin) que l'outil WRI, avec certains user-agent (tel que Googlebot), ça ne fonctionne pas non plus