à partir de php4 http://php.net/manual/fr/ref.domxml.phpbadboy lam a dit:
Je leur ai demandé à 3 reprises mais pas de réponse, ils font le mort
ben quoi, tu défends donc les positions de monopole, c'est ça ?
toto2525 a dit:
le contenu que je cherche à récupérer automatiquement sur leur site est accessible sur leur site par tous les membres (il n'y a donc rien d'illégal à récupérer cette info !), je pourrais faire cette opération de mise à jour manuellement en TOUTE légalité chaque mois, mais le problème c'est qu'il existe plus de 10 000 catégories de produits, donc imaginez un peu le temps que ça me prendrait manuellement, c'est donc pas un problème d'illégalité mais c'est plus un soucis de récupérer automatiquement (via des requêtes et des regex pour traiter dans leur code html l'info qui m'intéresse) cette info qui est accessible par tous les membres qui se connectent sur leur site !
toto2525 a dit:
Faux : puisque je peux obtenir ces infos de façon manuelles et légales en me connectant sur leur site, ils NOUS fournissent ces infos sur leur site. Ce qui est chiant c'est leurs récupérations : manuellement c'est possible en faisant des copier-coller ; automatiquement ça bloque à cause du code qu'ils ont mis et qui bloque le parsage. Je ne cherche pas à faire quelque chose d'illégal mais juste à automatiser la façon de récupérer ces infos qui sont accessibles par tous les membres de ce site. Je ne cherche pas non plus à revendre ces infos, elles me servent juste à mon propre usage, c'est tout !
toto2525 a dit:
Effectivement si tu es abonné au site lemonde.fr et que tu paies pour lire des articles sur leur site et que tu mettes en place un système automatique qui récupére ces articles de presses pour les mettre sur ton site, c'est pas légale du tout ! Mais dans mon cas, et je le répète, cet abonement est unique au monde, il est indispensable au bon déroulement de notre activité, ils ont un réel monopole ! Je tiens à préciser que je suis dans un domaine d'activité bien particulier qui représente des enjeux économiques qui se chiffrent en milliards d'euros, à ma connaissance il n'y a AUCUN autre secteur d'activité qui se trouve dans le même cas de figure que nous.
Si telle était la raison, alors c'est complètement stupide puisque je peux récupérer ces infos manuellement et légalement sur leur nouveau site. C'est qu'une question de méthode de récupération (automatique ou manuelle), je ne vois pas en quoi ça les dérangent ! La récupération de ces infos est périodique : tous les 15 jours ou tous les mois.
J'en suis à 3 emails sans réponses de leur part
.<?php
ini_set("max_execution_time", 0);
require_once 'simple_html_dom.php';
$id = 1;
$html = new simple_html_dom();
while($id < 500)
{
$html->load_file("http://www.arretsurimages.net/vite.php?id=$id");
$html->find('div[class=bloc-vite-gratuit-2]',0);
$html->find('a[class=typo-vite-titre]',0);
$link = $html->find('a[class=typo-vite-titre]',0);
if ($link != "")
{
echo($link);
echo '<br/>';
}
$id++;
}
?>$html->load_file("http://www.arretsurimages.net/vite.php?id=$id");<?php
header("Content-Type: text/html; charset=utf-8");
ini_set("max_execution_time", 0);
// On appele le parser pour parcourir la page
require_once 'simple_html_dom.php';
// Connection à la base My Sql
require_once 'connecMysql.php';
mysql_query("SET NAMES UTF8");
// Création d'un objet dom document
$id = 1;
$html = new simple_html_dom();
// Boucle sur tout les éléments de la base extranet
while($id <= 2787)
{
$url = "https://extranet.edqm.eu/4DLink1/4DCGI/web_view/mono/$id";
$file = @fopen($url, 'r');
// On test si le fichier existe ou non
if ($file)
//Si il exite en commencer à parser la page et récupérer les données
{
$html->load_file($url);
// Sur ces 5 je parcours les lignes du tableau pour me positionner sur l'élément souhaité.
$monoNumber = $html->find('td', 5)->plaintext;
$englishName = $html->find('td', 7)->plaintext;
$frenchName = $html->find('td', 9)->plaintext;
$latinName = $html->find('td', 11)->plaintext;
$PhEurStatus = $html->find('td', 17)->plaintext;
// On test si le status n'est pas plus grand que 1, cela nous permet de savoir si un texte est aussi présent.
if(strlen($PhEurStatus) > 1 ){$PhEurDeleted = 1;} else {$PhEurDeleted = 0;}}
else
// SI le fichier n'existe pas alors on ajoute une ligne vide avec l'id pour de futur modification.
{
$monoNumber = $id;
$englishName = "";
$frenchName = "";
$latinName = "";
$PhEurStatus = "";
}
// Ligne de test(désactivé)
// echo $monoNumber." ".$englishName." ".$frenchName. " ".$latinName." ".$PhEurStatus."<br/>";
// Requête d'ajout de nos données et gestion des doublons avec ON DUPLICATE KEY UPDATE, si un doublon
// est détecté la requête se transforme en update.
$query = "INSERT INTO substances(PhEurMonograph,TermName,PhEurStatus,PhEurDeleted) VALUES('$monoNumber','$frenchName','$PhEurStatus', '$PhEurDeleted')
ON DUPLICATE KEY UPDATE PhEurMonograph=$monoNumber";
// On execute la fonction
$result = mysql_query($query);
// On ferme le fichier et livère la mémoire.
fclose($file);
// On incrément l'id de 1 pour changer de document.
$id++;
}
?>
normal elle est publiquetoto2525 a dit:
Parce que tu pense qu'ayant fourni un login / mdp dans ton navigateur, ton script (qui s'exécute je sais pas où) va bénéficier de ta connection ?toto2525 a dit:
mais je pense refaire un post à moins que tu sache m'envoyer la solution en live .while($id <= 20)
{
$url = "https://extranet.edqm.eu/4DLink1/4DCGI/web_view/mono/$id";
$file = @fopen($url, 'r');
// On test si le fichier existe ou non
if ($file)
//Si il exite en commencer à parser la page et récupérer les données
{
$html->load_file($url);
// Sur ces 5 je parcours les lignes du tableau pour me positionner sur l'élément souhaité.
$monoNumber = $html->find('td', 5)->plaintext;
$englishName = $html->find('td', 7)->plaintext;
$frenchName = $html->find('td', 9)->plaintext;
$latinName = $html->find('td', 11)->plaintext;
$PhEurStatus = $html->find('td', 17)->plaintext;
// On test si le status n'est pas plus grand que 1, cela nous permet de savoir si un texte est aussi présent.
if(strlen($PhEurStatus) > 1 ){$PhEurDeleted = 1;} else {$PhEurDeleted = 0;}
}
// Ligne de test(désactivé)
// echo $monoNumber." ".$englishName." ".$frenchName. " ".$latinName." ".$PhEurStatus."<br/>"; // Pour test
// Requète d'ajout de no données et gestion des doublons avec ON DUPLICATE KEY UPDATE, si un doublon
// est détécté la requète se transforme en update.
$query = "INSERT INTO substances(PhEurMonograph,TermName,PhEurStatus,PhEurDeleted) VALUES('$monoNumber','$frenchName','$PhEurStatus', '$PhEurDeleted')
ON DUPLICATE KEY UPDATE PhEurMonograph=$monoNumber";
// On execute la fonction
$result = mysql_query($query);
// On ferme le fichier et livère la mémoire.
fclose($file);
// On incrément l'id de 1 pour changer de document.
$id++;
}
