Exporter les résultats Google comme avec Yahoo

Nouveau WRInaute Inscrit le: 25 Oct 2007 Messages: 13

Bonjour à tous,

J'ai fouillé le catalogue API de Google à la recherche d'une API qui me permettrait d'exporter les résultats de recherche. J'ai vu qu'une API existait mais qu'on ne distribuait plus de cliés pour l'utiliser Sad

Dans Yahoo, il existe une possibilité d'exporter des résultats en fichier TSV, c'est pas mal du tout, ça répond assez bien à ce que je voudrais faire mais pour mes besoins Yahoo semble indexer moins de pages que Google.

J'ai essayé d'utiliser Google Alert sur les domaines pour lesquels j'aimerais être avertis des changements et je reçois effectivement des alertes mais elles ne m'apportent rien car la plupart du temps, je ne suis pas averti des changements et quand je reçois une alerte, c'est pour une url que je connais déjà.

Pour expliquer plus concretement mon besoin, voici un peu plus d'explication.
Mon site (http://www.mobilemultimedia.be) héberge des caractéristiques de téléphones portables et réunir ces informations me demande du temps de recherche. Ce que j'aimerais donc c'est de mettre en place quelque chose qui surveille l'apparition de nouveaux téléphones dans les répertoires où les constructeurs déposent habituellement les fichiers qui m'intéressent. Je peux le faire indirectement avec Yahoo via l'export en TSV mais comme je l'ai dit, Yahoo n'indexe pas assez ce genre d'information.

Quelqu'un a une idée?

Merci!
Laurent

il n'y a pas de flux rss correspondant?

Nouveau WRInaute Inscrit le: 25 Oct 2007 Messages: 13

merci pour vos réponses.

Jacques, je sais effectivement où ils mettent l'info mais ils n'autorisent bien évidemment pas le directory listing, ce serait trop facile Sad

je suis donc obligé d'attendre qu"un moteur vienne indexer leurs fichiers. J'ai essayé de parser les résultats de Google mais quand j'ingère la page de résultat, j'ai Google qui s'énerve et qui me dit qu'il me soupçonne d'être un robot. Donc à moins qu'il existe une méthode particulière pour parser le html de Google, je me retrouve un peu coincé Sad

Laurent

Nouveau WRInaute Inscrit le: 25 Oct 2007 Messages: 13

Jacques, trouver la page d'origine serait le rêve mais je pense plutôt qu'ils doivent bosser avec un fichier sitemap ou un truc dans le genre, encore faut-il trouver où ils l'ont caché. Je ne comprends d'ailleurs pas pourquoi ils ne communiquent pas un peu plus à ce sujet. Les fichiers sont des fichiers xml mais qui ont un nom qui contient à chaque fois la marque et le modèle de téléphone donc pas possible de trouver une séquence qui permettrait de les rapatrier tous.

...par contre pour ta requete vers google, ça m'intéresse Smile

que mets-tu dans ta requête ? J'ai déjà essayé de construire des requêtes POST qui envoient le user agent de Firefox ou IE mais Google me rejette à chaque fois, je ne fais pourtant qu'une seule requête à la fois.

Nouveau WRInaute Inscrit le: 25 Oct 2007 Messages: 13

Leonick, j'ai fait les requetes à partir de mon serveur apache local sur mon pc donc j'imagine que le problème ne vient pas de là mais je n'y avais pas pensé, c'est pas bête!

Jacques, c'est vraiment très très con ce que je vais dire mais j'avais tout simplement pas pensé faire une requête en GET parce que je voulais éviter des conversions de caractères hasardeuses sur des variables comme le user agent. Je vais essayer ça ce week-end, merci d'avoir éclairé ma ptit lanterne Smile

Nouveau WRInaute Inscrit le: 25 Oct 2007 Messages: 13

merci les gars, j'ai réussi à faire ce que je voulais faire. Pour ceux que ça intéresse, voici un script permettant de récuperer les urls dans une page de résultat Google:

function GetToHost($link) {
$http_response = "";
$url = parse_url($link);
$fp = fsockopen($url[host], 80, $err_num, $err_msg, 30) or
die("Socket-open failed--error: ".$err_num." ".$err_msg);
fputs($fp, "GET $url[path]?$url[query] HTTP/1.0\r\n");
fputs($fp, "Host: host.org\r\n\r\n");
fputs($fp, "Connection: Close\r\n");
while(!feof($fp)) {
$http_response .= fgets($fp, 128);
}
fclose($fp);
return $http_response;
}

$test=GetToHost("http://www.google.com/search?hl=fr&num=100&q=VOTRE_SITE_A_CHERCHER");
echo $test;
$test=preg_match_all("%http://[a-zA-Z0-9\_\.\?\/\-]+\.(html|php|asp|AJOUTER ICI LES EXTENSIONS)%",$test,$matches);
echo "insert into inconnu (uaprof) values ";
foreach($matches[0] as $cle=>$val)
{
echo "('$val'),<br/>";

}

Et voilà!

Exporter les résultats Google comme avec Yahoo

Autres sujets de discussion :