Cherche de l'aide pour interroger Google Search API (webservice)

[loran750]

Bonjour,

je m'arrache les cheveux (tant mieux, je dois passer chez le coiffeur).
Je cherche à obtenir pour une liste de mots clés le nombre total de résultats ("Résultats 1 à 10 sur un total d'environ 1234567890").
Jusque là, je le faisais en "scrappant" la page de google ("https://www.google.fr/search?q=domaine").
Le problème, c'est que c'est lent et que si on va trop vite, on se fait blacklister au moins 1 heure par Google *

Donc, j'attaque par les webservices de "Google Search API".
Et là, le paramètre "estimatedResultCount" est sensé donné le nombre total de résultat **.
Le problème : ce n'est pas le cas, et d'autre part, il est complètement buggé ***.

Ma question : existe-t-il une une autre méthode pour obtenir le nombre total de résultat d'une requête à Google Search ?

lolo

* J'ai tenté de faire tourner mes requêtes sur une 50aine de datacenters. ça ne marche pas, Google n'est pas con et considère qu'un appel vers 50 datacenters = 50 appels vers Google bien tenté petit scarabée.
De même, j'ai tenté de passer par des proxies mais je me heurte aux timeout ou à des blacklists déjà existants, même en utilisant des High Anonymous/Elite proxies.

** exemple : 148000 résultats pour webrankinfo au lieu de 500000 : http://ajax.googleapis.com/ajax/services/search/web?v=2.0&q=webrankinf ... utf-8&aq=t

*** une recherche sur google suffit à trouver plein de personnes dans mon cas...http://code.google.com/p/google-ajax-apis/issues/detail?id=32

 

[WebRankInfo]

c'est vrai que ce serait bien mais de toutes façons ce nombre n'est pas fiable non plus dans l'interface web...
c'est pour quoi faire ?

 

[loran750]

Hello

Dans le cadre d'activités de référencement j'ai une méthode assez efficace pour déterminer mathématiquement les mots clés pour un site internet. Je vais pas détailler, mais c'est la valeur ajouté qui fait la différence (ça repose sur une 10aine d'indicateurs dont certains proviennent de mes outils perso, et j'ai une classification assez précise proche de la validation du client).

Et tout ça me prend environ 4 à 6 heures. Le temps consommé, ce sont les appels à Google ainsi que des manipulations sous Excel

Bref, et à un moment donné, j'ai besoin d'avoir le nombre d'occurrences du mot clé sur Google.
Comme mon étude porte sur plusieurs milliers de mots clés, cela prend du temps à générer. Et j'aimerai avoir les résultats en quelques minutes maximum...

En attendant, j'ai trouvé une méthode pas terrible : j'utilise des webproxy (successivement) pour interroger Google... C'est désespérément lent mais ça m'évite d'être blacklisté par Google. Et on oublie la pause entre 2 appels à Google ... le blacklistage est aéatoire et bloque le serveur au minimum 1 heure.

ps : impossible d'utiliser l'API, car si je cherche "webrankinfo", ça me sort 148 000 occurrences au lieu d'environ 470 000 à 500 000 sur Google