Automatisation des requêtes GG et blacklistage/captcha

[filemon]

Je souhaite extraire la position d'un site sur une requete précise (ou une autre info, genre le nombre de résultats trouvés, ou nb de backlinks) sur Google en créant une requete HTTP puis un peu d'expressions régulieres. Jusque là pas de soucis.

J'obtiens les données que je veux pour 1 ou quelques sites. Le problème survient quand je veux "processer" une base de sites (10000 URL environ)" afin de les analyser successivement. En effet Google restreint le nb de requetes par IP. Du coup il active le captcha et en gros je ne peux plus rien faire.

Pourtant des soft comme AgentWebRank permettent de checker des combinaisons URL x mot clés sans problèmes en créant des milliers de requetes successives et cela sans etre inquiété

J'ai bien tenté d'utiliser différents proxy dans mes requetes, rien de bien concluant.

Quelqu'un aurait une idée ?

merci

 

[UsagiYojimbo]

Pourtant des soft comme AgentWebRank permettent de checker des combinaisons URL x mot clés sans problèmes en créant des milliers de requetes successives et cela sans etre inquiété
i

J'ai le souci avec AgentWebRanking justement.

 

[filemon]

J'ai le souci avec agentwebranking justement.

Pourtant si j'en crois la fiche produit AgentWebRanking

Nombre de mot-clés et d’url illimités : Les recherches se font sur un nombre de mot-clés ( et phrases-clés) et d’url illimités. Ajoutez autant de mots ou d'expressions nécessaires à l'analyse du positionnement.

On m'aurait menti ?

 

[oliv63]

Le nombre de requêtes est limité par google par ip et par période.

Donc c'est tout à fait normal...

Moi j'utilise -www.webmaster-referencement.com qui est gratuit (conntre un backlink) qui te fais le suivi au jour le jour, et no souci

 

[u8086]

Tiens Oliv, puisque tu en parles :lol:
T'as pas de souci en concentrant les requêtes pour plein de rapports ?

 

[filemon]

Le nombre de requêtes est limité par google par ip et par période.

Donc c'est tout à fait normal...

Moi j'utilise -www.webmaster-referencement.com qui est gratuit (conntre un backlink) qui te fais le suivi au jour le jour, et no souci

OK mais justement comment fais Webmaster Referencement ? (en esperant pour lui qu'il a au moins plusieurs centaines ou milliers de requetes par jour)

 

[bproductiv]

As tu une clé pour l'API google déjà?

 

[filemon]

As tu une clé pour l'API google déjà?

Oui biensur j'ai une clé Google Search classic

mais la n'est pas la question car je ne passe pas par l'API, vu qu'il y a une limitation à 1000 queries par jour, ce qui est bien en deçà de mes besoins.

Je souhaiterais savoir a la rigueur si quelqu'un connait la limite autorisée de recherche par IP/jour par Google, sachant qu'ils doivent savoir que des entreprises utilisent 1 IP parfois pour 500 employés derriere un firewall.

 

[f_trt]

Je souhaiterais savoir a la rigueur si quelqu'un connait la limite autorisée de recherche par IP/jour par Google, sachant qu'ils doivent savoir que des entreprises utilisent 1 IP parfois pour 500 employés derriere un firewall.

Oui mais cela pose certainement moins de problème qu'un programme qui lui provoque certainement de gros pics, as tu essayer de temporiser un peu par exemple 100 requetes puis un sleep de 10 secondes ou alors tu lance peut-être aussi des requètes en simultanées ?
Attention je pense cela mais je n'ai aucune expérience la dedans.

 

[yvan02]

il y a bien une soluce

 

[filemon]

il y a bien une soluce

mais encore ?

 

[filemon]

Mr Duffez ou son compère de Ranking Metrics aurait-il un avis à ce probleme ?