Requêtes file_get_contents bloquées par Google

[welcominh]

Bonjour,

je développe actuellement un petit méta moteur qui utilise les résultats de google.
J'ai ma ligne en php qui ressemble à ceci:

$contenu_url= @file_get_contents('https://www.google.com/search?q='.$mot_cle_google);

Mais google semble bloquer cette requete. En affichant la variable $contenu_url, j'ai ce message:

Google
Error

We're sorry...

... but your query looks similar to automated requests from a computer virus or spyware application. To protect our users, we can't process your request right now.

We'll restore your access as quickly as possible, so try again soon. In the meantime, if you suspect that your computer or network has been infected, you might want to run a virus checker or spyware remover to make sure that your systems are free of viruses and other spurious software.

If you're continually receiving this error, you may be able to resolve the problem by deleting your Google cookie and revisiting Google. For browser-specific instructions, please consult your browser's online support center.

If your entire network is affected, more information is available in the Google Web Search Help Center.

We apologize for the inconvenience, and hope we'll see you again on Google.

Mon site est encore en développement. Pas de visiteurs encore donc.
Je précise que cela marche sur mon compte free. J'ai pris un hébergement sur OVH pour ce site. Et sur ovh là j'ai cette erreur.

Savez-vous comment je peux régler ce problème?
Merci beaucoup.

 

[biddybulle]

google ne souhaite pas que ton site aspire tout son contenu et donc il t'affiche ce message.

 

[welcominh]

Oui j'avais compris. Mais impossible de régler ce probleme? Ca fonctionne pourtant sur free.
Et il me semble déjà avoir entendu parler de méta moteur se basant sur les résultats de google :?

Concernant mon algo, je ne récupère d'ailleurs que la 1ere page des résultats de google.

 

[biddybulle]

Ca marche chez free parce que Google accepte les requête en masse de cette hébergeur. Il te faut donc obtenir une ip autorisée à faire de nombreuses requêtes automatisés sur la 1er page de google.

Une API était en effet disponible à une certaine époque pour faire un certain nombre de requête par jour. Il y a sans doute des solutions notamment dans ce topic :

https://www.webrankinfo.com/forum/t/google-et-requetes-automatiques.89033/

 

[ecocentric]

a pu api. plus possible d'avoir de clef.
donc, tu te rabats sur l'api yahoo, ou tu te fais plus discret quand tu fais des requêtes automatiques (au passage, meta Google en requête auto, j'y crois moyen, sauf accord avec google, leur filtre anti-robot est très bon).

 

[welcominh]

Plus discret tu meurs, je viens de recevoir mon hébergement et je teste à peine.
Je viens de tester également sur l'hébergeur d'un ami. C'est un hébergeur américain. Le site fonctionne bel et bien.
Google n'accepte pas les requetes en masse de ovh? En ce qui concerne le topic cité, biddybulle, je ne m'y connais pas vraiment en data center live. (si j'ai compris c'est pour l'histoire des ip autorisées).

 

[biddybulle]

tu peux envoyer 2000 requêtes avec le site de ton ami chez Google et si elle passe me donner le nom de son hébergeur.

Merci

 

[ecocentric]

Plus discret tu meurs, je viens de recevoir mon hébergement et je teste à peine.
Je viens de tester également sur l'hébergeur d'un ami. C'est un hébergeur américain. Le site fonctionne bel et bien.
Google n'accepte pas les requetes en masse de ovh? En ce qui concerne le topic cité, biddybulle, je ne m'y connais pas vraiment en data center live. (si j'ai compris c'est pour l'histoire des ip autorisées).

google semble bloquer de manière assez sélective. sur certains types de requêtes, tu peux y aller franchement. sur d'autres, même en mettant une temporisation, tu te fais capter. jouer avec le user_agent peut aider, en combinant avec une tempo. ai également l'impression que certaines ip sont bloquées plus vite. bref, difficile de comprendre comment ça marche et impossible de garantir une quelconque qualité de service dans ces conditions.

 

[welcominh]

biddybulle> je ne sais pas si 2000 requetes c'est beaucoup, mais je ne peux pas tester. Mon ami a déja quelques souci de dépassement de bande passante. J'aimerais lui éviter d'autres désagréments (il compte d'ailleurs changer d'hébergeur). Mais si tu veux savoir quel hébergeur il s'agit de hostmonster.com :wink:

hum du coup, il ne semble pas avoir de solution. Et dire que j'ai pris un hébergement rien que pour ce site :?
Le compte free n'étant pas assez solide...
En attendant je cherche toujours une solution...euh sans bidouillage