Requêtes file_get_contents bloquées par Google

Discussion dans 'Développement d'un site Web ou d'une appli mobile' créé par welcominh, 11 Avril 2008.

  1. welcominh
    welcominh Nouveau WRInaute
    Inscrit:
    13 Juillet 2006
    Messages:
    22
    J'aime reçus:
    0
    Bonjour,

    je développe actuellement un petit méta moteur qui utilise les résultats de google.
    J'ai ma ligne en php qui ressemble à ceci:
    Code:
    $contenu_url= @file_get_contents('https://www.google.com/search?q='.$mot_cle_google);
    
    Mais google semble bloquer cette requete. En affichant la variable $contenu_url, j'ai ce message:
    Mon site est encore en développement. Pas de visiteurs encore donc.
    Je précise que cela marche sur mon compte free. J'ai pris un hébergement sur OVH pour ce site. Et sur ovh là j'ai cette erreur.

    Savez-vous comment je peux régler ce problème?
    Merci beaucoup.
     
  2. biddybulle
    biddybulle WRInaute passionné
    Inscrit:
    30 Mai 2005
    Messages:
    1 428
    J'aime reçus:
    0
    google ne souhaite pas que ton site aspire tout son contenu et donc il t'affiche ce message.
     
  3. welcominh
    welcominh Nouveau WRInaute
    Inscrit:
    13 Juillet 2006
    Messages:
    22
    J'aime reçus:
    0
    Oui j'avais compris. Mais impossible de régler ce probleme? Ca fonctionne pourtant sur free.
    Et il me semble déjà avoir entendu parler de méta moteur se basant sur les résultats de google :?

    Concernant mon algo, je ne récupère d'ailleurs que la 1ere page des résultats de google.
     
  4. biddybulle
    biddybulle WRInaute passionné
    Inscrit:
    30 Mai 2005
    Messages:
    1 428
    J'aime reçus:
    0
    Ca marche chez free parce que Google accepte les requête en masse de cette hébergeur. Il te faut donc obtenir une ip autorisée à faire de nombreuses requêtes automatisés sur la 1er page de google.

    Une API était en effet disponible à une certaine époque pour faire un certain nombre de requête par jour. Il y a sans doute des solutions notamment dans ce topic :

    https://www.webrankinfo.com/forum/t/google-et-requetes-automatiques.89033/
     
  5. ecocentric
    ecocentric WRInaute accro
    Inscrit:
    10 Février 2004
    Messages:
    2 653
    J'aime reçus:
    0
    a pu api. plus possible d'avoir de clef.
    donc, tu te rabats sur l'api yahoo, ou tu te fais plus discret quand tu fais des requêtes automatiques (au passage, meta Google en requête auto, j'y crois moyen, sauf accord avec google, leur filtre anti-robot est très bon).
     
  6. welcominh
    welcominh Nouveau WRInaute
    Inscrit:
    13 Juillet 2006
    Messages:
    22
    J'aime reçus:
    0
    Plus discret tu meurs, je viens de recevoir mon hébergement et je teste à peine.
    Je viens de tester également sur l'hébergeur d'un ami. C'est un hébergeur américain. Le site fonctionne bel et bien.
    Google n'accepte pas les requetes en masse de ovh? En ce qui concerne le topic cité, biddybulle, je ne m'y connais pas vraiment en data center live. (si j'ai compris c'est pour l'histoire des ip autorisées).
     
  7. biddybulle
    biddybulle WRInaute passionné
    Inscrit:
    30 Mai 2005
    Messages:
    1 428
    J'aime reçus:
    0
    tu peux envoyer 2000 requêtes avec le site de ton ami chez Google et si elle passe me donner le nom de son hébergeur.

    Merci
     
  8. ecocentric
    ecocentric WRInaute accro
    Inscrit:
    10 Février 2004
    Messages:
    2 653
    J'aime reçus:
    0
    google semble bloquer de manière assez sélective. sur certains types de requêtes, tu peux y aller franchement. sur d'autres, même en mettant une temporisation, tu te fais capter. jouer avec le user_agent peut aider, en combinant avec une tempo. ai également l'impression que certaines ip sont bloquées plus vite. bref, difficile de comprendre comment ça marche et impossible de garantir une quelconque qualité de service dans ces conditions.
     
  9. welcominh
    welcominh Nouveau WRInaute
    Inscrit:
    13 Juillet 2006
    Messages:
    22
    J'aime reçus:
    0
    biddybulle> je ne sais pas si 2000 requetes c'est beaucoup, mais je ne peux pas tester. Mon ami a déja quelques souci de dépassement de bande passante. J'aimerais lui éviter d'autres désagréments (il compte d'ailleurs changer d'hébergeur). Mais si tu veux savoir quel hébergeur il s'agit de hostmonster.com :wink:

    hum du coup, il ne semble pas avoir de solution. Et dire que j'ai pris un hébergement rien que pour ce site :?
    Le compte free n'étant pas assez solide...
    En attendant je cherche toujours une solution...euh sans bidouillage :D
     
Chargement...
Similar Threads - Requêtes file_get_contents bloquées Forum Date
Liste des requètes fréquentes en bas de pages Référencement Google 24 Août 2022
Réunir 2 requetes sql (ORDER BY ASC et DESC) Développement d'un site Web ou d'une appli mobile 29 Août 2021
Search Console Absence de requêtes dans la search console Problèmes de référencement spécifiques à vos sites 21 Mai 2021
Nettoyage de requètes externes de Google, comment faire? Administration d'un site Web 24 Octobre 2020
Comment se placer sur des requêtes inhabituelles dû au confinement Rédaction web et référencement 25 Mars 2020
Déclassement sur requêtes et pays spécifiques? Crawl et indexation Google, sitemaps 11 Janvier 2020
Qwant 20 milliards de requetes en 2018? 2 x plus que Google? Autres moteurs de recherche connus 2 Avril 2019
Marqueur nommé ou interrogatif pour les requetes préparées ? Développement d'un site Web ou d'une appli mobile 30 Décembre 2018
Requêtes Google search control et mots-clés de mon site Débuter en référencement 26 Novembre 2018
par quoi commencent les requêtes ? Débuter en référencement 16 Novembre 2018
Augmentation inexpliquée du nombre de requêtes Http Problèmes de référencement spécifiques à vos sites 30 Octobre 2018
Combiner 2 requetes préparées Développement d'un site Web ou d'une appli mobile 30 Septembre 2018
Des sites qui invitent les utilisateurs à effectuer des requêtes sur Google Référencement Google 3 Mars 2018
Recherches vocales sur Google Home : étude de 3000 requêtes Référencement Google 10 Février 2018
Résolu [Mots clés] Requêtes avec accents et sans accents Référencement Google 21 Décembre 2017
Localiser le fichier PHP qui exécute des requêtes Développement d'un site Web ou d'une appli mobile 11 Septembre 2017
Plutôt une grosse requête multitables ou plein de requêtes séparées ? Développement d'un site Web ou d'une appli mobile 24 Mai 2017
Quelle est la différence entre ces deux requêtes Développement d'un site Web ou d'une appli mobile 9 Mars 2017
Rassembler 3 requetes Delete, impossible ? Développement d'un site Web ou d'une appli mobile 26 Février 2017
Nouveaux encarts Google 1ère position sur certaines requêtes Débuter en référencement 24 Janvier 2017