recuperer automatiquement les urls des resultat gg

Discussion dans 'Développement d'un site Web ou d'une appli mobile' créé par johnny-57, 8 Février 2008.

  1. johnny-57
    johnny-57 WRInaute occasionnel
    Inscrit:
    20 Avril 2007
    Messages:
    286
    J'aime reçus:
    0
    Bonjour,

    Voilà mon problème, je voudrais concevoir un script php qui récupère les urls des résultats de gg et me les stocks en bdd.

    Mon problème c'est que je n'ai aucune idée de comment m'y prendre avez vous une idée ?
     
  2. e-kiwi
    e-kiwi WRInaute accro
    Inscrit:
    23 Décembre 2003
    Messages:
    13 198
    J'aime reçus:
    1
    pourquoi ne aps utiliser un script tout fait, vu que des dizaines le font :) sinon il suffit de recuperer en php la valeur du referer, et si c est google, prendre ce qu'i ly a apres "q=" et tu as les mots clés tappés
     
  3. johnny-57
    johnny-57 WRInaute occasionnel
    Inscrit:
    20 Avril 2007
    Messages:
    286
    J'aime reçus:
    0
    Je crois que je me suis mal expliqué :lol:

    En fait le script fait une recherche sur gg, ensuite dans les pages de résultats il m'aspire toutes les url présente et me les stock en bdd.
     
  4. e-kiwi
    e-kiwi WRInaute accro
    Inscrit:
    23 Décembre 2003
    Messages:
    13 198
    J'aime reçus:
    1
    ah ok, et bien utiliser l API google, mais a savoir qu'elle ne donne pas des resultats à jour ...
     
  5. johnny-57
    johnny-57 WRInaute occasionnel
    Inscrit:
    20 Avril 2007
    Messages:
    286
    J'aime reçus:
    0
    J'ai cru entendre que l'api ne fonctionnait plus. Dans tous les cas je n'y ai pas accès :'(
     
  6. nickargall
    nickargall WRInaute accro
    Inscrit:
    13 Juin 2005
    Messages:
    6 601
    J'aime reçus:
    4
    Achete un logiciel :)
    ou alors programme une fonction php qui

    - ouvre la page de résultats GG
    - parse son contenu
    - isole et récupère les URL des sites indiqués
    - les stocke dans une base de données SQL
     
  7. johnny-57
    johnny-57 WRInaute occasionnel
    Inscrit:
    20 Avril 2007
    Messages:
    286
    J'aime reçus:
    0
    lol 100 % ce que je voudrais faire comme je l'ai dit dans mon 1er post ^^' maintenant comment programmer ça c'est ma question XD

    Pour info j'ai essayé avec xenu mais bloqué par gg "forbiden"
     
  8. nickargall
    nickargall WRInaute accro
    Inscrit:
    13 Juin 2005
    Messages:
    6 601
    J'aime reçus:
    4
    Tu connais le PHP ?
     
  9. johnny-57
    johnny-57 WRInaute occasionnel
    Inscrit:
    20 Avril 2007
    Messages:
    286
    J'aime reçus:
    0
    Oui je me debrouille mais je suis loin de maitriser a 100%
     
  10. oli004
    oli004 WRInaute passionné
    Inscrit:
    5 Janvier 2005
    Messages:
    1 629
    J'aime reçus:
    0
    Quand on ne sait pas parfaitement naviguer, on ne se lance pas dans un tour du monde à la voile :twisted:
     
  11. Suede
    Suede WRInaute passionné
    Inscrit:
    4 Octobre 2002
    Messages:
    2 441
    J'aime reçus:
    0
    Ce n'est pas un tour du monde mais une croisière sur un lac.
    A mon avis, c'est un bon projet pour apprendre.

    François
     
  12. Fred62
    Fred62 Nouveau WRInaute
    Inscrit:
    31 Octobre 2006
    Messages:
    6
    J'aime reçus:
    0
    Script

    J'ai ce genre de script sous la main;
    Par contre, peux-tu m'éclairer sur la finalité de cette démarche ?
     
  13. johnny-57
    johnny-57 WRInaute occasionnel
    Inscrit:
    20 Avril 2007
    Messages:
    286
    J'aime reçus:
    0
    Veuillez concurrentielle, récupérer les concurrent placé, analyser leur méthode de ref pour trouver mieux ^^' et suivre l'avancement de ceux qui sont moins bien placé pour comprendre pourquoi ils gagnent des places
     
  14. e-kiwi
    e-kiwi WRInaute accro
    Inscrit:
    23 Décembre 2003
    Messages:
    13 198
    J'aime reçus:
    1
    achete agent web ranking ? :)
     
  15. nickargall
    nickargall WRInaute accro
    Inscrit:
    13 Juin 2005
    Messages:
    6 601
    J'aime reçus:
    4
    ou advanced web ranking ? (un peu de pub pour le concurrent)
     
  16. johnny-57
    johnny-57 WRInaute occasionnel
    Inscrit:
    20 Avril 2007
    Messages:
    286
    J'aime reçus:
    0
    100% php, automatique tous les X jours, vérification automatique des différences pour savoir qui analyser etc
     
  17. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 274
    J'aime reçus:
    0
    gg n'aime pas les appels automatisés et donc, quand il trouve trop de requêtes en provenance d'une ip, il la blackliste pendant quelques temps (1h ou plus, je ne sais pas).
    Alors si tu es sur un mutualisé, avec les autres sites qui auraient la même envie, le blacklistage risque d'être continu
     
  18. johnny-57
    johnny-57 WRInaute occasionnel
    Inscrit:
    20 Avril 2007
    Messages:
    286
    J'aime reçus:
    0
    Oui j'ai déjà eu le cas avec un logiciel que j'utilise pour verifier le positionnement, après trop de requête black listage pendant X temps seule astuce rebouter le modem pour changer d'ip ^^'
     
  19. bixi
    bixi WRInaute discret
    Inscrit:
    19 Septembre 2007
    Messages:
    70
    J'aime reçus:
    0
    l'API google marche tres bien, lis sont juste arrete de filer des clefs d'utilisation :(

    Sinon tu peux donc parser la page, c'est pas bien dur, le seul probleme est que l'architecture meme des pages google pourrait changer et comme le parsing se base sur des elements plus moins "reconnaissable", il faut faire gaffe... voila comment je ferais :

    1- tu récupere la page google de ta recherche via la fonction PHP : file_get_content (php5) http://uk.php.net/manual/fr/function.fi ... ntents.php
    (tu pourrait avoir besoin de trafiquer les headers HTTP genre user_agent si google refuse de te donner du contenu)

    2- c'est la que ca se complique , tu utilise les REGEXP (expression rationnelles) pour récuperer les URL qui t'interressent. Tu dois donc trouver dans le code fourni par google un pattern (schema) reproduit à chaque fois par google pour afficher l'url qui te concerne...

    en gros si l'URL que tu recherche est l'URL du TITLE de chaque resultat de recherche google, ca va avoir cette gueule la :

    <a class="l" onmousedown="return clk(this.href,'','','res','1','')" href="http://www.testcouleur.com/">

    ta regexp doit etre crée en consequence et ne te renverra que ces resultats la

    je te laisse te documenter sur les regexp, tu vas avoir besoin en gros de : preg_match() ou eregi()

    3- derniere etape qui peux etre importante : si ta recherche ne renvois aucun resultat, c'est que google a chagé la structure de son code (donc ton pattenr ne correspond plius) donc tu t'envoi un mail automatique pour t'en avertir et reagir au plus vite ;)
     
  20. johnny-57
    johnny-57 WRInaute occasionnel
    Inscrit:
    20 Avril 2007
    Messages:
    286
    J'aime reçus:
    0
    Merci beaucoup bixi pour ses infos très intéressantes, malheureusement je n'ai pas de clé api google.

    Je me demande si ce n'est pas sur l'api que yatooweb fait ses requêtes, sinon il serait vite blacklisté.

    Sinon je pourrais toujours le faire sur google "classique" en limitant le nombre de requête consécutive pour éviter le blacklistage.
     
  21. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 274
    J'aime reçus:
    0
    avec l'API il y avait aussi une limite.
    oyoy.eu par exemple se retrouve bloqué par google assez fréquemment
     
  22. bixi
    bixi WRInaute discret
    Inscrit:
    19 Septembre 2007
    Messages:
    70
    J'aime reçus:
    0
    mon explication est une methode sans passer par l'API google justement, avec google API, tu aurais pas besoin de parser le HTML de la page d'un resultat de recherche :p
     
  23. johnny-57
    johnny-57 WRInaute occasionnel
    Inscrit:
    20 Avril 2007
    Messages:
    286
    J'aime reçus:
    0
  24. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 274
    J'aime reçus:
    0
    sauf que les résultats par API et ceux directement des SERP sont loin d'être les mêmes
     
Chargement...
Similar Threads - recuperer automatiquement urls Forum Date
récupérer automatiquement des données depuis excel Développement d'un site Web ou d'une appli mobile 10 Juin 2013
Récupérer automatiquement la latitude et la longitude d'une page Google Maps YouTube, Google Images et Google Maps 30 Novembre 2009
récuperer automatiquement des noms de domaines Développement d'un site Web ou d'une appli mobile 11 Septembre 2007
Récupérer automatiquement les balises métas description Développement d'un site Web ou d'une appli mobile 12 Décembre 2005
Commande site : monsite.com. Comment récupérer les URL dans un fichier ? Crawl et indexation Google, sitemaps 2 Juillet 2022
Récupérer URL destination liste redirection Netlinking, backlinks, liens et redirections 22 Novembre 2021
Récupérer les 10 plus grandes valeurs dans un fichier JSON Développement d'un site Web ou d'une appli mobile 18 Novembre 2021
Js : récupérer un élément dans un array Développement d'un site Web ou d'une appli mobile 23 Octobre 2021
FORMULAIRE FB ADS récupérer les données Facebook 28 Juillet 2021
Récupérer le premier et dernier enregistrement sql Développement d'un site Web ou d'une appli mobile 16 Juillet 2021
Comment récupérer le solde impayé de mon compte Adsense ? AdSense 26 Juin 2021
Search Console Sitemaps non indéxés ""Impossible de recuperer le sitemap" Crawl et indexation Google, sitemaps 23 Juillet 2020
Récupérer backlinks vers liens morts : fausse bonne idée ? Netlinking, backlinks, liens et redirections 6 Avril 2020
Récupérer le contenu d'une vidéo youtube Le café de WebRankInfo 23 Mars 2020
Comment récupérer un compte insta ouvert par un cybersquatteur ? Autres réseaux sociaux 29 Janvier 2020
comment récupérer mon positionnement Problèmes de référencement spécifiques à vos sites 5 Janvier 2020
Attendre des années avant de récupérer l'argent amassé sur adsense AdSense 23 Novembre 2019
Comment récupérer variable dynamique pour GTM ? Google Analytics 30 Septembre 2019
SELECT COUNT avec PDO et récupérer le résultat Développement d'un site Web ou d'une appli mobile 27 Mai 2019
récupérer id en php sans lien Développement d'un site Web ou d'une appli mobile 25 Avril 2019