Script d'extraction Googles Images

Discussion dans 'Administration d'un site Web' créé par Mumuri, 1 Octobre 2010.

  1. Mumuri
    Mumuri WRInaute passionné
    Inscrit:
    3 Novembre 2004
    Messages:
    1 410
    J'aime reçus:
    0
    Bonjour,

    Jusqu'à y' a pas longtemps, j'utilisais le script suivant pour extraire le top des images vu sur mon site par Googles Images.

    Code:
    #!/bin/sh
    export LC_ALL=en_EN.UTF-8
    jour=`date --date '1 days ago' '+%d/%b'`
    
    function statsGoogleImages(){
            echo "stats: $1"
            cat "/var/log/lighttpd/$1_access.log"|grep $jour|grep images.google|sed -e "s/\(.*\)imgurl=\(.*\)&imgrefurl\(.*\)/-- \2 --/g"|sort|uniq -ic|sort -nr|head -n 20
    
    }
    
    echo "<b>Statistiques Googles Images</b>"
    for line in $(cat /root/scripts/google-images-config.ini);
     do  (statsGoogleImages $line);
     done
    export LANG=fr_FR.UTF-8
    
    Cependant depuis quelques temps, il ne semble plus marcher. Je m'explique, j'ai toujours des statistiques qui sortent mais elles sont erronés. Je pense qu'il y a un problème avec le referer, mais je n'arrive pas à m'expliquer ce que c'est ? est ce que l'introduction d'ajax dans le moteur de recherche peut faire que le referer ne soit plus renseigné ? Si vous avez une solution à ce problème , je suis preneur.

    Merci d'avance

    Mumu.
     
  2. Julia41
    Julia41 WRInaute passionné
    Inscrit:
    31 Août 2007
    Messages:
    1 774
    J'aime reçus:
    0
    N'étant pas suffisament crawlé par google image, il nous faudrait un petit bout de ton fichier de log.

    Bon, moi ce n'est crawlé qu'une seule fois, et je n'ai pas de referer donc sans exemple je pourrais pas t'aider mais voici un petit exemple :
    Code:
    cat fichier.log|grep "Googlebot-Image/1.0" | cut -d " " -f 7 | uniq -c | sort -n | head -n 50
    Bon, en fait j'en ai retrouvé :
    Code:
    zcat access.log.*.gz|grep "images.google" | cut -d " " -f 7 | sort | uniq -c | sort -n
    Tu me diras si ça marche. Moi j'en ai pas assez pour afficher pour un fichier de log.
    Si tu veux filtrer pour une date précise, tu as déjà un bout de code.
     
Chargement...
Similar Threads - Script extraction Googles Forum Date
Problème extraction tables croisés script php Développement d'un site Web ou d'une appli mobile 9 Janvier 2013
Script extraction URL de Google Google : l'entreprise, les sites web, les services 23 Novembre 2009
script extraction de liens Développement d'un site Web ou d'une appli mobile 1 Mai 2007
Demande d'aide pour petit script d'extraction de chaine PHP. Développement d'un site Web ou d'une appli mobile 30 Décembre 2006
Balise meta name description non prise en compte par Google Référencement Google 19 Septembre 2022
Deux questions pour deux scripts javascript. Développement d'un site Web ou d'une appli mobile 29 Août 2022
Search Console Comment réparer l'affichage de Google dans la mauvaise balise de description Meta ? Problèmes de référencement spécifiques à vos sites 19 Août 2022
Meta description différente de celle choisie (Rank Math + Qwant) Problèmes de référencement spécifiques à vos sites 25 Juillet 2022
Pages dynamiques avec Javascript ? Développement d'un site Web ou d'une appli mobile 14 Juillet 2022
Balise méta description : faut-il insérer son mot-clé ? Débuter en référencement 2 Juillet 2022
[JavaScript Array] modifier un code html sans le supprimer/recréer Développement d'un site Web ou d'une appli mobile 20 Juin 2022
Lien dans la description d'une vidéo YouTube...quel est prix raisonnable par mois ? YouTube, Google Images et Google Maps 16 Juin 2022
Le javascript protège-t-il du copiage HTML ? Développement d'un site Web ou d'une appli mobile 9 Mai 2022
Sites de scripts PHP, jQuery, Ajax, etc. Le café de WebRankInfo 20 Mars 2022
Tester une URL avec Javascript Développement d'un site Web ou d'une appli mobile 25 Février 2022
jour en javascript Développement d'un site Web ou d'une appli mobile 24 Février 2022
Search Console Probleme Meta title & Meta description fiche produit Référencement Google 27 Janvier 2022
référencement site full javascript Débuter en référencement 17 Janvier 2022
Script "haut de page". Développement d'un site Web ou d'une appli mobile 4 Janvier 2022
Détecter arrêt user d'un script PHP ? Développement d'un site Web ou d'une appli mobile 28 Décembre 2021