1. ⭐⭐⭐ Grosse PROMO en cours sur ma plateforme SEO My Ranking Metrics
    Rejeter la notice

Analyse de logs : Crawl Googlebot sur URLs avec paramètres de tracking

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Donky, 3 Avril 2015.

  1. Donky
    Donky Nouveau WRInaute
    Inscrit:
    3 Avril 2015
    Messages:
    25
    J'aime reçus:
    0
    Bonjour,

    Je viens de récupérer les analyses de logs Googlebot pour un site, afin d'identifier comment ces petits robots crawlent ce site.
    Les données récoltées s'étendent sur une période d'un jour uniquement. Mais cela est suffisant pour identifier déjà un problème : au moins la moitié des URLs crawlées sont des pages contenant des paramètres de tracking utilisés pour les campagnes de liens sponsorisés (Adwords et autre). Autant dire que le crawle n'est pas du tout optimisé.
    A partir de là, je me pose plusieurs questions :

    1. Je croyais que les robots savaient faire la différence entre les paramètres liés à la structure du site (filtrage, tri,...) et ceux liés à des campagnes. Comment arrivent-ils à crawler ces URLs ? Ne sont-ils pas censés tous simplement les ignorer ? J'imagine que les robots de Google reconnaissent très bien ces paramètres de tracking (gclid,...) pourtant.

    2. Comment empêcher le crawl sur ces URLs afin d'optimiser la qualité de celui-ci ? Sachant que ces URLs ne sont pas indexées, et forcément, créées uniquement pour la gestion des campagnes.

    Si quelqu'un à une ou plusieurs solutions ou même pistes de réflexion, je suis preneur!

    Merci d'avance pour vos éventuels retours.
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 877
    J'aime reçus:
    272
    en effet c'est étonnant

    il faudrait vérifier qu'en interne, il n'existe (évidemment) aucun lien vers ces URL
    tu peux lancer un audit technique RMTech (outil que j'ai conçu chez Ranking Metrics), il pourrait bien t'aider.

    pour bloquer le crawl de ces URL, tu peux utiliser le fichier robots.txt
     
  3. loubet
    loubet WRInaute impliqué
    Inscrit:
    19 Février 2003
    Messages:
    793
    J'aime reçus:
    0
    une explication possible est que google prend en compte l'html généré par le javascript, donc adsense d'où les liens avec paramètres.
    dans gwt, j'indiquerais de ne pas prendre en compte certains paramètres.
    je mettrais une balise canonical url
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 877
    J'aime reçus:
    272
    non, ça ne vient pas d'adsense (jamais vu ça chez moi qui ai adsense depuis les débuts)
    le réglage des paramètres d'URL dans GWT n'est pas une bonne solution je trouve (en + elle marche mal) : il vaut mieux régler le pb en amont, sur le site
    la canonique peut servir mais pas pour empêcher le crawl des URL indésirables
     
  5. Donky
    Donky Nouveau WRInaute
    Inscrit:
    3 Avril 2015
    Messages:
    25
    J'aime reçus:
    0
    Bonjour,

    Merci pour vos retours.
    Effectivement, mettre une canonique n’empêchera pas le crawl par les robots.
    Je viens de m'inscrire à l'outil que vous m'avez conseillé, on verra ce que ça donne. Et selon le cas, je mettrai à jour le robots.txt.

    Merci beaucoup!
     
Chargement...
Similar Threads - Analyse logs Crawl Forum Date
Outils pour voir et analyser les logs des crawls de Google Crawl et indexation Google, sitemaps 8 Avril 2013
PB de lecture des logs pour analyser le crawl Débuter en référencement 27 Mai 2011
Mon logiciel perso d'analyse de logs Demandes d'avis et de conseils sur vos sites 21 Octobre 2014
Analyse de logs visite web et recherche google Administration d'un site Web 17 Octobre 2014
Analyse des logs Administration d'un site Web 30 Mai 2011
Analyse des logs Administration d'un site Web 2 Mai 2011
Besoin d'aide pour comprendre mon Analyse Dareboost Débuter en référencement 24 Août 2019
Problème de caractères dans l'outil d'analyse des balises h1 h2 h3 Rédaction web et référencement 4 Août 2019
Analyse performance campagne RTB/programmatic Google Analytics 30 Juillet 2019
Analyse trafic d'une url Google Analytics 25 Juillet 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice