Impact gestion paramètre url sur Googlebot

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Franck38, 12 Mai 2017.

  1. Franck38
    Franck38 Nouveau WRInaute
    Inscrit:
    13 Juin 2013
    Messages:
    3
    J'aime reçus:
    0
    Hello tout le monde,

    Après avoir commencer une analyse de log sur mon site, je viens de m'apercevoir que googleBot passe environ 50% de son temps à crawler des pages (environ 150k pages par mois) avec des paramètres de tracking dans les urls ainsi que des paramètre de sessions, qui n'ont donc aucune utilité car elles ont le même contenu (le risque de duplicate content a été enlevé en mettant une balise canonical sur les pages avec paramètres)
    Environ 90% de ces 150k urls sont crawlées une seule fois.
    Même si la plupart des urls sont crawlées qu'une seule fois, cela doit tout de même avec un impact sur mon budget de Crawl (en effet, seulement 50% de mon site est crawlé par googlebot)

    Après avoir vérifié sur Google Search Console, les différents paramètres d'url utilisés (utm_term, utm_source, gclsrc, gclid etc...) ne sont pas exclus.

    Pensez-vous que le fait d'indiquer à Google la liste des paramètres évoqués comme d'"affectant pas le contenu de la page (il permet d'effectuer le suivi des utilisateurs)" aura un impact positif sur le crawl de ces pages par googlebot ? Est-ce que cette manoeuvre suffira ? ou bien faut-il également l'indiquer sur le robots.txt ?

    Le but étant de évidement de faire en sorte que GoogleBot ne passe plus 50% de son temps sur des pages inutiles.

    Merci !
     
  2. noren
    noren WRInaute accro
    Inscrit:
    8 Avril 2011
    Messages:
    2 816
    J'aime reçus:
    18
    La question est de savoir pourquoi il crawl ces pages? Comment se fait-il qu'il crawl des pages avec des parametres de sessions ? la possibilité des sessions via l'url doit être bloqué.
    Si google crawl toutes ces pages c'est qu'elles sont linkées quelques part. Tu dois régler ce problème en plus de l'ajout des liens canoniques.
     
  3. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 903
    J'aime reçus:
    848
    je conseille très fortement de régler le pb sur le site lui-même et pas dans cette interface (que je détaille dans cet article)
     
  4. Franck38
    Franck38 Nouveau WRInaute
    Inscrit:
    13 Juin 2013
    Messages:
    3
    J'aime reçus:
    0
    Merci pour vos réponses.
    En l’occurrence ces urls ne semblent pas être linkés quelque part, car elles sont visiblement toutes orphelines.

    Je vais effectivement essayer de régler le problème en amont. J'avais justement lu votre article c'est pourquoi je pensais que d'indiquer à Google que les paramètres n'affectent pas le contenu de la page (il permet d'effectuer le suivi des utilisateurs) permettrait en théorie de résoudre le problème des sites avec des identifiants de session dans les URL qui freinent considérablement le crawl (et donc l'indexation) (comme indiqué dans votre article).

    J'ai tout de même indiqué à google que c'était des paramètres sans effet sur le contenu pour voir comment il réagit, le temps que je trouve pourquoi ces urls sont générées et surtout comment les éradiquer.
     
  5. Franck38
    Franck38 Nouveau WRInaute
    Inscrit:
    13 Juin 2013
    Messages:
    3
    J'aime reçus:
    0
    J'ai une dernière question pour vous :)

    J'ai bien conscience qu'il faut absolument résoudre le problème en amont, c'est-à-dire arrêter de générer ces pages automatiquement (pour l'instant je n'arrive pas à comprendre comment ses urls sont générées...) Cependant je n'arrive toujours pas à comprendre comment google peut crawler autant d'urls orphelines

    Pour rappel aucune des pages avec paramètres ne sont indexées, mais selon moi elles dépensent énormément mon budget de crawl

    Comment est-ce que je peux stopper le crawl de ses pages par google ?
    - Via la gestion des paramètres d'url de Google Search Console ?
    - Ou alors faut-il bloquer ses paramètres dans mon robots.txt ?

    Voici un example de "fin" d'url avec les paramètres générés :
    .html?utm_source=criteo&utm_medium=remarketing&utm_campaign=test&utm_term=dkr-lis&COBRANDED=test&acntb=flight&dclid=CNT7toC-6tECFUEQgQodbBoMtw&callback=myCallBack&_=1492992000000

    Si j'opte pour la deuxième solution, comment est-ce que je dois le mentionner dans mon fichier robots.txt (désolé je ne suis pas trop un expert là dessus...) ?

    Est-ce que je dois créer une ligne pour chacun des paramètres ?
    Sachant que je veux exclure uniquement ses paramètres..

    Merci pour votre aide
     
Chargement...
Similar Threads - Impact gestion paramètre Forum Date
WordPress Référencement SEO et impact de la date de publication Rédaction web et référencement 18 Novembre 2022
Impact vidéo YT sur vitesse d'une Landing Page Débuter en référencement 31 Octobre 2022
Webinar : comment évaluer l'impact SEO d'un backlink (acheté) Netlinking, backlinks, liens et redirections 11 Octobre 2022
Migrer les images de JPEG à WEBP : quel impact perf et SEO ? Référencement Google 28 Septembre 2022
Ecriture d'une unité de mesure et ses variantes (espace) - Impact SEO et dans la recherche Débuter en référencement 9 Septembre 2022
Impact SEO contenu floutté Problèmes de référencement spécifiques à vos sites 23 Juin 2022
impact du nom de domaine sur le référencement Débuter en référencement 8 Juin 2022
Bots scrapers et impact SEO : comment les bloquer ? Crawl et indexation Google, sitemaps 21 Mai 2022
Quel est l'impact SEO de changer le titre des pages et la balise H1 chaque mois? Débuter en référencement 11 Avril 2022
Quelle est l'impact SEO de la traduction automatique d'un site en plusieurs langues? Référencement international (langues, pays) 5 Avril 2022
Ajout bouton recherche Google sur mon site : Impact SEO Demandes d'avis et de conseils sur vos sites 22 Décembre 2021
Impacts de 2 comptes Google Ads sur un même site Web AdWords 23 Novembre 2021
Citation vs plagiarisme : impact SEO Référencement Google 21 Septembre 2021
Mysql : Impact convertion champ numérique SMALLINT vers BIGINT Développement d'un site Web ou d'une appli mobile 23 Août 2021
IP dédiée VS Cloudflare : impact SEO Référencement Google 16 Juin 2021
Déplacement de catégories CMS Prestashop : impact SEO ? e-commerce 16 Mars 2021
Incendie chez OVH : qui est impacté ? Administration d'un site Web 11 Mars 2021
Indisponibilité et impact référencement Tests et études de cas 10 Mars 2021
Ne pas faire apparaître les sous-pages dans le menu : impact sur leur référencement ? Débuter en référencement 21 Février 2021
Impact SEO d'un site à double entrée Développement d'un site Web ou d'une appli mobile 20 Janvier 2021