Urls orphelines crawlées par Google + Robots.txt ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par noreve, 3 Avril 2020.

  1. noreve
    noreve Nouveau WRInaute
    Inscrit:
    17 Octobre 2019
    Messages:
    8
    J'aime reçus:
    0
    Bonjour à tous,

    Je n'ai pas encore trouvé de réponse à mes questions même si j'ai quelques pistes.
    Je publie donc sur ce forum pour voir ce que vous en pensez.

    1. Crawl Google et pages ophelines

    Le site que je gère comporte environ 30k urls. Après l'analyse des pages orphelines, il se trouve que toutes les urls trackées avec un utm adwords apparaissent comme orpheline <> pas liées à la strucutre du site.

    Or ces pages sont à 99% du temps des pages produits qui possèdent une balise canonical vers l'url sans paramètres.

    Je ne sais pas si vous connaissez une cause possible de ce problème. J'ai d'abord pensé à ajouter les paramètres utm au webmaster tool pour empêcher totalement le crawl, mais je ne connais pas précisement l'impact que ça aura sur les liens adwords.

    2. Page ajax crawlée inutilement

    Sur le site, une page est parfois appelée en ajax (très utile au fonctionnement globale).
    Le soucis vient du fait qu'elle est crawlée par Google. Je souhaite simplement qu'elle ne le soit pas tout en gardant son fonctionnement.

    Par ailleurs je n'ai pas envie de la présenter au public via le robots.txt.

    La solution la plus simple que j'ai trouvé est d'ajouter cette clause au htaccess hier soir :

    RewriteCond %{HTTP_USER_AGENT} Googlebot
    RewriteRule ^mapage - [F]

    J'attends un peu pour analyser les logs de nouveaux.
    Quelqu'un connait l'efficacité d'une telle méthode ? Peut-être qu'il existe une autre solution plus simple ?

    Merci à tous pour votre aide.

    Maxime
     
Chargement...
Similar Threads - Urls orphelines crawlées Forum Date
Un contenu serait publié deux endroits/URLs différents, comment éviter le duplicated content ? Référencement Google 2 Octobre 2019
Affichage des urls dans google : url de la home et urls des autres pages d'un site Problèmes de référencement spécifiques à vos sites 1 Octobre 2019
Htacces REQUEST_URI sur des URLs d'un dossier à mettre en noindex URL Rewriting et .htaccess 25 Septembre 2019
Suivre plusieurs urls de téléchargements de pdf dans un rapport personnalisé Google Analytics 30 Avril 2019
Google Search Bug Selecting Unrelated Canonical URLs & Indexing Issues Crawl et indexation Google, sitemaps 26 Avril 2019
Help ! Comment rediriger des urls avec /?q=... URL Rewriting et .htaccess 23 Avril 2019
Search Console Pourquoi mes URLs sont mentionnées en "Détectée, actuellement non indexée" ? Crawl et indexation Google, sitemaps 14 Avril 2019
Anciennes URLs toujours indexées malgré 301 Netlinking, backlinks, liens et redirections 24 Février 2019
méthode imparable pour rediriger les URLs en https WP Développement d'un site Web ou d'une appli mobile 23 Octobre 2018
URLs avec et sans / à la fin Problèmes de référencement spécifiques à vos sites 27 Septembre 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice