1. Pour Black Friday on FRACASSE les prix ⚡ avec RM Tech Découverte
    Rejeter la notice

résoudre un problème de "masse noire"

Discussion dans 'Crawl et indexation Google, sitemaps' créé par ManRanking, 5 Avril 2020.

  1. ManRanking
    ManRanking WRInaute discret
    Inscrit:
    8 Février 2020
    Messages:
    57
    J'aime reçus:
    2
    Bonjour,

    J'ai un problème de masse noire: créé 250 pages mais près de 10000 sont crawlées & exclues
    Les pages crawlées sont principalement des pages dynamiques
    Etant sur shopify, je précise que je ne peux pas toucher au robot.txt

    Il semble que la seule chose à faire soit
    - de désindexer les pages d'origine (donc toutes mes pages produits...),
    - une fois cela pris en compte par google (je pourrai le voir dans la search console), empêcher le crawl de ces pages. Ce que je pourrai faire dans le code (pas le choix, je ne peux pas toucher au robot.txt)
    - et enfin de re-indexer mes pages.

    Pourriez vous me dire si cela est la bonne démarche ?

    Et pour l'étape de désindexation de mes pages :
    1 - vu que ça concerne toutes les fiches produit, est ce possible de lancer une commande générale plutôt que de faire page par page ?
    2 - autre idée : j'ai dit que je pensais désindéxer les pages d'origine (les pages produits canoniques que j'ai créées). ça ne suffira pas je suppose de mettre en veiller le module qui créé ces pages dynamiques ?
     
  2. emualliug
    emualliug WRInaute discret
    Inscrit:
    1 Février 2020
    Messages:
    235
    J'aime reçus:
    43
    Avant de s'affoler, il vaudrait mieux se demander si le problème en est un. Quelles sont les pages en question ? quel est leur motif d'exclusion ?

    S'il s'agit de pages avec différents paramètres dans l'URL mais que la page en question a une canonical bien indexée, je ne m'inquiéterais pas plus que ça. D'après tes infos, les URL fantômes sont exclues de l'indexation (c'est ce que l'on souhaite), si les pages "qui comptent" sont indexées, alors pas de soucis.

    À l'inverse, il y un soucis si :
    • certaines pages apparaissent en double, des pages qui ne devraient pas être indexées le sont ;
    • le budget de crawl est tellement mangé pas ces pages fantômes que tes pages cibles ne sont pas crawlées.
    Quant à la solution que tu envisages, cela me semble catastrophique. Ne désindexe pas les pages qui comptent, même temporairement, un "bon" référencement se fait sur la durée, là tu repars bêtement de zéro.

    À noter que la search console propose un outil pour exclure de l'indexation certaines pages suivant les paramètres de l'URL. Google insiste beaucoup pour dire qu'il faut vraiment faire gaffe où on met les doigts, et qu'une mauvaise manip' est pire que de ne rien faire (et c'est probablement assez juste).
     
  3. ManRanking
    ManRanking WRInaute discret
    Inscrit:
    8 Février 2020
    Messages:
    57
    J'aime reçus:
    2
    Bonjour
    Je suis dans ces cas là, et j'ai utilisé les paramètrage d'URLs ainsi que suppression d'URLS de la search console, mais ça n'en tient pas compte
     
  4. emualliug
    emualliug WRInaute discret
    Inscrit:
    1 Février 2020
    Messages:
    235
    J'aime reçus:
    43
    Dans lequel de ces cas ?

    Dans ton premier message tu indiques qu "près de 10000 [pages] sont crawlées & exclues" :
    • a priori pas dans le premier cas : les pages sont exclues de l'index (peu importe qu'elles soient crawlées)
    • ni dans le second, sauf si parmi les 10000 pages crawlées il n'y a pas les 250 pages qui comptent, ou si les 250 pages qui comptent sont également exclues
     
  5. ManRanking
    ManRanking WRInaute discret
    Inscrit:
    8 Février 2020
    Messages:
    57
    J'aime reçus:
    2
    J'ai été synthétique dans mon 1er message, sinon personne ne l'aurait lu

    Cas 1 - Le principal problème sont les pages exclues dont j'ai parlé. Mais oui, j'ai aussi, en faible quantité, un souci de pages indexées (non envoyées via sitemap) qui ne devraient pas l'être et créent du duplicate.

    Cas 2 - oui j'ai des pages qui ne sont pas crawlées. et vu le bordel actuel sur ma search console je le remarque parfois avec du retard. du coup je demande une indexation, alors que ce devrait être fait avec le sitemap

    Je ne suis pas d'accord avec toi pour cette masse noire : trop de pages crawlées, même si pas indexées, bien sûr que c'est un problème. Impossible d'assurer un suivi correct des infos données par la search console et mettre en place les corrections nécessaires quand on a tout cela. Sans parler du budget crawl.

    Puis bon, faut être logique : 10 000 pages sur la search, pour 250 pages créées, bien sur que c'est un problème. O. Andrieu dit que c'est un souci. Ce sera quoi demain quand j'aurai 2000 pages, et 5000, etc.
     
Chargement...
Similar Threads - résoudre problème masse Forum Date
Search Console URL exclues : comment résoudre le problème ? Problèmes de référencement spécifiques à vos sites 15 Novembre 2019
Désindexer un contenu dupliqué suffit-il à résoudre le problème ? Débuter en référencement 27 Mai 2015
comment resoudre les problemes de sco ? Développement d'un site Web ou d'une appli mobile 24 Janvier 2012
Problème CSS à résoudre, superposition div/table Développement d'un site Web ou d'une appli mobile 4 Mars 2011
Action manuelle : Unnatural links to your site, comment résoudre ? Problèmes de référencement spécifiques à vos sites 15 Janvier 2019
Comment résoudre le 95% de RAM ? Administration d'un site Web 22 Octobre 2017
Apres plantage cause robot.txt, Google reste figé, comment résoudre ? Crawl et indexation Google, sitemaps 10 Juillet 2015
E commerce site avec en même temps rel=canonical et duplicate contant: comment résoudre? Débuter en référencement 13 Février 2012
Problème calcul d'offset UTC par getTransitions ou DateTime. Développement d'un site Web ou d'une appli mobile Samedi à 12:50
Probleme indexation site web Crawl et indexation Google, sitemaps 16 Novembre 2020