Urls filtrées indexées et crawl robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par ines_cdk, 19 Mai 2021.

  1. ines_cdk
    ines_cdk Nouveau WRInaute
    Inscrit:
    27 Janvier 2021
    Messages:
    13
    J'aime reçus:
    0
    Bonjour à tous,

    Nous avons refondu toutes les pages listes/catégories de notre site e-commerce (sauf urls). Hors, chaque page liste qui contient des filtres activés (couleur, taille, tri croissant et décroissant etc...) se sont indexées + étaient autorisées au crawl sur le robots.txt. Nous nous sommes donc retrouvé avec des milliers d'urls avec contenu similaire + budget de crawl explosé...

    Nous avons donc mis en place la meta no index, follow sur toutes ces pages + bloqué le crawl sur ces mêmes urls (uniquement avec les filtres). MAIS Google Search Console me les remonte en "indexées malgré blocage par le robots.txt" et leur nombre ne fait que d'augmenter !

    Mes questions sont les suivantes :

    - Les urls filtrées étant indexées, faut-il enlever le blocage sur robots.txt pour permettre à Google de prendre en compte la meta noindex, follow ? Cela risque-t-il d'exploser, en conséquence, à nouveau le budget de crawl ?

    - Y a t il quelque chose qui n'a pas bien été fait ou pas dans le bon ordre ?

    - Avez-vous une solution à nous proposer ?

    Merci encore pour votre aide très précieuse.

    Bonne journée.
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 503
    J'aime reçus:
    629
    oui car le fichier robots.txt n'est pas prévu pour configurer l'indexation, seulement le crawl. Si les URL déjà indexées et désormais interdites d'indexation sont bloquées au crawl, rien ne va bouger...

    il fallait dès le début mettre du noindex, ou alors après ne pas bloquer le crawl dans le fichier robots.txt

    petites lectures conseillées :
     
  3. ines_cdk
    ines_cdk Nouveau WRInaute
    Inscrit:
    27 Janvier 2021
    Messages:
    13
    J'aime reçus:
    0
    Merci pour votre réponse ! Si je comprends bien, 2 solutions s'offrent à nous :

    1. fichier sitemap avec toutes les urls à désindexer puis, quand c'est ok, on le supprime
    2. Enlever le blocage sur le robots.txt, puis quand la meta robots no index sera prise en compte, on le remet pour éviter le crawl.

    Avec tout ceci, risque-t-on d'avoir des grosses chutes en SEO ? Merci
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 503
    J'aime reçus:
    629
    il faudrait voir si ces URL génèrent du trafic (ce qui est peu probable). Un audit technique semble nécessaire ici
     
  5. ines_cdk
    ines_cdk Nouveau WRInaute
    Inscrit:
    27 Janvier 2021
    Messages:
    13
    J'aime reçus:
    0
    Justement non les urls ne génèrent pas de trafic et non aucun intérêt SEO :)
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 503
    J'aime reçus:
    629
    donc j'ai du mal à voir pourquoi il y aurait une grosse chute SEO
     
  7. ines_cdk
    ines_cdk Nouveau WRInaute
    Inscrit:
    27 Janvier 2021
    Messages:
    13
    J'aime reçus:
    0
    D'accord merci ! Donc nous laissons tel quel ou devons faire quelque chose ?
     
  8. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 503
    J'aime reçus:
    629
    désolé je pensais avoir été assez clair : il faut nettoyer le site (désindexer toutes ces URL non voulues)
     
  9. ines_cdk
    ines_cdk Nouveau WRInaute
    Inscrit:
    27 Janvier 2021
    Messages:
    13
    J'aime reçus:
    0
    Oui merci mais du coup ceci convient alors (sans potentiel chute de traffic) : 2. Enlever le blocage sur le robots.txt, puis quand la meta robots no index sera prise en compte, on le remet pour éviter le crawl. J'essaie de bien comprendre
     
  10. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 503
    J'aime reçus:
    629
Chargement...
Similar Threads - Urls filtrées indexées Forum Date
Astuce Optimisation des URLs Débuter en référencement 15 Juin 2021
Désindexation d'urls Problèmes de référencement spécifiques à vos sites 19 Avril 2021
urls avec ou sans slash Référencement Google 10 Février 2021
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Un contenu serait publié deux endroits/URLs différents, comment éviter le duplicated content ? Référencement Google 2 Octobre 2019
Affichage des urls dans google : url de la home et urls des autres pages d'un site Problèmes de référencement spécifiques à vos sites 1 Octobre 2019
Htacces REQUEST_URI sur des URLs d'un dossier à mettre en noindex URL Rewriting et .htaccess 25 Septembre 2019
Suivre plusieurs urls de téléchargements de pdf dans un rapport personnalisé Google Analytics 30 Avril 2019
Google Search Bug Selecting Unrelated Canonical URLs & Indexing Issues Crawl et indexation Google, sitemaps 26 Avril 2019
Help ! Comment rediriger des urls avec /?q=... URL Rewriting et .htaccess 23 Avril 2019