Problèmes d'indexation et robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Sanguien14, 14 Octobre 2019.

  1. Sanguien14
    Sanguien14 Nouveau WRInaute
    Inscrit:
    16 Juillet 2019
    Messages:
    19
    J'aime reçus:
    4
    Bonjour,

    Nous avons récemment ajouté un sitemap à notre site web. Pour vérifier que ce sitemap ne posait pas de soucis, je suis allé voir aujourd'hui dans la search console et tout fonctionne bien - ou presque.

    En effet, j'ai dans mon sitemap des URL qui sont indiquées comme étant bloquées dans le robot.txt.
    Jusqu'ici rien d'inquiétant, ça ne concerne "que" 63 URL sur nos presque 2000 pages.

    Cependant, certaines URL bloquées ne le sont pas explicitement dans le robots.txt.
    Je prends l'exemple d'une URL /eclairage/1235-boitier-de-commande-centralise-brio-rc.html
    qui est pourtant bloquée par notre robot.txt et je n'en comprends pas la raison.

    Pour idée, notre robots.txt indique ceci comme étant l'origine de l'erreur : Disallow: /*commande (via le site https://www.google.com/webmasters/tools/robots-testing-tool ).

    Pouvez-vous m'aider sur cette problématique ?
    Merci d'avance !
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 057
    J'aime reçus:
    328
    Disallow: /*commande
    interdit le crawl de toutes les URL contenant commande quelque part
    pourquoi avoir mis * dans la directive ?
     
    Sanguien14 apprécie ceci.
  3. Sanguien14
    Sanguien14 Nouveau WRInaute
    Inscrit:
    16 Juillet 2019
    Messages:
    19
    J'aime reçus:
    4
    Pour être tout à fait honnête c'est quelque chose qui a été fait avant que j'arrive dans l'entreprise.
    Les développeurs n'avaient pas l'air très appliqués parce que je vois beaucoup beaucoup de coquilles au sein du code malgré mon faible niveau de dev (et c'est pas vraiment normal...). J'essaie de les résoudre tant bien que mal et ça porte petit à petit ses fruits (beau gain de position etc) mais il y a pas mal de choses à faire encore (notamment un réglage du robots.txt d'après ce que je vois).

    Je m'y connais assez peu en robots.txt et en voyant simplement /*commande je me suis dit que c'était normal et que ça éviterait l'indexation des URL dans ce dossier. (C'est un site marchand mais je pense qu'on s'en doutait un peu).

    À priori c'est ce qui bloque l'indexation de mes 50pages d'après la SC, supprimer "*" résoudrait donc mon problème ?

    Pourtant il n'y a pas mention de /commande dans mes URL, ce sont des catégories / produits tout à fait traditionnels, ça me semblait assez étonnant que le blocage soit fait !
    Je remarque que j'ai omis d'indiquer le site, pas sûr que l'anonimat soit nécessaire m'enfin, si besoin j'indiquerais les URL complètes avec le nom du site (même si les plus débrouillards savent déjà de quel site il s'agit )
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 057
    J'aime reçus:
    328
    sauf des cas particuliers comme celui indiqué : /eclairage/1235-boitier-de-commande-centralise-brio-rc.html

    le nom de domaine n'est pas nécessaire pour répondre aux questions
     
    Sanguien14 apprécie ceci.
  5. Jeanne5
    Jeanne5 WRInaute occasionnel
    Inscrit:
    4 Juillet 2013
    Messages:
    425
    J'aime reçus:
    22
    Disons que ça nage facilement chez toi... ;-)

    En passant, beaucoup de "contenus minces" et sans doute de pages zombies sur ton site.
    Un audit avec l'outil en ligne d'Olivier ferait pas de mal : https://fr.myrankingmetrics.com/rmtech/
     
    Sanguien14 apprécie ceci.
  6. Sanguien14
    Sanguien14 Nouveau WRInaute
    Inscrit:
    16 Juillet 2019
    Messages:
    19
    J'aime reçus:
    4
    Outch, effectivement j'ai manqué la moitié de l'info de mon URL...
    Merci du coup de main en tout cas, je vais passer /*commande en /commande, ça devrait (normalement) résoudre le problème c'est ça ?

    Oui j'y travaille actuellement, le site est +/- ancien et a subit des refontes.
    Prestashop n'aide pas trop et la façon de travailler de mes patrons jusqu'à maintenant était un peu chaotique ! Mais j'y travaille justement ;) .

    Merci encore de vos conseils ! Je reviens vers vous si ça n'a pas fonctionné (ce dont je doute).
     
  7. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 057
    J'aime reçus:
    328
    oui ce pb serait réglé
     
    Sanguien14 apprécie ceci.
Chargement...
Similar Threads - Problèmes indexation robots Forum Date
Problèmes d'indexation à cause de ressources bloquées (robots.xt) Crawl et indexation Google, sitemaps 22 Novembre 2018
Problèmes indexation => fichiers robots.txt pourtant ok Crawl et indexation Google, sitemaps 17 Décembre 2012
Analyse google search console : liste des problèmes d'indexation Crawl et indexation Google, sitemaps 13 Janvier 2019
Problèmes d'indexation depuis mise à jour site Crawl et indexation Google, sitemaps 5 Janvier 2013
Problèmes d'indexations Problèmes de référencement spécifiques à vos sites 24 Juin 2012
Problèmes d’indexation de sous domaine Crawl et indexation Google, sitemaps 28 Novembre 2011
Problèmes indexation google domaine / sous domaine Crawl et indexation Google, sitemaps 25 Mars 2009
Problèmes d'indéxation de la page d'accueil Problèmes de référencement spécifiques à vos sites 16 Décembre 2008
Search Console Premier référencement et problèmes Débuter en référencement 11 Novembre 2019
Test d'optimisation mobile : Problèmes de chargement de la page Débuter en référencement 10 Novembre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice