"Indexée malgré le blocage par le fichier robots.txt" Que faire si ce message ?

Discussion dans 'Crawl et indexation Google, sitemaps' créé par wikao, 12 Février 2019.

  1. wikao
    wikao Nouveau WRInaute
    Inscrit:
    8 Février 2013
    Messages:
    9
    J'aime reçus:
    0
    Bonjour à tous et à toutes,

    J'administre plusieurs sites sous Prestashop et ce matin, j'ai reçu un mail de Google Search Console m'indiquant qu'un nouveau problème avait été détecté : "Indexée malgré le blocage par le fichier robots.txt"
    En me rendant sur Google Search Console, je vois que la page concernée est /modules/pm_advancedsearch4/

    Voici ce que j'ai lorsque j'inspecte l'URL en question via Google Search Console :
    [​IMG]
    C'est logique que l'exploration de cet URL soit bloquée par le fichier robots.txt car, comme vous voyez, c'est un module (Prestashop), qui n'a pas besoin d'être exploré (ni même indexé, qu'en pensez-vous?). D'ailleurs, je ne comprends pas pourquoi il n'y a qu'une seule erreur/problème, car c'est tous les modules qui sont bloqués à l'exploration, pas seulement le module advancedsearch4.

    Du coup, j'ai plusieurs questions :
    - Est-ce que c'est vraiment un "problème" ?
    - Qu'est-ce que ça implique/entraine dans le cas où je le règle (ou pas) ?
    - (Justement) Comment résoudre ce problème/Que doit-on faire quand on a ce type d'erreur ? Sachant que, comme vous pouvez le constater, l'URL ne pointe pas de page HTML (donc pas de possibilité de mettre de balise NoIndex pour ne pas indexer cet URL), mais un dossier d'un module Prestashop. Avec ça, quand j'ouvre l'URL en question, 1) je ne vais pas à /modules/pm_advancedsearch4/ mais à /modules/ (soit un niveau au-dessus) et 2) J'ai une page d'erreur 404 car j'ai mis un fichier index.php vide dans le dossier modules.
    - Pourquoi j'ai ce problème aujourd'hui alors que ça fait plusieurs années que le site est en ligne ?

    Pouvez-vous SVP m'aider à résoudre ce problème (si tenté que c'en soit un vrai) ?
    D'avance merci.
    Bonne journée ;)
     
  2. nantesweb
    nantesweb WRInaute discret
    Inscrit:
    18 Octobre 2016
    Messages:
    86
    J'aime reçus:
    10
    J'ai le même problème avec certaines pages sur plein de site. J'ai l'impression que c'est pas nouveau. Mais ce qui est nouveau c'est que GG préviens (nouvelle interface Console Search).

    Pour bien résoudre le problème il faut :
    1. Faire en sorte qu'aucun lien interne ne pointe vers ces pages ou ajouter un rel="nofollow" si possible
    2. Supprimer toutes les urls en répertoire dans Console search (quand c'est du add-to-cart par exemple)
    3. Mettre un noindex quand c'est possible (Wordpress avec Yoast) sur les pages, articles, produits...
    Dans ton cas, je pense que si Google veut absolument y accéder, laisse-le et supprime la restriction robots.txt en mettant : Allow: /modules/pm_advancedsearch4/

    Ca fait déjà un bail que GG veut avoir accès à des modules, framework, javascript, etc...
     
  3. colonies
    colonies WRInaute occasionnel
    Inscrit:
    10 Septembre 2006
    Messages:
    492
    J'aime reçus:
    56
    Utilise la directive Noindex: dans robots.txt... méconnue, mais efficace.
     
    MartinR apprécie ceci.
  4. kaczmarekthib92
    kaczmarekthib92 Nouveau WRInaute
    Inscrit:
    1 Octobre 2018
    Messages:
    22
    J'aime reçus:
    0
    Hello meme soucis,
    pour ta directive Noindex, il faut supprimer la disallow ? Quelle est la meilleure solution ?

    J'ai ce soucis d'indexé malgré le blocage robots.txt sur des landings utilisées pour du ads
     
  5. colonies
    colonies WRInaute occasionnel
    Inscrit:
    10 Septembre 2006
    Messages:
    492
    J'aime reçus:
    56
    Tu conserves les Disallow: et tu les doubles avec Noindex:
     
  6. MartinR
    MartinR Nouveau WRInaute
    Inscrit:
    14 Mars 2019
    Messages:
    26
    J'aime reçus:
    2
    C'est la bonne pratique mais si vraiment tu veux masquer le contenu ce n'est pas suffisant, Google fait ce qu'il veut avec le déclaratif ;-)
     
  7. kaczmarekthib92
    kaczmarekthib92 Nouveau WRInaute
    Inscrit:
    1 Octobre 2018
    Messages:
    22
    J'aime reçus:
    0
    Si ca peut y contribué on verra bien ! J'avais déjà mes landings en méta noindex, à voir comment ça sera interprété dans la search console avec l'intégration du no index dans le bot txt
     
  8. Belindab
    Belindab Nouveau WRInaute
    Inscrit:
    10 Mai 2019
    Messages:
    2
    J'aime reçus:
    0
  9. colonies
    colonies WRInaute occasionnel
    Inscrit:
    10 Septembre 2006
    Messages:
    492
    J'aime reçus:
    56
    Oui
     
    Belindab apprécie ceci.
Chargement...
Similar Threads - Indexée malgré blocage Forum Date
Message console "Indexée malgré blocage robot.txt" Crawl et indexation Google, sitemaps 4 Août 2019
Indexée malgré le blocage par le fichier robots.txt Débuter en référencement 5 Décembre 2018
Anciennes URLs toujours indexées malgré 301 Netlinking, backlinks, liens et redirections 24 Février 2019
Page indexée malgré canonical Crawl et indexation Google, sitemaps 20 Février 2019
pages indexées malgré la balise no-index Crawl et indexation Google, sitemaps 6 Novembre 2018
Page indexée malgré redirection 301 Crawl et indexation Google, sitemaps 21 Mars 2014
Page recherche.php indexée. malgré le noindex ? Problèmes de référencement spécifiques à vos sites 30 Octobre 2011
CTR très bas / "mauvaise page indexée" Problèmes de référencement spécifiques à vos sites Lundi à 19:16
Pages crawlées mais non indexées Crawl et indexation Google, sitemaps Lundi à 12:57
Erreur 404 perso : comment éviter qu'elle soit indexée ? Administration d'un site Web 1 Décembre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice