"Indexée malgré le blocage par le fichier robots.txt" Que faire si ce message ?

Nouveau WRInaute
Bonjour à tous et à toutes,

J'administre plusieurs sites sous Prestashop et ce matin, j'ai reçu un mail de Google Search Console m'indiquant qu'un nouveau problème avait été détecté : "Indexée malgré le blocage par le fichier robots.txt"
En me rendant sur Google Search Console, je vois que la page concernée est /modules/pm_advancedsearch4/

Voici ce que j'ai lorsque j'inspecte l'URL en question via Google Search Console :
yJ8wb.png

C'est logique que l'exploration de cet URL soit bloquée par le fichier robots.txt car, comme vous voyez, c'est un module (Prestashop), qui n'a pas besoin d'être exploré (ni même indexé, qu'en pensez-vous?). D'ailleurs, je ne comprends pas pourquoi il n'y a qu'une seule erreur/problème, car c'est tous les modules qui sont bloqués à l'exploration, pas seulement le module advancedsearch4.

Du coup, j'ai plusieurs questions :
- Est-ce que c'est vraiment un "problème" ?
- Qu'est-ce que ça implique/entraine dans le cas où je le règle (ou pas) ?
- (Justement) Comment résoudre ce problème/Que doit-on faire quand on a ce type d'erreur ? Sachant que, comme vous pouvez le constater, l'URL ne pointe pas de page HTML (donc pas de possibilité de mettre de balise No Index pour ne pas indexer cet URL), mais un dossier d'un module Prestashop. Avec ça, quand j'ouvre l'URL en question, 1) je ne vais pas à /modules/pm_advancedsearch4/ mais à /modules/ (soit un niveau au-dessus) et 2) J'ai une page d'erreur 404 car j'ai mis un fichier index.php vide dans le dossier modules.
- Pourquoi j'ai ce problème aujourd'hui alors que ça fait plusieurs années que le site est en ligne ?

Pouvez-vous SVP m'aider à résoudre ce problème (si tenté que c'en soit un vrai) ?
D'avance merci.
Bonne journée ;)
 
WRInaute discret
J'ai le même problème avec certaines pages sur plein de site. J'ai l'impression que c'est pas nouveau. Mais ce qui est nouveau c'est que GG préviens (nouvelle interface Console Search).

Pour bien résoudre le problème il faut :
  1. Faire en sorte qu'aucun lien interne ne pointe vers ces pages ou ajouter un rel="nofollow" si possible
  2. Supprimer toutes les urls en répertoire dans Console search (quand c'est du add-to-cart par exemple)
  3. Mettre un noindex quand c'est possible (Wordpress avec Yoast) sur les pages, articles, produits...
Dans ton cas, je pense que si Google veut absolument y accéder, laisse-le et supprime la restriction robots.txt en mettant : Allow: /modules/pm_advancedsearch4/

Ca fait déjà un bail que GG veut avoir accès à des modules, framework, javascript, etc...
 
Nouveau WRInaute
Hello meme soucis,
pour ta directive Noindex, il faut supprimer la disallow ? Quelle est la meilleure solution ?

J'ai ce soucis d'indexé malgré le blocage robots.txt sur des landings utilisées pour du ads
 
Nouveau WRInaute
Si ca peut y contribué on verra bien ! J'avais déjà mes landings en méta noindex, à voir comment ça sera interprété dans la search console avec l'intégration du no index dans le bot txt
 
Discussions similaires
Haut