GSC 2 pages bloquées par robots.txt

[webmestre amateur]

Bonsoir à tous,

GSC me rappelle à l'ordre pour mon site que je gère : Le site que je gère

Il me donne l'alerte comme quoi 2 pages sont bloquées par robots.txt.
Ce sont 2 pages d'accès à l'interface d'admin du site :
page bloquée et autre page bloquée

Pourtant, dans le fichier robots.txt, il n'y a que ceci :
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.pepiniere-courtin.fr/sitemap_index.xml

Les 2 premières lignes sont utiles ou non ?

Merci.
Cordialement,

 

[colonies]

Bonjour,

Ça n'a aucune importance, c'est juste une information.

Cette ligne du robots.txt n'a pas lieu d'être puisque c'est toujours de l'admin, pourquoi autoriser l'exploration ?
Allow: /wp-admin/admin-ajax.php

Je ne sais pas ce qu'il renvoie avec des paramètres, mais sans, il y a un header x-robots-tag: noindex qui contredit ton robots.txt

 

[webmestre amateur]

Bonsoir à tous,

Merci à colonies de m'avoir fait remarqué que la ligne Allow: /wp-admin/admin-ajax.php ne sert à rien puisque le robots.txt interdit de crawler le dossier wp-admin.

Je voulais modifier le fichier robots.txt mais je ne le trouve pas dans l'arborescence du site. Il n'existe pas car j'ai téléchargé tout le site en FTP (avec Fillezilla) sur mon ordinateur. En utilisant la fonction rechercher dans ce répertoire ayant le site téléchargé, il n'y a pas de fichier qui s'appelle robots.txt.
Et pourtant, quand je veux voir le contenu robots.txt, il m'affiche bien le contenu : https://www.pepiniere-courtin.fr/robots.txt

J'ai regardé le dossier de Olivier Duffez. Olivier indique qu'il se trouve à la racine du domaine. Et pourtant, il n'y est pas.

Alors, avez-vous une explication ?
Que faire pour modifier le robots.txt.

 

[pomination]

Le robots.txt est bien à la racine du site et se voit en accès FTP.
Pour le modifier en ligne, le plugin Yoast le permet par exemple.

 

[webmestre amateur]

Bonsoir,
Le problème, c'est qu'il est invisible ou inexistant à la racine du site ni même ailleurs sur le site.
Je viens encore de vérifier.

 

[colonies]

Apparemment, c'est Wordpress qui se charge de renvoyer quelque chose si l'URL est appelée et que le fichier n'existe pas. Il suffit de créer le fichier pour reprendre la main.

 

[webmestre amateur]

Ok. Je viens de créer le fichier robots.txt que j'ai modifié (j'ai enlevé la ligne Allow: /wp-admin/admin-ajax.php préconisé par colonies).
Je viens de le mettre en ligne.
Demain, je vérifierai si wordpress fait encore des siennes ou si le robots.txt existe encore à la racine.

Je vous tiendrai au courant.
Encore merci.

 

[pomination]

Il ne faut pas enlever la ligne :
Allow: /wp-admin/admin-ajax.php

C'est l'URL d'appel pour tous les scripts asynchrones AJAX et comme Google et consorts n'aiment pas avoir d'erreurs quand ils scrappent un site, il faut leur autoriser l'accès à l'API Ajax :
https://developer.wordpress.org/plugins/javascript/ajax/#url

Par ailleurs le plugin RankMath permet aussi l'édition du robots.txt :
https://rankmath.com/kb/how-to-edit-robots-txt-with-rank-math/

 

[webmestre amateur]

Bonjour,
Même traduit en français, je n'ai pas tout compris.
J'ai donc remis comme pomination me l'a conseillé, la ligne Allow: /wp-admin/admin-ajax.php.
Effectivement, cette ligne est nécessaire.

Question de curiosité :
Mais pourquoi certains sites n'ont pas cette ligne dans leur robots.txt ?

Merci pour vos réponses.

 

[pomination]

Probablement parce ces personnes ont pensé que c'était une erreur ou ne servait à rien, voire contradictoire avec la consigne juste au dessus, ce qui n'est pas le cas. Ou alors, elles sont sures et certaines qu"il n'y a aucun appel Ajax.
La consigne Disallow interdit tout le wp-admin (ce qui est normal) SAUF la partie Ajax avec le Allow juste en dessous.

Le contenu des pages peut éventuellement être construit par des appels Ajax. Donc si on interdit aux robots de passer les appels Ajax alors il peut leur manquer du contenu, ce qui est contre productif.

 

[colonies]

Apparemment*, ce script public dans wp-admin n’est là que pour des raisons historique, pour fonctionner avec des vieilles extensions. Maintenant (depuis 9 ans) les accès devraient être faits via wp-json, ce qui est beaucoup plus logique.

Personnellement, si j’installe un CMS ou un outil qui a un dossier d’administration, je protège ce dossier avec un mot de passe (Apache, généralement). C’est pour ça que je trouvais bizarre cette histoire de script public dans un dossier sensible : c’est une très, très mauvaise idée.

* je ne fais pas de Wordpress

 

[pomination]

Oui c'est tout à fait exact, mais malheureusement il persiste des plugins et des thèmes qui font appel à cette vieille extension..

 

[webmestre amateur]

Bonjour à tous,

Quelle est cette vieille extension dont vous parlez ?

 

[webmestre amateur]

Pour revenir à la question initiale, GSC m'avait prévenu de cette alarte :

Nouveaux motifs empêchant l'indexation de vos pages
La Search Console a constaté que certaines pages de votre site n'étaient pas indexées aux nouveaux motifs suivants :

Bloquée par le fichier robots.txt
S'il ne s'agit pas d'un choix de votre part, nous vous recommandons de corriger ces problèmes afin que les pages affectées puissent être indexées et apparaître sur Google.

Que dois-je faire puisqu'au final, le robots.txt n'a pas été changé ?

 

[colonies]

certaines pages

Quelles pages, tu as des exemples d'URL ?

 

[webmestre amateur]

Les 2 pages concernées par robots.txt :
https://www.pepiniere-courtin.fr/wp-admin/upload.php?mode=list
et
https://www.pepiniere-courtin.fr/wp-admin/upload.php?mode=grid

Il y a d'autres pages mais pour d'autres motifs.
Je ferai un nouveau post pour ces pages si je ne trouve pas la réponse dans les réponses du forum.

 

[cthierry]

Un peu normal non ?


Testes tes URL en navigation privée, tu vas comprendre !
Et nul besoin de refaire un autre topic, au pire, tu peux demander à la suite, en regardant en premier si elles n'en rentrent pas dans ces deux cas de figure.

 

[mVdC]

C'est tout de même bizarre que tes pages d'admin soient indexables. Ces deux URL ne doivent pas être dans ton sitemap.

 

[webmestre amateur]

Testes tes URL en navigation privée, tu vas comprendre !

Oui, je viens de tester mais la 1ère différence est qu'en navigation privée, je n'ai besoin de saisir le mot de passe 1 seule fois alors qu'en mode normal, je dois saisir 2 fois l'id et le mdp.
Autre différence, à l'ouverture du back office, on arrive sur la médiathèque alors qu'auparavant on arrive à l'accueil.

C'est tout de même bizarre que tes pages d'admin soient indexables. Ces deux URL ne doivent pas être dans ton sitemap.

Je ne les ai pas trouvées dans mon sitemap ! J'ai regardé dans le sitemap.xml ( vu ici : https://www.webrankinfo.com/astuces/trouver-sitemap ).
Comment faire pour ne pas rendre indexables ces 2 pages ?

 

[cthierry]

Tu as la réponse n peu plus haut :
Bloquée par le fichier robots.txt
S'il ne s'agit pas d'un choix de votre part, nous vous recommandons de corriger ces problèmes afin que les pages affectées puissent être indexées et apparaître sur Google.

Bref, tu "Disallow: /wp-admin/" dans ton robots.txt, ce qui est un peu normal heureusement. Donc, laisse pisser, sinon cherche où ces liens ont pu apparaitre sur ton site. Perso, je laisse courir, des fois Google est très con.

 

[emualliug]

la ligne Allow: /wp-admin/admin-ajax.php ne sert à rien puisque le robots.txt interdit de crawler le dossier wp-admin.

Pas pour robots.txt, la règle de priorité veut que la règle le chemin le plus long (en nombre caractères dans l'URL pour tenir compte des caractère spéciaux) prime sur une autre règle (source).

C'est tout de même bizarre que tes pages d'admin soient indexables. Ces deux URL ne doivent pas être dans ton sitemap

Il suffit qu'il y ait des liens qui pointent vers ces URL, peut importe qu'elle ne figurent pas dans le sitemap.

 

[webmestre amateur]

Je n'ai mis aucun lien qui pointe vers ces 2 lignes.

Mettre Disallow pour ces 2 lignes :
Disallow: /wp-admin/upload.php?mode=list
Disallow: /wp-admin/upload.php?mode=grid

Ce serait efficace ou pas en interdisant le crawl de ces 2 lignes qui posent problème ?

 

[mVdC]

Pour rappel, le fichier robots.txt est utilisé par les bots qui respectent les directives indiquées.
Ce ne sont que des directives. Google ne respecte pas toujours ces directives. S'il découvre d'autres URL il va essayer de les indexer; et de là à mettre les URL en erreur il n'y a qu'un pas.

 

[webmestre amateur]

Bonjour à tous,

Je vais faire comme dit cthierry, ignorer et abandonner et me consacrer à d'autres raisons qui alertent GSC.

 

[webmestre amateur]

On va passer à une autre erreur indiquée par GSC : Page en double sans URL canonique sélectionnée par l'utilisateur

Il n'y a qu'un seul fichier pdf disponible sur le site à télécharger : https://www.pepiniere-courtin.fr/wp-content/uploads/fiche-client_adventices_hd_v2.pdf
Pourtant, GSC se plaint. Mettre une url canonique sur un fichier dispo en téléchargement, c'est possible ?

Tous les autres motifs concernent le même type de page. Elles contiennent toutes une url contenant une galerie d'images ou des vignettes d'images.
Voici par exemple celles-ci :
https://www.pepiniere-courtin.fr/ngg_tag/escalier-bois-gravier/nggallery/slideshow
avec les vignettes :
https://www.pepiniere-courtin.fr/ngg_tag/escalier-bois-gravier/nggallery/thumbnails

 

[emualliug]

Je n'ai mis aucun lien qui pointe vers ces 2 lignes.

Ils peuvent probablement venir du thème.

Mettre Disallow pour ces 2 lignes :
Disallow: /wp-admin/upload.php?mode=list
Disallow: /wp-admin/upload.php?mode=grid

Ce serait efficace ou pas en interdisant le crawl de ces 2 lignes qui posent problème ?

Ces pages sont déjà bloquées par la directive Disallow: /wp-admin/.
Surtout, ça ne règle pas le "problème". Le "problème" pour lequel tu as ouvert le sujet, c'est que GSC n'explore pas ces pages, parce qu'elles sont bloquées par robots.txt. Donc, les bloquer une seconde fois ne résout pas le "problème". Je mets des guillemets, parce que, en vrai, il est normal que ces pages soit bloquée par robots.txt, il n'y a donc rien à rectifier. On pourrait tout au plus essayer de voir où existent des liens vers des pages d'administration, mais ça n'apportera pas grand chose niveau SEO, sinon rien.

Je vais faire comme dit cthierry, ignorer et abandonner et me consacrer à d'autres raisons qui alertent GSC.

Oui, c'est ce qu'il y a de plus approprié.

On va passer à une autre erreur indiquée par GSC : Page en double sans URL canonique sélectionnée par l'utilisateur

Problème d'une nature différente, un sujet séparé serait plus adapté.

 

[webmestre amateur]

Ok. Je vais créer un nouveau sujet et ce sera plus clair pour tout le monde.
Encore merci à tous ceux qui m'ont répondu.

 

[webmestre amateur]

Pour un meilleur suivi dans le temps, c'est ici :
https://www.webrankinfo.com/forum/t...nonique-selectionnee-par-lutilisateur.203224/

 

[colonies]

On pourrait tout au plus essayer de voir où existent des liens vers des pages d'administration

Maintenant il y en a... dans ce sujet.