Wordpress et le robots.txt

[Mazinger]

Bonjour la SEO familly!

Si je crée une page sous wordpress et que je ne veux pas qu'elle soit indexé,
1. si dès le départ j'indique dans mon robots.txt de ne pas la suivre de ce que j'ai pus comprendre elle ne devrait jamais être indexé!?
Meme si la page est présent dans mon sitemap, ( je n'ai pas trouvé comment l'enlever du sitemap automatiquement géneré)?

Je suis sous Wordpress et je me sers du plugin : XML Sitemap & Google News qui me permet de modifier mon robots.txt. il me génère cela :

"
# XML Sitemap & Google News version 5.2.7 - https://status301.net/wordpress-plugins/xml-sitemap-feed/
Sitemap: https://MONSITE.com/sitemap.xml

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://MONSITE.com/wp-sitemap.xml
Disallow: /TEST/
"

2. A quoi cela sert que Google visite /wp-admin/admin-ajax.php?

3. Est ce que l'ordre à une importance?
Par l'extension j'ai juste rajouté Disallow: /TEST/
est ce qu'il devrait etre mis dès le début du fichier?



Merci par avance!

 

[Furtif]

Une page bloquée par un robot peut tout de même être indexée si elle est référencée sur d'autres sites
Le contenu bloqué par le fichier robots.txt ne sera ni exploré, ni indexé, mais nous pouvons toujours trouver et indexer une URL non autorisée si elle est référencée ailleurs sur le Web. Par conséquent, l'adresse URL, et potentiellement d'autres informations accessibles au public, comme le texte d'ancrage dans les liens vers la page, peuvent continuer de figurer dans les résultats de recherche Google.

https://developers.google.com/search/docs/advanced/crawling/block-indexing?hl=fr

Pour que l'instruction noindex soit efficace, la page ne doit pas être bloquée par un fichier robots.txt. Elle doit être accessible au robot d'exploration. Si la page est bloquée par un fichier robots.txt ou qu'elle est inaccessible, l'instruction noindex n'est pas détectée par le robot d'exploration. La page peut donc continuer à s'afficher dans les résultats de recherche, par exemple si d'autres pages contiennent des liens vers celle-ci.

 

[WebRankInfo]

pour compléter : c'est dommage que Wordpress ne gère pas nativement la balise meta robots noindex

conseil à Mazinger : lire mes articles sur les différences entre disallow et noindex et sur les méthodes pour désindexer des pages de Google

 

[SeoMix]

A vrai dire, WordPress ne gère nativement la balise noindex que sur les pages générées par WordPress qui le nécessitent (par exemple la page demande de renouvellement de mot de passe).

Pour ce qui est de l'extension cité plus haut, de mémoire elle a une option pour exclure un contenu du sitemap : c'est soit lors de l'édition du contenu, soit dans la page d'option de l'extension. Mais dans un cas comme dans l'autre, cela ne va pas gérer le noindex. Il faut passer par une extension SEO pour cela (Yoast, All In One SEO, Rankmath, etc.)

 

[WebRankInfo]

Bon retour sur le forum Daniel ! presque 9 ans depuis ton dernier post

 

[SeoMix]

Bon retour sur le forum Daniel ! presque 9 ans depuis ton dernier post

Oui, cela faisait longtemps

 

[Mazinger]

Merci pour vos réponses!
avez vous une idée concernant la partie 2 de ma question :
2. A quoi cela sert que Google visite /wp-admin/admin-ajax.php?

 

[SeoMix]

Ce fichier est utilisé par WordPress, le thème et ou des extensions pour faire des requêtes AJAX dans WordPress.

Google peut donc potentiellement en avoir besoin si des requêtes AJAX sont effectuées sur le site pour les visiteurs.

 

[Mazinger]

Merci Seomix!
Je comprends mieux!