indexé malgré robots.txt

[saluts92]

Bonjour,
Dans mon fichier j'ai un Disallow qui concerne un groupe de nombreuses pages (générées par mes utilisateurs) qui n'ont pas a être indexées
Les liens vers cas pages étaient un rel="nofollow"
De plus ces pages font une redirection 301 vers un site extérieur

Suite à un audit RM Tech qui me conseille de ne pas avoir de nofollow sur des liens internes, il y a 2 semaines j'ai enlevé les nofollow pensant que le Disallow dans le robots.txt suffisait
en effet j'ai quelques pages exemples (indexables) qui utilisent ce genre de lien

Et ce matin je commence à voir ces pages dans GSC > couverture > Indexée malgré le blocage par le fichier robots.txt

ces liens ont été créés après avoir mis le Disallow (qui n'a jamais été retiré du robots.txt)

Est ce normal ?

PS : j'ai donc remis mes Nofollow

 

[rick38]

Sans doute une erreur dans le robots.txt

Et le nofollow ça ne garantit de rien, seul le noindex sur les pages concernées est fiable.

 

[WebRankInfo]

Je considère pour ma part que c'est Google qui fait n'importe quoi dans ce cas. D'ailleurs, si on pousse les tests, on finit par voir que les URL ne sont pas indexées.
J'ai la même chose avec la partie "membres" de ce forum.

 

[saluts92]

Et le nofollow ça ne garantit de rien, seul le noindex sur les pages concernées est fiable

justement je viens de démontrer le contraire, c'est ce qui m'inquiète

 

[saluts92]

D'ailleurs, si on pousse les tests, on finit par voir que les URL ne sont pas indexées

pourtant, lorsque je fais "inspection de l'url" j'ai le message : "Cette URL est sur Google, mais présente des problèmes (Indexée malgré le blocage par le fichier robots.txt)"
par contre lorsque je fais un info:....url....
j'ai "Aucune information n'est disponible pour cette page."

c'est fatiguant de jouer au chat et à la souris avec Google

 

[WebRankInfo]

d'où ma réponse. Google devrait arrêter d'essayer de faire sortir dans les SERP des pages bloquées dans les règles de l'art. Pour ma part, je m'occupe de choses plus utiles, je sais que ces pages ne sont pas dans l'index (ni crawlées).

 

[rick38]

Voilà autrement dit, les pages ne sont pas indexées, les gens ne peuvent pas tomber dessus ! Mais si vous tapez l'URL (que vous seule connaissez donc), Google va vous répondre en quelque sorte qu'il connait bien l'URL, mais qu'il ne la présente pas dans les résultats des recherches naturelles. Donc aucun problème.
Et personnellement avec un noindex (sans robots.txt), jamais eu aucun problème.

 

[WebRankInfo]

quand il y a un gros volume de pages à bloquer, c'est tout de même mieux de les bloquer au crawl, ça améliore la gestion du crawl budget

 

[saluts92]

c'est ce que je fais