Search Console Indexée malgré le blocage dans robots.txt

Røi · 26 Février 2020

Alors, au début de la création, fut le fichier robots.txt dédié aux.... robots.

Puis Google est arrivé, et a décrété que le fichier robots.txt ne devait pas être pris en compte et qu'il allait quand même indexer des pages.
En plus il nous l'indique "- Désolé pépére, tu as voulu faire un site indexé proprement ? ben moi, Google, je lui c*** dessus"

Ça ne dérange personne ?

Et demain il va ignorer les balises meta robots ?

emualliug · 26 Février 2020

Google prend en compte les directives de robots.txt et des balises meta. Mais il y a des limites, et elles sont explicites :

Une page bloquée par un robot peut tout de même être indexée si d'autres sites renvoient vers elle
Nous n'explorerons ni n'indexerons pas le contenu bloqué par le fichier robots.txt, mais nous pouvons toujours trouver et indexer une URL non autorisée si elle est référencée ailleurs sur le Web. Par conséquent, l'adresse URL, et potentiellement d'autres informations accessibles au public, comme le texte d'ancrage dans les liens vers la page, peuvent continuer de figurer dans les résultats de recherche Google. La procédure conseillée pour empêcher l'affichage d'une URL dans les résultats de recherche Google consiste à protéger par mot de passe les fichiers correspondants sur votre serveur, à utiliser la balise Meta ou l'en-tête de réponse "noindex"
Cliquez pour agrandir...

(source)

rick38 · 26 Février 2020

Utiliser les meta noindex, car robots.txt ça n'a jamais été une méthode "propre".

WebRankInfo · 26 Février 2020

Le robots.txt est censé interdire le crawl, donc en effet si l'URL a toujours été ainsi bloquée, elle ne devrait jamais être crawlée et a fortiori indexée.
Mais Google considère les instructions du robots.txt comme des indications et non des obligations. Ma meta robots noindex est considérée comme une directive, toujours respectée (pour l'instant ?).

Moi aussi je trouve ça pénible. Les pages concernées doivent donc avoir une meta robots noindex en plus d'être bloquées au crawl.

Similar Threads - Indexée malgré blocage	Forum	Date
Message console "Indexée malgré blocage robot.txt"	Crawl et indexation Google, sitemaps	4 Août 2019
"Indexée malgré le blocage par le fichier robots.txt" Que faire si ce message ?	Crawl et indexation Google, sitemaps	12 Février 2019
Indexée malgré le blocage par le fichier robots.txt	Débuter en référencement	5 Décembre 2018
Anciennes URLs toujours indexées malgré 301	Netlinking, backlinks, liens et redirections	24 Février 2019
Page indexée malgré canonical	Crawl et indexation Google, sitemaps	20 Février 2019
pages indexées malgré la balise no-index	Crawl et indexation Google, sitemaps	6 Novembre 2018
Page indexée malgré redirection 301	Crawl et indexation Google, sitemaps	21 Mars 2014
Page recherche.php indexée. malgré le noindex ?	Problèmes de référencement spécifiques à vos sites	30 Octobre 2011
Erreur : Cette URL n'a pas été indexée par Google	Crawl et indexation Google, sitemaps	Mardi à 13:24
WordPress Chute de pages indexées	Problèmes de référencement spécifiques à vos sites	7 Mars 2020