Crawl et indexation de certaines pages

Maxence_V · 30 Décembre 2019

Bonjour à tous ,

En faisant un crawl de mon site, j'ai aperçu différentes choses et j'aimerais être conseillé :

1) Le crawl me révèle que de nouvelles pages sont indexables. Ce sont les pages .../feed. Je crois que ce sont les pages relatives au flux rss. Je ne sais pas comment elles ont été créées et comment elles ont été rendues indexables. Je pensais donc les désindéxer (depuis une balise meta robots ?). Est-ce la bonne solution ?

2) Lors de la visualisation de mon crawl en version schéma, je de nombreuses url .../wp-json/... ont été créées. Je pense que c'est dû à l'ajout récent de données structurées via un plugin WP.
Dois-je interdire le crawl pour ces pages ? (depuis le robots.txt ?)

J'espère avoir été clair et que quelqu'un pourra me conseiller !

Bonne journée !

saluts92 · 8 Janvier 2020

https://www.webrankinfo.com/dossiers/indexation/comment-desindexer

Similar Threads - Crawl indexation	Forum	Date
Indexation de nouveaux url et crawl	Référencement Google	15 Novembre 2018
Crawl indexation depuis mobile et AMP ?	Référencement Google	7 Février 2018
Crawl et indexation Google par langue et pays	Référencement international (langues, pays)	2 Février 2015
Premiere indexation et crawl suivants	Référencement Google	22 Février 2014
Crawl, indexation, robots.txt : les mystères de Google expliqués	Crawl et indexation Google, sitemaps	10 Juin 2013
Crawl, indexation et optimisation SEO pour Qwant	Autres moteurs de recherche connus	14 Mars 2013
Pas d'indexation d'une page alors que google a bien fait son crawling du domaine	Problèmes de référencement spécifiques à vos sites	24 Novembre 2009
[Problème] Indexation/Crawl d'un site	Crawl et indexation Google, sitemaps	18 Mars 2009
Pages crawlées mais non indexées	Crawl et indexation Google, sitemaps	9 Décembre 2019
Impact des crawlers sur le taux de rebond et le référencement	Crawl et indexation Google, sitemaps	19 Septembre 2019