Crawl et indexation de certaines pages

Discussion dans 'Débuter en référencement' créé par Maxence_V, 30 Décembre 2019.

Tags:
  1. Maxence_V
    Maxence_V Nouveau WRInaute
    Inscrit:
    30 Août 2019
    Messages:
    9
    J'aime reçus:
    0
    Bonjour à tous :),

    En faisant un crawl de mon site, j'ai aperçu différentes choses et j'aimerais être conseillé :

    1) Le crawl me révèle que de nouvelles pages sont indexables. Ce sont les pages .../feed. Je crois que ce sont les pages relatives au flux rss. Je ne sais pas comment elles ont été créées et comment elles ont été rendues indexables. Je pensais donc les désindéxer (depuis une balise meta robots ?). Est-ce la bonne solution ?

    2) Lors de la visualisation de mon crawl en version schéma, je de nombreuses url .../wp-json/... ont été créées. Je pense que c'est dû à l'ajout récent de données structurées via un plugin WP.
    Dois-je interdire le crawl pour ces pages ? (depuis le robots.txt ?)

    J'espère avoir été clair et que quelqu'un pourra me conseiller ! :)

    Bonne journée !
     
    #1 Maxence_V, 30 Décembre 2019
  2. saluts92
    saluts92 WRInaute impliqué
    Inscrit:
    12 Avril 2006
    Messages:
    961
    J'aime reçus:
    42
    #2 saluts92, 8 Janvier 2020
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Crawl indexation Forum Date
Crawl et indexation Landing Page (site en création) Débuter en référencement 25 Mars 2021
Indexation de nouveaux url et crawl Référencement Google 15 Novembre 2018
Crawl indexation depuis mobile et AMP ? Référencement Google 7 Février 2018
Crawl et indexation Google par langue et pays Référencement international (langues, pays) 2 Février 2015
Premiere indexation et crawl suivants Référencement Google 22 Février 2014
Crawl, indexation, robots.txt : les mystères de Google expliqués Crawl et indexation Google, sitemaps 10 Juin 2013
Crawl, indexation et optimisation SEO pour Qwant Autres moteurs de recherche connus 14 Mars 2013
Pas d'indexation d'une page alors que google a bien fait son crawling du domaine Problèmes de référencement spécifiques à vos sites 24 Novembre 2009
[Problème] Indexation/Crawl d'un site Crawl et indexation Google, sitemaps 18 Mars 2009
Description du système de crawl et d'indexation de Google Crawl et indexation Google, sitemaps 20 Août 2008
Développement d'un crawler pour indexation petites annonces Développement d'un site Web ou d'une appli mobile 20 Avril 2007
Temps entre crawl et indexation Problèmes de référencement spécifiques à vos sites 22 Janvier 2006
Crawl des pages mais pas indexation? Crawl et indexation Google, sitemaps 23 Juin 2005
Google crawl indexation nouveaux domaines Crawl et indexation Google, sitemaps 18 Août 2003
Liens internes invisibles pour les crawlers Demandes d'avis et de conseils sur vos sites 7 Décembre 2021
Budget Crawl Google pour un gros site Crawl et indexation Google, sitemaps 18 Novembre 2021
Problème récent de Crawl Google Crawl et indexation Google, sitemaps 7 Juillet 2021
faut-il activer les URL image ou éviter pour économiser le crawl Référencement Google 21 Juin 2021
Signaler aux crawler de ne pas suivre un lien qui nécessite une connexion Crawl et indexation Google, sitemaps 9 Juin 2021
Urls filtrées indexées et crawl robots.txt Crawl et indexation Google, sitemaps 19 Mai 2021