Search Console Indexée malgré le blocage dans robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par Røi, 26 Février 2020.

  1. Røi
    Røi WRInaute occasionnel
    Inscrit:
    8 Août 2005
    Messages:
    458
    J'aime reçus:
    0
    Alors, au début de la création, fut le fichier robots.txt dédié aux.... robots.

    Puis Google est arrivé, et a décrété que le fichier robots.txt ne devait pas être pris en compte et qu'il allait quand même indexer des pages.
    En plus il nous l'indique "- Désolé pépére, tu as voulu faire un site indexé proprement ? ben moi, Google, je lui c*** dessus"

    Ça ne dérange personne ?

    Et demain il va ignorer les balises meta robots ?
     
  2. emualliug
    emualliug Nouveau WRInaute
    Inscrit:
    1 Février 2020
    Messages:
    40
    J'aime reçus:
    8
    Google prend en compte les directives de robots.txt et des balises meta. Mais il y a des limites, et elles sont explicites :

    (source)
     
  3. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 397
    J'aime reçus:
    179
    Utiliser les meta noindex, car robots.txt ça n'a jamais été une méthode "propre".
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 425
    J'aime reçus:
    403
    Le robots.txt est censé interdire le crawl, donc en effet si l'URL a toujours été ainsi bloquée, elle ne devrait jamais être crawlée et a fortiori indexée.
    Mais Google considère les instructions du robots.txt comme des indications et non des obligations. Ma meta robots noindex est considérée comme une directive, toujours respectée (pour l'instant ?).

    Moi aussi je trouve ça pénible. Les pages concernées doivent donc avoir une meta robots noindex en plus d'être bloquées au crawl.
     
Chargement...
Similar Threads - Indexée malgré blocage Forum Date
Message console "Indexée malgré blocage robot.txt" Crawl et indexation Google, sitemaps 4 Août 2019
"Indexée malgré le blocage par le fichier robots.txt" Que faire si ce message ? Crawl et indexation Google, sitemaps 12 Février 2019
Indexée malgré le blocage par le fichier robots.txt Débuter en référencement 5 Décembre 2018
Anciennes URLs toujours indexées malgré 301 Netlinking, backlinks, liens et redirections 24 Février 2019
Page indexée malgré canonical Crawl et indexation Google, sitemaps 20 Février 2019
pages indexées malgré la balise no-index Crawl et indexation Google, sitemaps 6 Novembre 2018
Page indexée malgré redirection 301 Crawl et indexation Google, sitemaps 21 Mars 2014
Page recherche.php indexée. malgré le noindex ? Problèmes de référencement spécifiques à vos sites 30 Octobre 2011
Erreur : Cette URL n'a pas été indexée par Google Crawl et indexation Google, sitemaps Mardi à 13:24
WordPress Chute de pages indexées Problèmes de référencement spécifiques à vos sites 7 Mars 2020
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice