Le sitemap contient des URL bloquées par le robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par landry, 14 Août 2014.

  1. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Bonjour,

    Il se passe une chose que j'ai du mal à saisir dans les GWT.

    Google trouve 1372 URL bloquées par le robots.txt que voici pour vous éviter d'aller le chercher :

    Code:
    User-agent: Mediapartners-Google
    Disallow:
    
    User-agent: *
    Disallow: /Forum/viewtopic.php
    Disallow: /Forum/viewforum.php
    Disallow: /Forum/index.php?
    Disallow: /Forum/posting.php
    Disallow: /Forum/groupcp.php
    Disallow: /Forum/search.php?
    Disallow: /Forum/ucp.php
    Disallow: /Forum/mcp.php
    Disallow: /Forum/login.php
    Disallow: /Forum/profile.php
    Disallow: /Forum/member
    Disallow: /Forum/memberlist.php
    Disallow: /Forum/faq.php
    Disallow: /Forum/ptopic
    Disallow: /Forum/membre
    Disallow: /Forum/groupe
    Disallow: /Forum/report
    Disallow: /Forum/privmsg
    Google prétend que ces URL (à titre d'exemple, il y en a d'autres) sont bloqués
    -http://www.micro-astuce.com/Forum/affichage-dossiers-dans-partition-t6150.html
    -http://www.micro-astuce.com/Forum/adobe-reader-t6845.html

    Toutes les URL bloquée commencent par la lettre "a" après Forum/ ou par un chiffre.

    Or l'outil de test des URL lui dit que l'accès est autorisé aux robots, j'avoue ne pas comprendre.
    Voir la vignette ci dessous :

    [​IMG]

    Merci
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 728
    J'aime reçus:
    781
    c'est étrange en effet
    par curiosité, où vois-tu que ces URL sont bloquées selon Google ? car depuis qq semaines et la mise à jour de l'outil de test du robots.txt dans GWT, Google n'indique plus le nb d'URL bloquées (ou alors je ne l'ai pas vu)
     
  3. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Bonjour Olivier,

    Ben je vois ça dans les outils pour webmaster au niveau des sitemaps.

    [​IMG]

    Mais pour autant :

    [​IMG]

    Donc je reste perplexe devant ce que prétend Google :(
     
  4. baud74
    baud74 WRInaute impliqué
    Inscrit:
    21 Juillet 2014
    Messages:
    580
    J'aime reçus:
    0
    le robots.txt a été changé depuis le 30 juillet ?
     
  5. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Non, mais avant le 30 juillet oui.
     
Chargement...
Similar Threads - sitemap contient bloquées Forum Date
Outil de test de code HTTP en masse (sitemap ou liste d'URL) Référencement Google 19 Mai 2022
Search Console Page accueil avec index dans sitemap et sans index avec canonical Débuter en référencement 4 Avril 2022
"Impossible de lire le sitemap" Search console Crawl et indexation Google, sitemaps 20 Mars 2022
Redistribution du jus de la homepage et sitemap Débuter en référencement 8 Février 2022
Search Console Problème indexation sitemap Problèmes de référencement spécifiques à vos sites 1 Février 2022
Problèmes dans le méta-titre / description + Sitemap Référencement Google 29 Novembre 2021
Search Console Changement de sitemap Crawl et indexation Google, sitemaps 22 Novembre 2021
Impossible de lire le sitemap (webmaster tools) Crawl et indexation Google, sitemaps 17 Novembre 2021
Yoast SEO et validité des sitemaps créés Débuter en référencement 12 Novembre 2021
Pourquoi j'ai 2 Sitemaps ? Yoast SEO Problèmes de référencement spécifiques à vos sites 29 Octobre 2021
SiteMap et URL non-indéxée Problèmes de référencement spécifiques à vos sites 26 Septembre 2021
Problèmes - Indexation et Sitemap Problèmes de référencement spécifiques à vos sites 10 Août 2021
WordPress Problème sitemap site multilingue Crawl et indexation Google, sitemaps 26 Juillet 2021
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 14 Juillet 2021
Search Console Créer des sitemap avec les redirections 301 Netlinking, backlinks, liens et redirections 14 Avril 2021
Sitemap et maintenance Crawl et indexation Google, sitemaps 20 Janvier 2021
Search Console Sitemap lu mais certaines pages non indexées ? Crawl et indexation Google, sitemaps 23 Novembre 2020
Faut-il déclarer le sitemap dans le robots.txt ou search console ? Crawl et indexation Google, sitemaps 17 Octobre 2020
Faut-il créer un sitemap mobile ? Crawl et indexation Google, sitemaps 6 Octobre 2020
Gestion sitemap.xml sur un site multilingue Crawl et indexation Google, sitemaps 5 Octobre 2020