Le sitemap contient des URL bloquées par le robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par landry, 14 Août 2014.

  1. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Bonjour,

    Il se passe une chose que j'ai du mal à saisir dans les GWT.

    Google trouve 1372 URL bloquées par le robots.txt que voici pour vous éviter d'aller le chercher :

    Code:
    User-agent: Mediapartners-Google
    Disallow:
    
    User-agent: *
    Disallow: /Forum/viewtopic.php
    Disallow: /Forum/viewforum.php
    Disallow: /Forum/index.php?
    Disallow: /Forum/posting.php
    Disallow: /Forum/groupcp.php
    Disallow: /Forum/search.php?
    Disallow: /Forum/ucp.php
    Disallow: /Forum/mcp.php
    Disallow: /Forum/login.php
    Disallow: /Forum/profile.php
    Disallow: /Forum/member
    Disallow: /Forum/memberlist.php
    Disallow: /Forum/faq.php
    Disallow: /Forum/ptopic
    Disallow: /Forum/membre
    Disallow: /Forum/groupe
    Disallow: /Forum/report
    Disallow: /Forum/privmsg
    Google prétend que ces URL (à titre d'exemple, il y en a d'autres) sont bloqués
    -http://www.micro-astuce.com/Forum/affichage-dossiers-dans-partition-t6150.html
    -http://www.micro-astuce.com/Forum/adobe-reader-t6845.html

    Toutes les URL bloquée commencent par la lettre "a" après Forum/ ou par un chiffre.

    Or l'outil de test des URL lui dit que l'accès est autorisé aux robots, j'avoue ne pas comprendre.
    Voir la vignette ci dessous :

    [​IMG]

    Merci
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 807
    J'aime reçus:
    259
    c'est étrange en effet
    par curiosité, où vois-tu que ces URL sont bloquées selon Google ? car depuis qq semaines et la mise à jour de l'outil de test du robots.txt dans GWT, Google n'indique plus le nb d'URL bloquées (ou alors je ne l'ai pas vu)
     
  3. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Bonjour Olivier,

    Ben je vois ça dans les outils pour webmaster au niveau des sitemaps.

    [​IMG]

    Mais pour autant :

    [​IMG]

    Donc je reste perplexe devant ce que prétend Google :(
     
  4. baud74
    baud74 WRInaute impliqué
    Inscrit:
    21 Juillet 2014
    Messages:
    586
    J'aime reçus:
    0
    le robots.txt a été changé depuis le 30 juillet ?
     
  5. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Non, mais avant le 30 juillet oui.
     
Chargement...
Similar Threads - sitemap contient bloquées Forum Date
Search Console Comment faire évoluer son sitemap Débuter en référencement Samedi à 18:10
WordPress Indexée, mais non envoyée via un sitemap Crawl et indexation Google, sitemaps 5 Août 2019
Webmaster tools - Impossible de lire le sitemap Crawl et indexation Google, sitemaps 31 Juillet 2019
Mauvais sitemap statique déclaré Crawl et indexation Google, sitemaps 24 Juin 2019
sitemap exclue par la balise "noindex" Problèmes de référencement spécifiques à vos sites 18 Juin 2019
sitemap par type de page et par langue Référencement international (langues, pays) 28 Mai 2019
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0 Crawl et indexation Google, sitemaps 16 Mai 2019
Budget de crawl et images "Indexée, mais non envoyée via un sitemap" Problèmes de référencement spécifiques à vos sites 13 Mai 2019
Url d'un sitemap vers des images etc Débuter en référencement 17 Avril 2019
Question sur sitemap et robots.txt Crawl et indexation Google, sitemaps 8 Avril 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice