Le sitemap contient des URL bloquées par le robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par landry, 14 Août 2014.

  1. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Bonjour,

    Il se passe une chose que j'ai du mal à saisir dans les GWT.

    Google trouve 1372 URL bloquées par le robots.txt que voici pour vous éviter d'aller le chercher :

    Code:
    User-agent: Mediapartners-Google
    Disallow:
    
    User-agent: *
    Disallow: /Forum/viewtopic.php
    Disallow: /Forum/viewforum.php
    Disallow: /Forum/index.php?
    Disallow: /Forum/posting.php
    Disallow: /Forum/groupcp.php
    Disallow: /Forum/search.php?
    Disallow: /Forum/ucp.php
    Disallow: /Forum/mcp.php
    Disallow: /Forum/login.php
    Disallow: /Forum/profile.php
    Disallow: /Forum/member
    Disallow: /Forum/memberlist.php
    Disallow: /Forum/faq.php
    Disallow: /Forum/ptopic
    Disallow: /Forum/membre
    Disallow: /Forum/groupe
    Disallow: /Forum/report
    Disallow: /Forum/privmsg
    Google prétend que ces URL (à titre d'exemple, il y en a d'autres) sont bloqués
    -http://www.micro-astuce.com/Forum/affichage-dossiers-dans-partition-t6150.html
    -http://www.micro-astuce.com/Forum/adobe-reader-t6845.html

    Toutes les URL bloquée commencent par la lettre "a" après Forum/ ou par un chiffre.

    Or l'outil de test des URL lui dit que l'accès est autorisé aux robots, j'avoue ne pas comprendre.
    Voir la vignette ci dessous :

    [​IMG]

    Merci
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 423
    J'aime reçus:
    403
    c'est étrange en effet
    par curiosité, où vois-tu que ces URL sont bloquées selon Google ? car depuis qq semaines et la mise à jour de l'outil de test du robots.txt dans GWT, Google n'indique plus le nb d'URL bloquées (ou alors je ne l'ai pas vu)
     
  3. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Bonjour Olivier,

    Ben je vois ça dans les outils pour webmaster au niveau des sitemaps.

    [​IMG]

    Mais pour autant :

    [​IMG]

    Donc je reste perplexe devant ce que prétend Google :(
     
  4. baud74
    baud74 WRInaute impliqué
    Inscrit:
    21 Juillet 2014
    Messages:
    586
    J'aime reçus:
    0
    le robots.txt a été changé depuis le 30 juillet ?
     
  5. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Non, mais avant le 30 juillet oui.
     
Chargement...
Similar Threads - sitemap contient bloquées Forum Date
WordPress Créer un sitemap simple pour Google Débuter en référencement 9 Mars 2020
Sitemap ancienne version site Crawl et indexation Google, sitemaps 8 Mars 2020
WordPress Sitemap RankMath : page d'accueil du blog Débuter en référencement 2 Mars 2020
Besoin d'un sitemap.xml pour web app en REACT? Débuter en référencement 13 Février 2020
WordPress Yoast - Attachment-sitemap.xml à faire indexer ? Débuter en référencement 1 Février 2020
Search Console Sitemap envoyé de manière automatique Crawl et indexation Google, sitemaps 27 Janvier 2020
Lien image vers le sitemap Crawl et indexation Google, sitemaps 27 Décembre 2019
Search Console Sitemap déplacée : besoin de redirection ? Crawl et indexation Google, sitemaps 14 Décembre 2019
Problème de référencement et ajout sitemaps Problèmes de référencement spécifiques à vos sites 26 Novembre 2019
Search Console Sitemap ou pas pour page unique ? Crawl et indexation Google, sitemaps 4 Novembre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice