Le sitemap contient des URL bloquées par le robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par landry, 14 Août 2014.

  1. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Bonjour,

    Il se passe une chose que j'ai du mal à saisir dans les GWT.

    Google trouve 1372 URL bloquées par le robots.txt que voici pour vous éviter d'aller le chercher :

    Code:
    User-agent: Mediapartners-Google
    Disallow:
    
    User-agent: *
    Disallow: /Forum/viewtopic.php
    Disallow: /Forum/viewforum.php
    Disallow: /Forum/index.php?
    Disallow: /Forum/posting.php
    Disallow: /Forum/groupcp.php
    Disallow: /Forum/search.php?
    Disallow: /Forum/ucp.php
    Disallow: /Forum/mcp.php
    Disallow: /Forum/login.php
    Disallow: /Forum/profile.php
    Disallow: /Forum/member
    Disallow: /Forum/memberlist.php
    Disallow: /Forum/faq.php
    Disallow: /Forum/ptopic
    Disallow: /Forum/membre
    Disallow: /Forum/groupe
    Disallow: /Forum/report
    Disallow: /Forum/privmsg
    Google prétend que ces URL (à titre d'exemple, il y en a d'autres) sont bloqués
    -http://www.micro-astuce.com/Forum/affichage-dossiers-dans-partition-t6150.html
    -http://www.micro-astuce.com/Forum/adobe-reader-t6845.html

    Toutes les URL bloquée commencent par la lettre "a" après Forum/ ou par un chiffre.

    Or l'outil de test des URL lui dit que l'accès est autorisé aux robots, j'avoue ne pas comprendre.
    Voir la vignette ci dessous :

    [​IMG]

    Merci
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 566
    J'aime reçus:
    421
    c'est étrange en effet
    par curiosité, où vois-tu que ces URL sont bloquées selon Google ? car depuis qq semaines et la mise à jour de l'outil de test du robots.txt dans GWT, Google n'indique plus le nb d'URL bloquées (ou alors je ne l'ai pas vu)
     
  3. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Bonjour Olivier,

    Ben je vois ça dans les outils pour webmaster au niveau des sitemaps.

    [​IMG]

    Mais pour autant :

    [​IMG]

    Donc je reste perplexe devant ce que prétend Google :(
     
  4. baud74
    baud74 WRInaute impliqué
    Inscrit:
    21 Juillet 2014
    Messages:
    586
    J'aime reçus:
    0
    le robots.txt a été changé depuis le 30 juillet ?
     
  5. landry
    landry WRInaute discret
    Inscrit:
    3 Mai 2006
    Messages:
    208
    J'aime reçus:
    0
    Non, mais avant le 30 juillet oui.
     
Chargement...
Similar Threads - sitemap contient bloquées Forum Date
Si hreflang implémentés par HTML (<head>), inutile dans sitemaps ? Référencement international (langues, pays) 18 Mai 2020
faut il supprimer un ancien sitemap ? Crawl et indexation Google, sitemaps 6 Mai 2020
Désindexer liste d'URL en générant un sitemap Crawl et indexation Google, sitemaps 2 Mai 2020
Supprimer le sitemap HTML et garder le XML Crawl et indexation Google, sitemaps 27 Avril 2020
WordPress Créer un sitemap simple pour Google Débuter en référencement 9 Mars 2020
Sitemap ancienne version site Crawl et indexation Google, sitemaps 8 Mars 2020
WordPress Sitemap RankMath : page d'accueil du blog Débuter en référencement 2 Mars 2020
Besoin d'un sitemap.xml pour web app en REACT? Débuter en référencement 13 Février 2020
WordPress Yoast - Attachment-sitemap.xml à faire indexer ? Débuter en référencement 1 Février 2020
Search Console Sitemap envoyé de manière automatique Crawl et indexation Google, sitemaps 27 Janvier 2020
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice