WMT : erreur URL à accès restreint par un fichier robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par milkiway, 15 Août 2011.

  1. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 196
    J'aime reçus:
    0
    Bonjour,

    Webmaster Tools me relève en erreur 1500 URL, dans la section Erreur d'exploitation.
    Il m'indique "URL à accès restreint par un fichier robots.txt"
    Normal je les ai mises en disallow dans le robots.txt car elle ne sont pas destinées à être indexées.

    Mais dès lors, pourquoi me l'indique t il en erreur ? Chez vous aussi vous avez ça ?
    Vaut il mieux enlever le disallow mais mettre un meta noindex ?

    Merci
     
  2. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 729
    J'aime reçus:
    174
    Est ce qu'elles sont présentes dans le sitemap ?
     
  3. milkiway
    milkiway WRInaute accro
    Inscrit:
    3 Février 2004
    Messages:
    4 196
    J'aime reçus:
    0
    Non et elles n'ont aucun lien externe ...
     
  4. Leonick
    Leonick WRInaute accro
    Inscrit:
    8 Août 2004
    Messages:
    19 274
    J'aime reçus:
    0
    j'ai le même problème avec plusieurs milliers d'url mises en nofollow et bloquées avec robots.txt
     
  5. Seoscar
    Seoscar Nouveau WRInaute
    Inscrit:
    20 Avril 2011
    Messages:
    11
    J'aime reçus:
    0
    Je me permets de relancer ce topic car je suis également concerné par ce problème. Avez-vous trouvé une solution pour que ces urls en disallow ne soient plus comprises comme des "erreurs" par Webmaster Tools?

    Merci
     
  6. Marie-Aude
    Marie-Aude WRInaute accro
    Inscrit:
    5 Juin 2006
    Messages:
    16 729
    J'aime reçus:
    174
    Les urls bloquées à l'exploration ne sont pas supprimées automatiquement des erreurs d'exploration, car le robot n'y accède plus, et il ne peut donc pas constater la résolution de l'erreur 404
     
  7. longo600
    longo600 WRInaute passionné
    Inscrit:
    24 Février 2005
    Messages:
    2 166
    J'aime reçus:
    7
    J'ai pour ma part effacé les répertoires bloqués par des fichiers robots.txt avec l'outil suppression de répertoires de GWT, mais j'ai toujours l'immense liste d'erreurs.

    Et pire, Google m'a ressortis des urls qui n'existent plus depuis 6 ans ... et TOUTES, par dizaines de milliers. du coups, mon site est truffé de 404, a 99% ... J'attends mon déploiement V2 pour mettre le nez dans tout ce bazar et utiliser les redirections.

    Probleme pour ton annuaire @Milkway , c'est que ne peux pas mettre du redirect 301 si tes pages sont consultés par les internautes... tu as essayé le retrait de l'index par l'outil suppression de répertoire?

    Je ne sais pas si Google utilise ses vieilles bases d'url pour envoyer le bot, ou si il tombe sur des sites d'archive comme archive.org et repointe les urls des anciennes versions... ce qui signifie (dans ce dernier cas) qu'il faut laisser a vie les redirections 301.
     
Chargement...
Similar Threads - WMT erreur accès Forum Date
WMT - Erreurs d'exploration - URL concatener Crawl et indexation Google, sitemaps 24 Février 2016
Google WMT : Erreurs du serveur Problèmes de référencement spécifiques à vos sites 16 Juillet 2013
Erreur d'exploration GWMT Débuter en référencement 23 Mai 2012
Page qui disparait puis réapparait à sa place après resoumission WMT Référencement Google 7 Avril 2019
Analyse de recherche sur WMT Débuter en référencement 16 Janvier 2016
Faut-il desavouer des liens supprimé mais encore présent dans WMT Netlinking, backlinks, liens et redirections 14 Mai 2015
301 detecté en soft 404 par GWMT Netlinking, backlinks, liens et redirections 20 Avril 2015
WMT avec et sans "www" Débuter en référencement 7 Avril 2015
Desindexation pages introuvable WMT avec site map Crawl et indexation Google, sitemaps 24 Février 2015
impossible d'ajouter des comptes utilisateurs WMT Crawl et indexation Google, sitemaps 13 Février 2015
Balisage avec WMT refusé Débuter en référencement 2 Novembre 2014
Liens "inexplicables" dans Google WMT : 625 en 2 mois !! Débuter en référencement 19 Octobre 2014
Chute du trafic + Impressions/Clics dans WMT Problèmes de référencement spécifiques à vos sites 6 Octobre 2014
Page introuvable remontées dans WMT Crawl et indexation Google, sitemaps 3 Mars 2014
SOS indexation GWMT Problèmes de référencement spécifiques à vos sites 20 Février 2013
Nombre de page référencées sur GWMT et sitemap Crawl et indexation Google, sitemaps 15 Février 2013
Google WMT : soft 404 Débuter en référencement 14 Février 2013
Balises META description en double dans WMT Crawl et indexation Google, sitemaps 2 Juillet 2012
problème WMT Netlinking, backlinks, liens et redirections 23 Avril 2012
WMT et les backlinks Netlinking, backlinks, liens et redirections 12 Avril 2012