Portrait Olivier Duffez

Olivier Duffez

Créateur de WebRankInfo,
consultant en référencement

Disparition du rapport Ressources bloquées dans Google Search Console

Sortie en 2015, la rubrique Ressources bloquées de Google Search Console disparaît début 2019, non remplacée dans la nouvelle Search Console. Découvrez comment trouver vos fichiers images, Javascript (.js) et CSS bloqués au crawl de Google...

Cet article explique ce que sont les "ressources bloquées", pourquoi c'est un problème pour votre référencement, comment s'en rendre compte maintenant que le rapport concerné n'existe plus dans la Search Console
Suppression des ressources bloquées dans Search Console

C'est quoi les Ressources bloquées ?

Pourquoi bloquer les JS/CSS/images pose problème

Javascript et CSS sont des éléments incontournables de la création de sites web et ces technologies sont largement utilisées partout. Google a depuis longtemps expliqué qu'il ne faut pas bloquer à son robot Googlebot l'accès aux fichiers JS et CSS, car cela l'empêche de bien comprendre les pages web.

C'est particulièrement important depuis que les sites sont adaptés aux mobiles, par exemple avec la technique du responsive design. Si pour une page donnée Googlebot n'a pas accès aux ressources JS et CSS (ou images) car elles sont bloquées dans le robots.txt, alors il va considérer que la page est incompatible avec les mobiles. Maintenant que la compatibilité mobile compte pour le SEO (critère officiel), vous auriez tort de négliger cette problématique !

Comment obtenir la liste des ressources bloquées ?

Maintenant que ce n'est plus disponible (source), il faut trouver des solutions...

La solution la plus simple est d'utiliser l'outil d'inspection d'URL disponible dans la (nouvelle) Search Console (aide ici). C'est bien, mais ça ne fournit une analyse que pour les ressources utilisées par l'URL que vous indiquez. Dit autrement, il faudrait théoriquement le faire pour toutes vos pages...

La solution la plus complète est d'utiliser un crawler pour parcourir toutes les pages de votre site, incluant dans son crawl toutes les ressources utilisées par toutes les pages HTML. Il faut donc suivre les "src" et autres "href" de plusieurs balises (img, link, script, etc.). Enfin, il faut lister les URL des ressources bloquées par le fichier robots.txt.

Une autre solution est d'auditer manuellement le fichier robots.txt en se demandant pour chaque "Disallow" si ça ne pourrait pas concerner des ressources utiles au crawl de Google.

Comment corriger les ressources bloquées ?

Evidemment, si la ressource bloquée est sur votre propre site, ça sera facile à corriger. Il suffit de supprimer la ligne Disallow correspondante dans le bon fichier robots.txt.

Par contre si la ressource est hébergées sur un autre site auquel vous n'avez pas accès (pour modifier le robots.txt), ça sera bien plus dur. Il faudra soit tenter de contacter le webmaster, soit envisager de ne plus passer par ce site pour cette ressource.

Quel est le délai de prise en compte ?

Si vous avez débloqué les ressources dans le fichier robots.txt, ce n'est pas immédiat. C'est normal ! Vous devez attendre que Google crawle les pages concernées.

Comment faire pour accélérer ?

Une fois que vous avez mis à jour votre fichier robots.txt pour arrêter de bloquer l'accès de Google à certaines ressources, voici les étapes à suivre :

  1. D'abord, indiquez à Google que votre fichier robots.txt a été modifié :
    • Dans l'ancienne Search Console, allez dans Exploration > Outil de test du fichier robots.txt
    • Cliquez sur le bouton "Envoyer" en bas à droite
    • Dans le pop-up qui s'affiche, dans la section "Demander la mise à jour à Google", cliquez sur "Envoyer" pour signifier à Google que votre fichier robots.txt a été mis à jour
  2. Ensuite, indiquez à Google qu'il devrait aller crawler toutes vos URL
    • vérifiez que vous avez bien un (ou plusieurs) sitemap exhaustif de toutes les URL de votre site
    • déclarez-le à nouveau dans la nouvelle Search Console (il n'y a plus le lien "Renvoyer" mais ça fait la même chose). Ceci incite généralement Google à refaire un crawl plus rapidement

Autres conseils SEO

Google rappelle que depuis mars 2014 il faut déclarer à GSC toutes les variantes du site (HTTP et HTTPS si elle existe, vos différents sous-domaines, et éventuellement avec et sans le sous-domaine www).

Google Search Console s'est enrichi de nombreuses rubriques et devient vraiment très complet. Pour ma part, je considère qu'il est indispensable de bien maîtriser cet outil et c'est pour ça que j'en fais toujours une analyse dans mes audits.

D'ailleurs, chez Ranking Metrics on y passe également du temps en formation SEO ! L'objectif n'est pas de décrire chaque rubrique, car certaines sont très simples, mais plutôt de bien expliquer l'intérêt de certaines rubriques. C'est un outil qui vous aide à trouver des problèmes de référencement sur votre site, ainsi que des idées d'optimisation.

Vous trouverez de l'aide également sur le forum ou dans les pages de support de Google.

L'ancien rapport "Ressources bloquées" de la Search Console (supprimé en 2019)

Attention, ce qui suit n'est plus utilisable, je l'ai laissé quelques temps pour que vous vous rendiez compte du rapport que Google a supprimé début 2019...

La rubrique Ressources bloquées dans votre compte Google Search Console (GSC, nouveau nom de Webmaster Tools GWT) va vous aider : elle liste toutes les ressources bloquées au crawl de Googlebot (JS, CSS, images). Vous la trouverez dans votre compte sous "Index Google > Ressources bloquées" mais vous pouvez aussi la consulter en vous rendant directement sur https://www.google.com/webmasters/tools/roboted

Google commence par ce résumé - avertissement : "Un affichage sans certaines ressources peut nuire à l'indexation de vos pages Web". Par défaut, vous voyez :

  • un graphique montrant l'évolution du nombre de pages ayant des ressources bloquées au fil du temps
  • un tableau indiquant pour chaque hôte (protocole + sous-domaine + nom de domaine) le nombre de pages affectées

Dans la liste des hôtes, vous pouvez trouver votre propre site mais aussi des sites qui ne vous appartiennent pas. Il peut s'agir de votre CDN, d'un réseau social (pour des boutons de partage), d'un outil de tracking, d'un hébergement d'images, etc.

Voilà ce que ça donne pour le site d'un client :

GWT Ressources bloquées hotes
Liste des hôtes (sites) hébergeant des ressources (images, CSS, JS) bloquées au crawl de Google et pourtant utilisées sur les pages de votre site

En cliquant sur un hôte, vous obtenez la liste des ressources bloquées sur cet hôte, avec pour chaque ressource le nombre de pages de votre site affectées. Voici un exemple :

Liste des ressources bloquées au crawl
Google liste pour un hôte donné les ressources interdites de crawl

Ensuite, en cliquant sur une ressource, vous obtenez la liste des pages de votre site affectées. Voici un exemple :

Pages avec ressources bloquées au crawl
Google liste les pages de votre site comportant une ressource bloquée au crawl

Enfin, en cliquant sur une page contenant des ressources bloquées, vous obtenez un compte-rendu avec des conseils et des liens pour vous aider à corriger le problème. Voici un exemple :

Instructions de déblocage de ressources via GWT
Google fournit des conseils pour débloquer le crawl des ressources actuellement bloquées via un fichier robots.txt

Cet article vous a-t-il plu ?

Note : 4.8 (6 votes)
Cliquez pour voter !

30 commentaires

Fred

BOnjour,
Depuis la nouvelle search console, alors que je n'avais plus de resourcres bloquées, je me retrouve quasi systématiquement avec 90%des ressources en "Autre erreur"  : il ne s'agit pas d'un blocage robots.txt ou noindex.

avez-vous constaté cela aussi ?

Olivier Duffez

donc ce message n'est pas dans search console mais dans l'outil de test d'optimisation mobile ? Merci de créer une discussion dans le forum, ça sera plus efficace qu'ici.

David

Il n'y a pas que le fichier robots.txt, il est très important d'avoir les bons droits sur certains dossiers (755). Pour WordPress le plugin itheme security vous indique (notamment)les bons chmods pour ne pas avoir de ressources bloquées.

Sarah B.

Merci pour la réponse et pour l'article !

Sarah B.

Bonjour,

Juste une question très rapide: Une seule ressource bloquée sur mon site -> google agenda (que j'ai intégré en précisant bien que les agendas étaient publics).

Est-ce normal? Cela pose t-il problème ? Comment y remédier ?

Merci pour vos réponses et bonne continuation à tous

Olivier Duffez

Non Sarah, ce n'est pas un pb

Nicolas Chevallier

A noter qu'entre le 22 et le 23 Décembre, les images provenant des API Google static maps API et Google static streetview API ne sont plus listées comme des problèmes "sévère" : ces ressources ne sont plus listées.

J'avais remonté l'info lors du dernier hangout français car on utilise massivement les vues streetview en haut de page sur plusieurs sites et j'avais peur que cela puisse pénaliser les pages (Panda, Phantom, Ads above the fold, ...)

bebert44

Bonjour,

Je voudrais savoir si beaucoup de pages seraient bloquées, cela impacterait il le référencement de notre site internet?

nous avons environ plus de 4200 pages avec ressources bloquées sur 5500 pages de notre catalogue et lorsque nous faisons la commande site: le nombre d'url indexées baissent tous les mois

Merci de ta réponse

Bebert44

Olivier Duffez

Bonjour Bebert44,
Les ressources bloquées sont des images, des CSS ou des JS, donc ça n'explique pas une baisse des pages indexées.
Cela dit, la commande site: n'est pas assez fiable pour ça, il vaut mieux regarder l'état de l'indexation dans Search Console ainsi que les stats des sitemaps.

rachel

Bonjour,
J'ai plus de 1000 ressources bloquées.. mais ce sont les JS et CSS sur mon propre site je ne vois pas comment je peux les retirer du ficher robot.txt
le site n'est pas encore responsive design
est ce un problème de laisser ainsi au niveau google ?
Merci par avance de votre aide
bien cdt

Olivier Duffez

@rachel : à quoi ça sert de les bloquer ?

Olivier Duffez

Non Benjamin, d'autres sont concernés bien entendu, et ça n'est pas considéré comme un pb (d'ailleurs Google n'envoie pas de mail s'il n'y a que des ressources de tiers qui sont bloquées). Mais c'est vrai que ça pollue ce rapport et que Google devrait sans doute les mettre vraiment à part.

the_ccm

Bonjour,

Plus généralement, j'avais pas mal de problèmes sur mon site que j'ai réglé, réécriture d'URL à la volée, ressources bloquées, pages en doublons, mais quel est le délai moyen de rafraichissement, quand ces changements seront-ils visible ? par exemple, j'ai modifié le robots.txt le 20/07 et je l'ai signalé dans les outils, mais le changement n'a toujours pas été pris en compte.

Autre chose, dans la rubrique erreur d'exploration, dans les pages introuvables ou en erreur, j'ai par exemple 5000 pages mais je peux seulement marquer comme corriger les 1000 premières, ensuite la liste est vide....

merci.

Olivier Duffez

@the_ccm : le délai dépend des rapports GSC, ça peut être plusieurs jours ou plusieurs semaines... Par ailleurs, il faut aussi ajouter le délai dû au fait que Googlebot doit revenir crawler les pages concernées.
Pour la limite à 1000 je ne sais pas, mais attention, marquer comme corrigé ne fournit aucune information à Google, c'est juste pour vous dans l'interface GSC.

Claudia

Bonjour et merci pour ces précieuses informations, mais malgré les suppressions des lignes Disallow aucune modif ne fonctionne, les mêmes ressources bloquées persistent.

Olivier Duffez

il s'agit peut-être d'un problème de délai de mise à jour de Google Search Console ?

Nicolas

Bonjour,

WMT m'indique des ressources bloquées qui ne sont que des fichiers .css, comment y remédier ? Faut-il que je rajoute une ligne Allow: /*.css$ ?? Doit-on autoriser ce genre de choses ? Y a-t-il des risques ?

merci

Olivier Duffez

@Nicolas : il ne faut pas ajouter une ligne Allow mais retirer la ligne Disallow correspondant à ce qu'indique Google

chris

bonsoir
j'ai 4634 ressources bloquées sur mon blog. Cela fait 3 fois que je contacte le service maintenance du site qui me bloque et toujours pas de réponses. Comment puis-je remédier à ce problème. D'autre part, j'ai créér un fichier robots.txt pour le modifier mais je n'arrive pas à le mettre sur mon blog.
cordialement
chris

Olivier Duffez

@chris : il faut demander sur le forum en précisant l'URL du site, merci d'avance

sam94

En pourcentage le trafic mobile représente près de 20 % des visites.
Merci.

sam94

Le trafic mobile est d'environ 1700 visites/ jour,
La ressource est un répertoire qui permet de gérer la pub sur les pages, d’ailleurs en utilisant l'outils "voir comme GGbot" je ne vois pas de problème sur les pages en question.

Puis-je continuer à bloquer cette ressource ? le but est de minimiser les crawl de GGbot qui charge un peu trop le serveur par moment.

Olivier Duffez

je demandais le trafic en proportion du reste du site, là je ne me rends pas compte
a priori pas de pb pour bloquer cette ressource (encore que je ne vois pas comment ça peut suffire à surcharger le serveur)
je ne vois pas comment ça pourrait expliquer une chute du genre de celles liées à Pingouin

sam94

Bonjour et merci pour cet article.

Avec ce nouvel outils GWT, je m’aperçois que j'ai environ 10.000 pages listées ayant une ressource qui est bloquée, ces pages sont en fait très importantes sur mon site mais elles sont mal classées, voir absente de Google, alors que GGbot les visite régulièrement. Je pensais qu'elles avaient été pénalisée par Pinguin. Est-ce que ce problème de ressource bloquées peut être à l'origine du mauvais classement de ces pages ? Pour info toutes les autres pages de mon site son bien classées et c'est uniquement ces pages qui posent problèmes.

Olivier Duffez

@ sam94 : ça semble étonnant. De quelles ressources s'agit-il ? Le trafic mobile est-il important sur votre site ?

jerome

Sait-on si Google pénalise les sites dont certains répertoires sont bloqués ? ex : /...content/plugins pour un wordpress

Olivier Duffez

@jerome : cela peut poser problème si cela bloque l'accès à certaines ressources nécessaires à la bonne compréhension de la page, notamment mobile. Dans le cas contraire, ce n'est pas pénalisant.

david

Les sites bloques sont les scripts de pub type clickintext, ayads.co..
Difficile de compter sur les Webmasters pour ce souci.

Olivier Duffez

en effet David. Si c'est juste du tracking, c'est pas utile pour la compréhension de la page, mais si c'est la pub elle-même, c'est clair que Googlebot ne pourra pas identifier qu'il y en a.
Mais ce n'est pas la faute du webmaster !

Les commentaires sont fermés