Portrait Olivier Duffez

Olivier Duffez

Créateur de WebRankInfo,
consultant en référencement

Explications sur le rapport Ressources bloquées dans Google Search Console

Découvrez la rubrique Ressources bloquées de Google Search Console, qui liste les fichiers images, Javascript (.js) et CSS bloqués au crawl de Google, ce qui peut gêner l’analyse des pages qui les incluent et donc le SEO.

Gestion des ressources bloquées dans GWT

Google Webmaster Tools propose une interface de gestion des ressources bloquées au crawl (codes Javascript, feuilles de styles CSS, images…)

Pourquoi bloquer JS/CSS/images pose problème ?

Javascript et CSS sont des éléments incontournables de la création de sites web et ces technologies sont largement utilisées partout. Google a depuis longtemps expliqué qu’il ne faut pas bloquer à son robot Googlebot l’accès aux fichiers JS et CSS, car cela l’empêche de bien comprendre les pages web.

C’est particulièrement important depuis que les sites sont adaptés aux mobiles, par exemple avec la technique du responsive design. Si pour une page donnée Googlebot n’a pas accès aux ressources JS et CSS (ou images) car elles sont bloquées dans le robots.txt, alors il va considérer que la page est incompatible avec les mobiles. Maintenant que la compatibilité mobile compte pour le SEO (critère officiel), vous auriez tort de négliger cette problématique !

Comment obtenir la liste des ressources bloquées ?

La nouvelle rubrique Ressources bloquées dans votre compte Google Search Console (GSC, nouveau nom de Webmaster Tools GWT) va vous aider : elle liste toutes les ressources bloquées au crawl de Googlebot (JS, CSS, images). Vous la trouverez dans votre compte sous « Index Google > Ressources bloquées » mais vous pouvez aussi la consulter en vous rendant directement sur https://www.google.com/webmasters/tools/roboted

Google commence par ce résumé – avertissement : « Un affichage sans certaines ressources peut nuire à l’indexation de vos pages Web« . Par défaut, vous voyez :

  • un graphique montrant l’évolution du nombre de pages ayant des ressources bloquées au fil du temps
  • un tableau indiquant pour chaque hôte (protocole + sous-domaine + nom de domaine) le nombre de pages affectées

Dans la liste des hôtes, vous pouvez trouver votre propre site mais aussi des sites qui ne vous appartiennent pas. Il peut s’agir de votre CDN, d’un réseau social (pour des boutons de partage), d’un outil de tracking, d’un hébergement d’images, etc.

Voilà ce que ça donne pour le site d’un client :

GWT Ressources bloquées hotes

Liste des hôtes (sites) hébergeant des ressources (images, CSS, JS) bloquées au crawl de Google et pourtant utilisées sur les pages de votre site

En cliquant sur un hôte, vous obtenez la liste des ressources bloquées sur cet hôte, avec pour chaque ressource le nombre de pages de votre site affectées. Voici un exemple :

Liste des ressources bloquées au crawl

Google liste pour un hôte donné les ressources interdites de crawl

Ensuite, en cliquant sur une ressource, vous obtenez la liste des pages de votre site affectées. Voici un exemple :

Pages avec ressources bloquées au crawl

Google liste les pages de votre site comportant une ressource bloquée au crawl

Enfin, en cliquant sur une page contenant des ressources bloquées, vous obtenez un compte-rendu avec des conseils et des liens pour vous aider à corriger le problème. Voici un exemple :

Instructions de déblocage de ressources via GWT

Google fournit des conseils pour débloquer le crawl des ressources actuellement bloquées via un fichier robots.txt

Comment corriger le problème ?

Evidemment, si la ressource bloquée est sur votre propre site, ça sera facile à corriger. Il suffit de supprimer la ligne Disallow correspondante dans le bon fichier robots.txt.

Par contre si la ressource est hébergées sur un autre site auquel vous n’avez pas accès (pour modifier le robots.txt), ça sera bien plus dur. Il faudra soit tenter de contacter le webmaster, soit envisager de ne plus passer par ce site pour cette ressource.

Si jamais aucune ressource n’est bloquée (ce qui est l’idéal), vous aurez cet affichage :

« Nous n’avons détecté aucune ressource bloquée. Assurez-vous de vérifier toutes les variantes du site. »

Quel délai de prise en compte ?

Si vous avez débloqué les ressources dans le fichier robots.txt, vous constaterez sans doute que dans un premier temps il ne se passe rien. Google continue d’indiquer que les ressources sont bloquées, la courbe ne descend pas.

C’est normal ! Vous devez attendre :

  • que Google crawle les pages concernées,
  • puis qu’il mette à jour ce rapport dans Search Console.

Comment faire pour accélérer ?

Si vous avez mis à jour votre fichier robots.txt pour arrêter de bloquer l’accès de Google à certaines ressources :

  1. Dans Search Console, allez dans Exploration > Outil de test du fichier robots.txt
  2. Cliquez sur le bouton « Envoyer » en bas à droite
  3. Dans le pop-up qui s’affiche, dans la section « Demander la mise à jour à Google », cliquez sur « Envoyer » pour signifier à Google que votre fichier robots.txt a été mis à jour
  4. Dans Search Console, allez dans Exploration > Sitemaps
  5. Cochez les cases de vos fichiers sitemaps
  6. Cliquez sur Renvoyer afin de forcer Google à revoir vos sitemaps, ce qui l’incite généralement à refaire un crawl plus rapidement

Autres conseils

Google rappelle que depuis mars 2014 il faut déclarer à GSC toutes les variantes du site (HTTP et HTTPS si elle existe, vos différents sous-domaines, et éventuellement avec et sans le sous-domaine www).

Google Search Console s’est enrichi de nombreuses rubriques et devient vraiment très complet. Pour ma part, je considère qu’il est indispensable de bien maîtriser cet outil et c’est pour ça que j’en fais toujours une analyse dans mes audits.

D’ailleurs, chez Ranking Metrics on y passe également du temps en formation SEO ! L’objectif n’est pas de décrire chaque rubrique, car certaines sont très simples, mais plutôt de bien expliquer l’intérêt de certaines rubriques. C’est un outil qui vous aide à trouver des problèmes de référencement sur votre site, ainsi que des idées d’optimisation.

 

Vous trouverez de l’aide également sur le forum ou dans les pages de support de Google.

Cet article vous a-t-il plu ?

Note : 5.0 (2 votes)
Cliquez pour voter !

Laisser un commentaire

Remarques :

  • Si vous souhaitez poser une question ou détailler un problème technique, il ne faut pas utiliser le formulaire ci-dessous qui est réservé aux avis. Posez votre question directement dans le forum Gmail de WebRankInfo. L'inscription est gratuite et immédiate.

  • En postant un avis, vous acceptez les CGU du site WebRankInfo. Si votre avis ne respecte pas ces règles, il pourra être refusé. Si vous indiquez votre adresse email, vous serez informé dès que votre avis aura été validé (ou refusé...) ; votre adresse ne sera pas utilisée pour vous envoyer des mailings et ne sera pas revendue ou cédée à des tiers.

27 commentaires

david

Les sites bloques sont les scripts de pub type clickintext, ayads.co..
Difficile de compter sur les Webmasters pour ce souci.

Répondre
Olivier Duffez

en effet David. Si c’est juste du tracking, c’est pas utile pour la compréhension de la page, mais si c’est la pub elle-même, c’est clair que Googlebot ne pourra pas identifier qu’il y en a.
Mais ce n’est pas la faute du webmaster !

Répondre
jerome

Sait-on si Google pénalise les sites dont certains répertoires sont bloqués ? ex : /…content/plugins pour un wordpress

Répondre
Olivier Duffez

@jerome : cela peut poser problème si cela bloque l’accès à certaines ressources nécessaires à la bonne compréhension de la page, notamment mobile. Dans le cas contraire, ce n’est pas pénalisant.

Répondre
sam94

Bonjour et merci pour cet article.

Avec ce nouvel outils GWT, je m’aperçois que j’ai environ 10.000 pages listées ayant une ressource qui est bloquée, ces pages sont en fait très importantes sur mon site mais elles sont mal classées, voir absente de Google, alors que GGbot les visite régulièrement. Je pensais qu’elles avaient été pénalisée par Pinguin. Est-ce que ce problème de ressource bloquées peut être à l’origine du mauvais classement de ces pages ? Pour info toutes les autres pages de mon site son bien classées et c’est uniquement ces pages qui posent problèmes.

Répondre
Olivier Duffez

@ sam94 : ça semble étonnant. De quelles ressources s’agit-il ? Le trafic mobile est-il important sur votre site ?

Répondre
sam94

Le trafic mobile est d’environ 1700 visites/ jour,
La ressource est un répertoire qui permet de gérer la pub sur les pages, d’ailleurs en utilisant l’outils « voir comme GGbot » je ne vois pas de problème sur les pages en question.

Puis-je continuer à bloquer cette ressource ? le but est de minimiser les crawl de GGbot qui charge un peu trop le serveur par moment.

Répondre
Olivier Duffez

je demandais le trafic en proportion du reste du site, là je ne me rends pas compte
a priori pas de pb pour bloquer cette ressource (encore que je ne vois pas comment ça peut suffire à surcharger le serveur)
je ne vois pas comment ça pourrait expliquer une chute du genre de celles liées à Pingouin

Répondre
sam94

En pourcentage le trafic mobile représente près de 20 % des visites.
Merci.

Répondre
chris

bonsoir
j’ai 4634 ressources bloquées sur mon blog. Cela fait 3 fois que je contacte le service maintenance du site qui me bloque et toujours pas de réponses. Comment puis-je remédier à ce problème. D’autre part, j’ai créér un fichier robots.txt pour le modifier mais je n’arrive pas à le mettre sur mon blog.
cordialement
chris

Répondre
Olivier Duffez

@chris : il faut demander sur le forum en précisant l’URL du site, merci d’avance

Répondre
Nicolas

Bonjour,

WMT m’indique des ressources bloquées qui ne sont que des fichiers .css, comment y remédier ? Faut-il que je rajoute une ligne Allow: /*.css$ ?? Doit-on autoriser ce genre de choses ? Y a-t-il des risques ?

merci

Répondre
Olivier Duffez

@Nicolas : il ne faut pas ajouter une ligne Allow mais retirer la ligne Disallow correspondant à ce qu’indique Google

Répondre
Claudia

Bonjour et merci pour ces précieuses informations, mais malgré les suppressions des lignes Disallow aucune modif ne fonctionne, les mêmes ressources bloquées persistent.

Répondre
Olivier Duffez

il s’agit peut-être d’un problème de délai de mise à jour de Google Search Console ?

Répondre
the_ccm

Bonjour,

Plus généralement, j’avais pas mal de problèmes sur mon site que j’ai réglé, réécriture d’URL à la volée, ressources bloquées, pages en doublons, mais quel est le délai moyen de rafraichissement, quand ces changements seront-ils visible ? par exemple, j’ai modifié le robots.txt le 20/07 et je l’ai signalé dans les outils, mais le changement n’a toujours pas été pris en compte.

Autre chose, dans la rubrique erreur d’exploration, dans les pages introuvables ou en erreur, j’ai par exemple 5000 pages mais je peux seulement marquer comme corriger les 1000 premières, ensuite la liste est vide….

merci.

Répondre
Olivier Duffez

@the_ccm : le délai dépend des rapports GSC, ça peut être plusieurs jours ou plusieurs semaines… Par ailleurs, il faut aussi ajouter le délai dû au fait que Googlebot doit revenir crawler les pages concernées.
Pour la limite à 1000 je ne sais pas, mais attention, marquer comme corrigé ne fournit aucune information à Google, c’est juste pour vous dans l’interface GSC.

Répondre
Olivier Duffez

Non Benjamin, d’autres sont concernés bien entendu, et ça n’est pas considéré comme un pb (d’ailleurs Google n’envoie pas de mail s’il n’y a que des ressources de tiers qui sont bloquées). Mais c’est vrai que ça pollue ce rapport et que Google devrait sans doute les mettre vraiment à part.

Répondre
rachel

Bonjour,
J’ai plus de 1000 ressources bloquées.. mais ce sont les JS et CSS sur mon propre site je ne vois pas comment je peux les retirer du ficher robot.txt
le site n’est pas encore responsive design
est ce un problème de laisser ainsi au niveau google ?
Merci par avance de votre aide
bien cdt

Répondre
Olivier Duffez

@rachel : à quoi ça sert de les bloquer ?

Répondre
bebert44

Bonjour,

Je voudrais savoir si beaucoup de pages seraient bloquées, cela impacterait il le référencement de notre site internet?

nous avons environ plus de 4200 pages avec ressources bloquées sur 5500 pages de notre catalogue et lorsque nous faisons la commande site: le nombre d’url indexées baissent tous les mois

Merci de ta réponse

Bebert44

Répondre
Olivier Duffez

Bonjour Bebert44,
Les ressources bloquées sont des images, des CSS ou des JS, donc ça n’explique pas une baisse des pages indexées.
Cela dit, la commande site: n’est pas assez fiable pour ça, il vaut mieux regarder l’état de l’indexation dans Search Console ainsi que les stats des sitemaps.

Répondre
Nicolas Chevallier

A noter qu’entre le 22 et le 23 Décembre, les images provenant des API Google static maps API et Google static streetview API ne sont plus listées comme des problèmes « sévère » : ces ressources ne sont plus listées.

J’avais remonté l’info lors du dernier hangout français car on utilise massivement les vues streetview en haut de page sur plusieurs sites et j’avais peur que cela puisse pénaliser les pages (Panda, Phantom, Ads above the fold, …)

Répondre
Sarah B.

Bonjour,

Juste une question très rapide: Une seule ressource bloquée sur mon site -> google agenda (que j’ai intégré en précisant bien que les agendas étaient publics).

Est-ce normal? Cela pose t-il problème ? Comment y remédier ?

Merci pour vos réponses et bonne continuation à tous

Répondre
Olivier Duffez

Non Sarah, ce n’est pas un pb

Répondre
Sarah B.

Merci pour la réponse et pour l’article !

Répondre