Cet article fait partie des archives de WebRankInfo : certes, il est ancien, mais complet et détaillé pour son époque. Si vous cherchez d'autres informations, faites une recherche sur le site ou participez au forum. Contactez-moi si besoin.
C'est quoi les Ressources bloquées ?
Pourquoi bloquer les JS/CSS/images pose problème
Javascript et CSS sont des éléments incontournables de la création de sites web et ces technologies sont largement utilisées partout. Google a depuis longtemps expliqué qu'il ne faut pas bloquer à son robot Googlebot l'accès aux fichiers JS et CSS, car cela l'empêche de bien comprendre les pages web.
C'est particulièrement important depuis que les sites sont adaptés aux mobiles, par exemple avec la technique du responsive design. Si pour une page donnée Googlebot n'a pas accès aux ressources JS et CSS (ou images) car elles sont bloquées dans le robots.txt, alors il va considérer que la page est incompatible avec les mobiles. Maintenant que la compatibilité mobile compte pour le SEO (critère officiel), vous auriez tort de négliger cette problématique !
Comment obtenir la liste des ressources bloquées ?
Maintenant que ce n'est plus disponible (source), il faut trouver des solutions...
La solution la plus simple est d'utiliser l'outil d'inspection d'URL disponible dans la (nouvelle) Search Console (aide ici). C'est bien, mais ça ne fournit une analyse que pour les ressources utilisées par l'URL que vous indiquez. Dit autrement, il faudrait théoriquement le faire pour toutes vos pages...
La solution la plus complète est d'utiliser un crawler pour parcourir toutes les pages de votre site, incluant dans son crawl toutes les ressources utilisées par toutes les pages HTML. Il faut donc suivre les "src" et autres "href" de plusieurs balises (img, link, script, etc.). Enfin, il faut lister les URL des ressources bloquées par le fichier robots.txt.
Une autre solution est d'auditer manuellement le fichier robots.txt en se demandant pour chaque "Disallow" si ça ne pourrait pas concerner des ressources utiles au crawl de Google.
Comment corriger les ressources bloquées ?
Evidemment, si la ressource bloquée est sur votre propre site, ça sera facile à corriger. Il suffit de supprimer la ligne Disallow correspondante dans le bon fichier robots.txt.
Par contre si la ressource est hébergées sur un autre site auquel vous n'avez pas accès (pour modifier le robots.txt), ça sera bien plus dur. Il faudra soit tenter de contacter le webmaster, soit envisager de ne plus passer par ce site pour cette ressource.
Quel est le délai de prise en compte ?
Si vous avez débloqué les ressources dans le fichier robots.txt, ce n'est pas immédiat. C'est normal ! Vous devez attendre que Google crawle les pages concernées.
Comment faire pour accélérer ?
Une fois que vous avez mis à jour votre fichier robots.txt pour arrêter de bloquer l'accès de Google à certaines ressources, voici les étapes à suivre :
- D'abord, indiquez à Google que votre fichier robots.txt a été modifié :
- Dans l'ancienne Search Console, allez dans Exploration > Outil de test du fichier robots.txt
- Cliquez sur le bouton "Envoyer" en bas à droite
- Dans le pop-up qui s'affiche, dans la section "Demander la mise à jour à Google", cliquez sur "Envoyer" pour signifier à Google que votre fichier robots.txt a été mis à jour
- Ensuite, indiquez à Google qu'il devrait aller crawler toutes vos URL
- vérifiez que vous avez bien un (ou plusieurs) sitemap exhaustif de toutes les URL de votre site
- déclarez-le à nouveau dans la nouvelle Search Console (il n'y a plus le lien "Renvoyer" mais ça fait la même chose). Ceci incite généralement Google à refaire un crawl plus rapidement
Autres conseils SEO
Google rappelle que depuis mars 2014 il faut déclarer à GSC toutes les variantes du site (HTTP et HTTPS si elle existe, vos différents sous-domaines, et éventuellement avec et sans le sous-domaine www).
Google Search Console s'est enrichi de nombreuses rubriques et devient vraiment très complet. Pour ma part, je considère qu'il est indispensable de bien maîtriser cet outil et c'est pour ça que j'en fais toujours une analyse dans mes audits.
D'ailleurs, chez Ranking Metrics on y passe également du temps en formation SEO ! L'objectif n'est pas de décrire chaque rubrique, car certaines sont très simples, mais plutôt de bien expliquer l'intérêt de certaines rubriques. C'est un outil qui vous aide à trouver des problèmes de référencement sur votre site, ainsi que des idées d'optimisation.
Vous trouverez de l'aide également sur le forum ou dans les pages de support de Google.
L'ancien rapport "Ressources bloquées" de la Search Console (supprimé en 2019)
La rubrique Ressources bloquées dans votre compte Google Search Console (GSC, nouveau nom de Webmaster Tools GWT) va vous aider : elle liste toutes les ressources bloquées au crawl de Googlebot (JS, CSS, images). Vous la trouverez dans votre compte sous "Index Google > Ressources bloquées" mais vous pouvez aussi la consulter en vous rendant directement sur https://www.google.com/webmasters/tools/roboted
Google commence par ce résumé - avertissement : "Un affichage sans certaines ressources peut nuire à l'indexation de vos pages Web". Par défaut, vous voyez :
- un graphique montrant l'évolution du nombre de pages ayant des ressources bloquées au fil du temps
- un tableau indiquant pour chaque hôte (protocole + sous-domaine + nom de domaine) le nombre de pages affectées
Dans la liste des hôtes, vous pouvez trouver votre propre site mais aussi des sites qui ne vous appartiennent pas. Il peut s'agir de votre CDN, d'un réseau social (pour des boutons de partage), d'un outil de tracking, d'un hébergement d'images, etc.
Voilà ce que ça donne pour le site d'un client :
En cliquant sur un hôte, vous obtenez la liste des ressources bloquées sur cet hôte, avec pour chaque ressource le nombre de pages de votre site affectées. Voici un exemple :
Ensuite, en cliquant sur une ressource, vous obtenez la liste des pages de votre site affectées. Voici un exemple :
Enfin, en cliquant sur une page contenant des ressources bloquées, vous obtenez un compte-rendu avec des conseils et des liens pour vous aider à corriger le problème. Voici un exemple :
BOnjour,
Depuis la nouvelle search console, alors que je n'avais plus de resourcres bloquées, je me retrouve quasi systématiquement avec 90%des ressources en "Autre erreur" : il ne s'agit pas d'un blocage robots.txt ou noindex.
avez-vous constaté cela aussi ?
donc ce message n'est pas dans search console mais dans l'outil de test d'optimisation mobile ? Merci de créer une discussion dans le forum, ça sera plus efficace qu'ici.
Il n'y a pas que le fichier robots.txt, il est très important d'avoir les bons droits sur certains dossiers (755). Pour WordPress le plugin itheme security vous indique (notamment)les bons chmods pour ne pas avoir de ressources bloquées.
Merci pour la réponse et pour l'article !
Bonjour,
Juste une question très rapide: Une seule ressource bloquée sur mon site -> google agenda (que j'ai intégré en précisant bien que les agendas étaient publics).
Est-ce normal? Cela pose t-il problème ? Comment y remédier ?
Merci pour vos réponses et bonne continuation à tous
Non Sarah, ce n'est pas un pb
A noter qu'entre le 22 et le 23 Décembre, les images provenant des API Google static maps API et Google static streetview API ne sont plus listées comme des problèmes "sévère" : ces ressources ne sont plus listées.
J'avais remonté l'info lors du dernier hangout français car on utilise massivement les vues streetview en haut de page sur plusieurs sites et j'avais peur que cela puisse pénaliser les pages (Panda, Phantom, Ads above the fold, ...)
Bonjour,
Je voudrais savoir si beaucoup de pages seraient bloquées, cela impacterait il le référencement de notre site internet?
nous avons environ plus de 4200 pages avec ressources bloquées sur 5500 pages de notre catalogue et lorsque nous faisons la commande site: le nombre d'url indexées baissent tous les mois
Merci de ta réponse
Bebert44
Bonjour Bebert44,
Les ressources bloquées sont des images, des CSS ou des JS, donc ça n'explique pas une baisse des pages indexées.
Cela dit, la commande site: n'est pas assez fiable pour ça, il vaut mieux regarder l'état de l'indexation dans Search Console ainsi que les stats des sitemaps.
Bonjour,
J'ai plus de 1000 ressources bloquées.. mais ce sont les JS et CSS sur mon propre site je ne vois pas comment je peux les retirer du ficher robot.txt
le site n'est pas encore responsive design
est ce un problème de laisser ainsi au niveau google ?
Merci par avance de votre aide
bien cdt
@rachel : à quoi ça sert de les bloquer ?
J'ai récemment constaté une explosion des ressources bloquées sur mon site, provenant de Google itself...
Ressource :
http://www.googleadservices.com/pagead/conversion.js
Fichier robots.txt :
http://www.googleadservices.com/robots.txt
Suis-je le seul dans ce cas ?
Non Benjamin, d'autres sont concernés bien entendu, et ça n'est pas considéré comme un pb (d'ailleurs Google n'envoie pas de mail s'il n'y a que des ressources de tiers qui sont bloquées). Mais c'est vrai que ça pollue ce rapport et que Google devrait sans doute les mettre vraiment à part.
Bonjour,
Plus généralement, j'avais pas mal de problèmes sur mon site que j'ai réglé, réécriture d'URL à la volée, ressources bloquées, pages en doublons, mais quel est le délai moyen de rafraichissement, quand ces changements seront-ils visible ? par exemple, j'ai modifié le robots.txt le 20/07 et je l'ai signalé dans les outils, mais le changement n'a toujours pas été pris en compte.
Autre chose, dans la rubrique erreur d'exploration, dans les pages introuvables ou en erreur, j'ai par exemple 5000 pages mais je peux seulement marquer comme corriger les 1000 premières, ensuite la liste est vide....
merci.
@the_ccm : le délai dépend des rapports GSC, ça peut être plusieurs jours ou plusieurs semaines... Par ailleurs, il faut aussi ajouter le délai dû au fait que Googlebot doit revenir crawler les pages concernées.
Pour la limite à 1000 je ne sais pas, mais attention, marquer comme corrigé ne fournit aucune information à Google, c'est juste pour vous dans l'interface GSC.
Bonjour et merci pour ces précieuses informations, mais malgré les suppressions des lignes Disallow aucune modif ne fonctionne, les mêmes ressources bloquées persistent.
il s'agit peut-être d'un problème de délai de mise à jour de Google Search Console ?
Bonjour,
WMT m'indique des ressources bloquées qui ne sont que des fichiers .css, comment y remédier ? Faut-il que je rajoute une ligne Allow: /*.css$ ?? Doit-on autoriser ce genre de choses ? Y a-t-il des risques ?
merci
@Nicolas : il ne faut pas ajouter une ligne Allow mais retirer la ligne Disallow correspondant à ce qu'indique Google
bonsoir
j'ai 4634 ressources bloquées sur mon blog. Cela fait 3 fois que je contacte le service maintenance du site qui me bloque et toujours pas de réponses. Comment puis-je remédier à ce problème. D'autre part, j'ai créér un fichier robots.txt pour le modifier mais je n'arrive pas à le mettre sur mon blog.
cordialement
chris
@chris : il faut demander sur le forum en précisant l'URL du site, merci d'avance
En pourcentage le trafic mobile représente près de 20 % des visites.
Merci.
Le trafic mobile est d'environ 1700 visites/ jour,
La ressource est un répertoire qui permet de gérer la pub sur les pages, d’ailleurs en utilisant l'outils "voir comme GGbot" je ne vois pas de problème sur les pages en question.
Puis-je continuer à bloquer cette ressource ? le but est de minimiser les crawl de GGbot qui charge un peu trop le serveur par moment.
je demandais le trafic en proportion du reste du site, là je ne me rends pas compte
a priori pas de pb pour bloquer cette ressource (encore que je ne vois pas comment ça peut suffire à surcharger le serveur)
je ne vois pas comment ça pourrait expliquer une chute du genre de celles liées à Pingouin
Bonjour et merci pour cet article.
Avec ce nouvel outils GWT, je m’aperçois que j'ai environ 10.000 pages listées ayant une ressource qui est bloquée, ces pages sont en fait très importantes sur mon site mais elles sont mal classées, voir absente de Google, alors que GGbot les visite régulièrement. Je pensais qu'elles avaient été pénalisée par Pinguin. Est-ce que ce problème de ressource bloquées peut être à l'origine du mauvais classement de ces pages ? Pour info toutes les autres pages de mon site son bien classées et c'est uniquement ces pages qui posent problèmes.
@ sam94 : ça semble étonnant. De quelles ressources s'agit-il ? Le trafic mobile est-il important sur votre site ?
Sait-on si Google pénalise les sites dont certains répertoires sont bloqués ? ex : /...content/plugins pour un wordpress
@jerome : cela peut poser problème si cela bloque l'accès à certaines ressources nécessaires à la bonne compréhension de la page, notamment mobile. Dans le cas contraire, ce n'est pas pénalisant.
Les sites bloques sont les scripts de pub type clickintext, ayads.co..
Difficile de compter sur les Webmasters pour ce souci.
en effet David. Si c'est juste du tracking, c'est pas utile pour la compréhension de la page, mais si c'est la pub elle-même, c'est clair que Googlebot ne pourra pas identifier qu'il y en a.
Mais ce n'est pas la faute du webmaster !