Ras le bol ! Bloquer le crawling des fichiers Css et Javascript à Google

dudo · 12 Septembre 2015

Bonjour,
Je trouve que Google devient trop intrusif à ce rythme il permettra aux internautes la consultation du contenu de nos sites à partir de son moteur :
Un spécialiste peut-il me dire si ces deux lignes dans le fichier .htaccess vont faire le job ? et suffisant
merci
Code:
RewriteEngine On
 RewriteBase /

RewriteCond %{HTTP_USER_AGENT} Googlebot
 RewriteRule \.(css|js)$ http://www.monsite.net [QSA,R=301,L]

loubet · 12 Septembre 2015

j'utiliserais plutôt un robots.txt pour faire cela.

dudo · 12 Septembre 2015

loubet a dit:

j'utiliserais plutôt un robots.txt pour faire cela.
Cliquez pour agrandir...

Déjà fait, Disallow: /*.js, mais l'expérience m'a montrer que ce n'est pas toujours respecté par le tout puissant qui fait ce qu'il veut, donc je renforce, d'un point de vue technique je ne bloque pas mes JavaScripts !

on est d'accord là-dessus ou pas, quelqu'un à un avis !

Bigb06 · 13 Septembre 2015

Google préconise de laisser l'accès aux JS et CSS car sinon il ne peut pas générer un aperçu complet de la page et peut éventuellement pénaliser celle ci, puisqu'il ne sait pas si au final le contenu du fichier HTML est affiché/masqué ...

Une très mauvaise idée à mon avis.

spout · 13 Septembre 2015

Bigb06 a dit:

Une très mauvaise idée à mon avis.
Cliquez pour agrandir...

+1

C'est quoi le problème ? Tes CSS et JS apparaissent dans les SERPs ?

Madrileño · 13 Septembre 2015

Bonjour,

Même avis que Bigb06 et Spout.
Le mieux est d'écouter Google et de ne pas bidouiller.

Cordialement.

spout · 13 Septembre 2015

Quand on regarde les 2 sites que t'as dans l'annuaire WRI, les CSS sont servis en text/html. Rien d'étonnant :roll:

Madrileño · 15 Septembre 2015

Bonjour,

Il semble que dudo a fait les changements sur les sites (testé sur quelques CSS d'un site).
N'hésitez pas à indiquer si c'est bien fait et remercier Spout pour le problème text/html.

Cordialement.

longo600 · 15 Septembre 2015

Ya pas que Google qui respecte pas les consignes robots.txt . Pour ma part, je viens de tous les bloquer par l'entête du serveur de gestion de mes comptes qui etait de plus en plus chargé par les crawlers.
Je crois que le pire est yahoo, suivi de bing qui lui t'envoie des rafales de crawl.
Bref.

Similar Threads - Ras bol Bloquer	Forum	Date
Ras le bol des webmails d'OVH	Le café de WebRankInfo	23 Mars 2014
Ras le bol des findsimilarsites, 3ref, seotruc, diggmachin!	Référencement Google	4 Juillet 2013
STOP, Ras le bol !!!!	Administration d'un site Web	18 Octobre 2009
Mots en gras dans l'introduction d'un article	Débuter en référencement	8 Août 2019
Problème d'indexation, Sitemaps non lus et baisse drastique du référencement/trafic	Débuter en référencement	22 Mars 2019
WordPress L' énigme de la police "thin" de la H2 qui reste en gras	Développement d'un site Web ou d'une appli mobile	8 Février 2019
Quand faut-il baisser les bras ?	Problèmes de référencement spécifiques à vos sites	17 Janvier 2019
Astuce Voici comment avoir son titre en gras dans Google	Référencement Google	7 Janvier 2019
Fichier ADS TXT dans les logs en 404, comment s'en débarrasser ?	Monétisation d'un site web	1 Octobre 2018
demande d avis sur mon site de debarras	Demandes d'avis et de conseils sur vos sites	28 Octobre 2017