Ras le bol ! Bloquer le crawling des fichiers Css et Javascript à Google

Discussion dans 'Crawl et indexation Google, sitemaps' créé par dudo, 12 Septembre 2015.

Tags:
  1. dudo
    dudo WRInaute impliqué
    Inscrit:
    10 Janvier 2004
    Messages:
    581
    J'aime reçus:
    0
    Bonjour,
    Je trouve que Google devient trop intrusif à ce rythme il permettra aux internautes la consultation du contenu de nos sites à partir de son moteur :
    Un spécialiste peut-il me dire si ces deux lignes dans le fichier .htaccess vont faire le job ? et suffisant
    merci

    Code:
    RewriteEngine On
 RewriteBase /

RewriteCond %{HTTP_USER_AGENT} Googlebot
 RewriteRule \.(css|js)$ http://www.monsite.net [QSA,R=301,L]
     
    #1 dudo, 12 Septembre 2015
  2. loubet
    loubet WRInaute impliqué
    Inscrit:
    19 Février 2003
    Messages:
    792
    J'aime reçus:
    0
    j'utiliserais plutôt un robots.txt pour faire cela.
     
    #2 loubet, 12 Septembre 2015
  3. dudo
    dudo WRInaute impliqué
    Inscrit:
    10 Janvier 2004
    Messages:
    581
    J'aime reçus:
    0
    Déjà fait, Disallow: /*.js, mais l'expérience m'a montrer que ce n'est pas toujours respecté par le tout puissant qui fait ce qu'il veut, donc je renforce, d'un point de vue technique je ne bloque pas mes JavaScripts !

    on est d'accord là-dessus ou pas, quelqu'un à un avis !
     
    #3 dudo, 12 Septembre 2015
  4. Bigb06
    Bigb06 WRInaute impliqué
    Inscrit:
    21 Mars 2007
    Messages:
    842
    J'aime reçus:
    1
    Google préconise de laisser l'accès aux JS et CSS car sinon il ne peut pas générer un aperçu complet de la page et peut éventuellement pénaliser celle ci, puisqu'il ne sait pas si au final le contenu du fichier HTML est affiché/masqué ...

    Une très mauvaise idée à mon avis.
     
    #4 Bigb06, 13 Septembre 2015
  5. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 115
    J'aime reçus:
    315
    +1

    C'est quoi le problème ? Tes CSS et JS apparaissent dans les SERPs ?
     
    #5 spout, 13 Septembre 2015
  6. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 105
    J'aime reçus:
    284
    Bonjour,

    Même avis que Bigb06 et Spout.
    Le mieux est d'écouter Google et de ne pas bidouiller.

    Cordialement.
     
    #6 Madrileño, 13 Septembre 2015
  7. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 115
    J'aime reçus:
    315
    Quand on regarde les 2 sites que t'as dans l'annuaire WRI, les CSS sont servis en text/html. Rien d'étonnant :roll:
     
    #7 spout, 13 Septembre 2015
  8. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    32 105
    J'aime reçus:
    284
    Bonjour,

    Il semble que dudo a fait les changements sur les sites (testé sur quelques CSS d'un site).
    N'hésitez pas à indiquer si c'est bien fait et remercier Spout pour le problème text/html.

    Cordialement.
     
    #8 Madrileño, 15 Septembre 2015
  9. longo600
    longo600 WRInaute passionné
    Inscrit:
    24 Février 2005
    Messages:
    2 209
    J'aime reçus:
    7
    Ya pas que Google qui respecte pas les consignes robots.txt . Pour ma part, je viens de tous les bloquer par l'entête du serveur de gestion de mes comptes qui etait de plus en plus chargé par les crawlers.
    Je crois que le pire est yahoo, suivi de bing qui lui t'envoie des rafales de crawl.
    Bref.
     
    #9 longo600, 15 Septembre 2015
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Ras bol Bloquer Forum Date
Ras le bol des webmails d'OVH Le café de WebRankInfo 23 Mars 2014
Ras le bol des findsimilarsites, 3ref, seotruc, diggmachin! Référencement Google 4 Juillet 2013
Le journal abrasif SEO Problèmes de référencement spécifiques à vos sites 18 Octobre 2020
Le journal abrasif design Demandes d'avis et de conseils sur vos sites 18 Octobre 2020
Probléme de texte gras, code HTML Demandes d'avis et de conseils sur vos sites 5 Octobre 2020
Avis Journal Abrasif Demandes d'avis et de conseils sur vos sites 24 Mai 2020
Chargement des pages, ton site tu optimiseras Référencement Google 27 Décembre 2019
Firefox nous débarrasse des Notifications Web Développement d'un site Web ou d'une appli mobile 4 Novembre 2019
(HELP) Journal abrasif et social de Lionel Belarbi Demandes d'avis et de conseils sur vos sites 18 Octobre 2019
Mots en gras dans l'introduction d'un article Débuter en référencement 8 Août 2019