Acces googlebot aux fichiers CSS et JS impossible

[walking7]

Bonjour, bonsoir

Je recois aujourd'hui ce message par mail :

Accès de Googlebot aux fichiers CSS et JS impossible sur le site (=>en fait tous mes sites CMS wordpress)

Nos systèmes ont récemment détecté un problème avec votre page d'accueil qui affecte l'affichage et l'indexation de votre contenu par nos algorithmes. Plus particulièrement, Googlebot ne peut accéder à vos fichiers JavaScript ou CSS à cause de restrictions dans votre fichier robots.txt. Ces fichiers nous permettent de comprendre que votre site Web fonctionne correctement. En bloquant l'accès à ces éléments, il est donc possible que le classement du site ne soit pas optimal.

Le truc, c'est que mes sites ont + de 6 mois d'existence. Pourquoi je reçois ce genre de message seulement maintenant ?

En pratique, dans "Outil de test du fichier robots.txt", je vois .. 0 erreurs et 0 avertissements.
De plus, j'ai quand meme testé et j'ai bien le bouton qui passe au vert AUTORISE, ce qui signifie qu'il n'y a aucun problème.
De toute manière, dans mon robots.txt il n'y a aucune restriction !

Alors, pourquoi je recois ce message .. une idée ?
Quelqu'un d'autre dans la meme situation ou qui a recu ce message aujourd'hui ?

 

[loubet]

j'ai aussi reçu ce mail aujourd'hui, pour un site où le js était bien bloqué.

 

[walking7]

tu vois ca dans robots.txt ?
tu avais des erreurs ou avertissements annoncés dans "outils test du fichier robots.txt" ?

 

[Furtif]

Accès de Googlebot aux fichiers CSS et JS impossible sur le site

Tu ne dois pas bloquer les repertoires qui donne acces aux css et js, vires-les de ton robots.txt, cela peut avoir un impact negatif sur l'indexation de ton site (et donc son positionnement), si tu bloques leur acces a gogolebot...

Disallowing crawling of Javascript or CSS files in your site’s robots.txt directly harms how well our algorithms render and index your content and can result in suboptimal rankings.
http://googlewebmastercentral.blogspot.fr/2014/10/updating-our-technic ... aster.html

 

[walking7]

Moi j'ai rien bloqué du tout et j'ai jamais touché à ce robot.txt
D'ailleurs voici mon robots.txt

User-agent: *
Disallow: /wp-admin/
Sitemap: http://www.xxxxxx.com/sitemap.xml.gz
0 erreurs
0 avertissements

Vous voyez bien y'a rien de bloqué .. à moins que disallow wp-admin peut être ?
..alors qu'est ce qu'il me chante google ? Il a pris un coup de chaud on dirait !

 

[Furtif]

disallow wp-admin peut être ?

dans le wp admin tu as un dossier js et css.. et gogole pas content si tu bloque l'acces...

 

[walking7]

Bonsoir,

Donc c'est pas qu'au niveau du robots.txt que ca se passe cette histoire de blocage tu dis ?
Je suis sous wordpress, je dois regarder où alors pour voir si ca bloque.Le wp-admin dans le ftp ? dans l'editeur wordpress ?

Le fait que j'ai 0 erreurs ca démontre pas que y'a pas de problème ?
bon je suis encore novice niveau CMS

 

[Furtif]

Donc c'est pas qu'au niveau du robots.txt que ca se passe cette histoire de blocage tu dis ?

C'est exactement dans le fichier robots.txt...

dans ton fichier robots.txt

User-agent: *
Disallow: /wp-admin/
Sitemap: http://www.xxxxxx.com/sitemap.xml.gz
0 erreurs
0 avertissements

Supprime la ligne : Disallow: /wp-admin/

comprendo ?

Pourquoi je reçois ce genre de message seulement maintenant ?

Bé faut laisser le temps a gogolebot d'arriver chez toi, y'a un gros paquet de sites sur le net, chacun son tour....
Y'a que le père noel qui arrive a livrer ses cadeaux dans des millions de foyer a la meme heure simultanément....
et le père noel est plus balèze que le gogolebot..

 

[Marie-Aude]

Le dossier wp-admin comprend les fichiers utilisés dans l'admin, qui ne concernent pas Google, théoriquement.

Les fichiers js et css utilisés pour le front-end sont dans wp-includes ou dans wp-content/themes et wp-content/plugin

Certains plugins spécifiques font appel à wp-admin, mais ce qu'ils génèrent ne concerne Google en rien. Donc si tu es sûr que tu n'interdis pas autre chose, tu laisses Google se démerder avec ce que tu lui sers

D'ailleurs le plus simple, c'est d'explorer ta page comme Google. Tu verras s'il manque des choses ou pas.

(@Furtif, désolée, mais tu as tort, sur ce coup là)

 

[Newbipastaper]

Hello J'ai reçu le même message hier.

Disallow: /fr/ ==> le /fr/ n'existe plus mais vu que Google continue à l'indexer, je l'ai bloqué
Disallow: /en/ ==> idem que pour le /en/
Disallow: /*modules/ ==> bah là ya rien à indexer, ce serait crado sinon dans les serps
Disallow: /themes/ ==> idem

Disallow: /panier ==> idem sinon spam de pages
Disallow: /pages.php?* ==> ça c'est un vieux truc qui n'existe pas et que je n'arrive pas à faire désindexer malgré mes multiples demandes de suppression
Disallow: /index.php?controller=404 ==> idem

Après j'ai retesté le site dans tous les sens avec les outils google et il ne me dit nulle part qu'il n'arrive pas à exécuter de js ou css. Ne serait ce pas plutôt un "bug" ou un message envoyé à plein de webmasters pour qu'ils revérifient qu'ils sont bien conformes ?

 

[Furtif]

Le dossier wp-admin comprend les fichiers utilisés dans l'admin, qui ne concernent pas Google, théoriquement.

Il n'a pas besoin de l'interdire dans le robots.tx, Gogole fera le menage tout seul et de toute facon l'admin est une zone securisée protege par un login/mdp

Les fichiers js et css utilisés pour le front-end sont dans wp-includes ou dans wp-content/themes et wp-content/plugin

Oui et ? il ne les a pas interdits dans le robots.txt.
Qu'il vire la ligne Disallow: /wp-admin/ et il sera tranquille...

Ou il ajoute :

Allow: /ww-admin/css/
Allow: /wp-admin/js/
Disallow: /wp-admin/

et tout le monte il est content

 

[Sodium]

Il n'a pas besoin de l'interdire dans le robots.tx, Gogole fera le menage tout seul et de toute facon l'admin est protege par un login/mdp

Ca me fait toujours sourire ce genre de trucs. Si Google était capable de se débrouiller tout seul il ne s'obstinerait pas à garder en mémoire mes url redirigées il y a plus de 6 mois. Le laisser se débrouiller tout seul sans lui indiquer quoi visiter ou non, c'est s'assurer une masse de duplicate content et de pages qui n'auraient jamais du être crawlées dans les résultats.

 

[walking7]

M-A, j'ai fait "explorer comme google" de visu, la page vu par google ou vu par googlebot est identique. Par contre, plus bas il est noté ceci:
Certaines ressources n'ont pas pu être obtenues par Googlebot pour cette page, en voici la liste :

https://shareaholic.com/v2/user_info?callback=jQuery213068302113329991 ... 8162271233
Script Bloqué

http://analytics.shareaholic.com/dough/1.0/pageview.gif?referrer=
Image Bloqué

http://clickcdn.shareaholic.com/api/vglnk.js
Script Bloqué

http://www.monsite.com/wp-admin/admin-ajax.php?action=shareaholic_shar ... email_this
AJAX Bloqué Outil de test du fichier robots.txt

http://graph.facebook.com/?id=http%3A%2F%2Fwww.monsite.com%2F&callback ... 8162271236

Et c'est pour ca qu'il me fait tout un plat le google ? Rien de grave là non ?!

Bé faut laisser le temps a gogolebot d'arriver chez toi, y'a un gros paquet de sites sur le net, chacun son tour....

Heu, un site à + 9 mois quand même ! Et je recois aujourd'hui seulement ce truc ?

Après j'ai retesté le site dans tous les sens avec les outils google et il ne me dit nulle part qu'il n'arrive pas à exécuter de js ou css. Ne serait ce pas plutôt un "bug" ou un message envoyé à plein de webmasters pour qu'ils revérifient qu'ils sont bien conformes ?

Je penche plutôt là dessus aussi ! Sinon, il y aurai pas écrit 0 erreurs et 0 avertissements dans mon robots.txt non ?
Dans "Paramètres d'url" aussi ,j'ai ce message "Pour le moment, Googlebot n'a rencontré aucun problème avec votre site."
Par contre dans messagerie, j'ai bien le message tel que celui que j'ai recu par mail
Alors, faudrait savoir ?
Juste, j'ai jamais touché au robots.txt. Il est "par défaut" ainsi avec le thme wordpress spacious.

 

[spout]

http://www.searchenginejournal.com/google-sends-mass-warning-googlebot ... es/137617/

Pfizer a encore un bel avenir devant lui :mrgreen:

 

[Marie-Aude]

Oui et ? il ne les a pas interdits dans le robots.txt.

Oui, DONC il n'a rien à faire parce qu'il ne va pas empêcher Google de voir son site comme il faut

 

[Furtif]

Juste, j'ai jamais touché au robots.txt. Il est "par défaut" ainsi avec le thme wordpress spacious.

Avant ca posait pas de souci, entre-temps ca a changé, faut s'adapter

il y aurai pas écrit 0 erreurs et 0 avertissements dans mon robots.txt non ?

Interdire un acces css dans le robots.txt ne te donnera pas une erreur, la verification du Robots.txt se porte simplement sur ta syntaxe.

Si tu roules a 160 sur l'autoroute avec ta caisse, tu n'auras aucun message d'erreur de ton moteur... mais les petits hommes bleus (gogolebot) seront pas contents....

 

[walking7]

http://www.searchenginejournal.com/google-sends-mass-warning-googlebot-cannot-access-your-javascript-and-css-files/137617/

Pfizer a encore un bel avenir devant lui :mrgreen:

Mon anglais n'étant pas au top (M-A spécial dédicace :mrgreen: ) que dois je comprendre de ce message ? En gros, j'a m'inquiete pas et j'ai rien à faire (j'ai pas disallow/js ..)

Ce que j'arrive pas à comprendre c'est si googlebot est bloqué ou non, quand je test il ne l'est que pour des futilités (comme j'ai mentionné plus haut) js shareolic, facebook, twitter. Donc pas d'inquiétude particulière à avoir je pense non

 

[Marie-Aude]

Tu ne t'inquiètes pas.

Tu fais comme je t'ai dit un ctrl+U pour voir le code source de ta page (déconnecté, bien sûr, de ton site) et pour voir quels sont les scripts chargés. Tu envoies cette même page au "explorer comme Google" sur ta console, et si elle s'affiche bien, tu n'as rien à faire.

 

[walking7]

Ok bon bah ca s'affiche bien. Comme j'ai dit
Certaines ressources n'ont pas pu être obtenues par Googlebot pour cette page, en voici la liste:
=> Ca concerne 6 liens en tout Amazon (image), Shareeholic (script), facebook, twitter (Ajax)

Donc en gros Google a envoyé ce message à tout le monde, même quand ce n'était pas vraiment nécessaire ?
ps: c'est qui Pfizer ?

 

[Doubrovski]

Sur un wordpress, pour moi Google n'a rien à faire dans /wp-admin, ni /wp-includes.
D'ailleurs, ces répertoires sont censés être protégés. /wp-includes doit renvoyer une erreur 403. Je pense pas que ce soit un problème de les bloquer via robots.txt.

Seul /wp-content doit être accessible.

Mais j'ai aussi reçu le message alors que je ne bloque que le minimum... Je vois plutôt le robots.txt comme une faille de sécurité !

 

[Marie-Aude]

Je n'avais pas vu ton précédent message. Vu ce qu'il ne peut pas afficher, tu t'en fous

 

[Sodium]

Je n'avais pas vu ton précédent message. Vu ce qu'il ne peut pas afficher, tu t'en fous

Je serais prudent à ce niveau, ce n'est pas parce que Google n'a rien à faire dans certaines parties de site qu'il ne va pas faire pression pour essayer d'y accéder tout de même (ce qui est parfaitement hypocrite, je doute fortement que le bot se dise "oulala, le robots.txt m'interdit de référencer ce dossier, je ne dois surtout pas regarder ce qu'il y a à l'intérieur).

Le mail sonne d'ailleurs plus comme une menace qu'autre chose "En bloquant l'accès à ces éléments, il est donc possible que le classement du site ne soit pas optimal.". Ca me fait penser à une penser à une organisation mafieuse signalant que bien-sûr, sa protection est un service optionnel, mais qu'un accident est vite arrivé.

 

[indigene]

La page http://www.monsite.com/wp-admin/admin-ajax.php?action=shareaholic_shar ... email_this

est quand même bien bloquée par robots.txt

Pourquoi mettre ce script dans wp-admin ? C'est juste ça qui bloque google qui ne peut pas suivre les liens

 

[walking7]

bah moi j'ai rien mis du tout nul part. C'est les reglages par défaut du theme wordpress et du plugin shareaholic là.

 

[Marie-Aude]

Pourquoi mettre ce script dans wp-admin ? C'est juste ça qui bloque google qui ne peut pas suivre les liens

Je suppose que tu as regardé où vont ces liens ? Pour savoir s'il est intéressant de les laisser suivre par Google ?

je doute fortement que le bot se dise "oulala, le robots.txt m'interdit de référencer ce dossier, je ne dois surtout pas regarder ce qu'il y a à l'intérieur

Et pourtant si.... il y a suffisamment de sites qui se flinguent avec des robots.txt mal faits

Le mail sonne d'ailleurs plus comme une menace qu'autre chose

En dehors de l'interprétation affective que je ne cite pas, il s'agit non pas d'une menace mais d'une information...