Acces googlebot aux fichiers CSS et JS impossible

j'ai aussi reçu ce mail aujourd'hui, pour un site où le js était bien bloqué.

 

Tu ne dois pas bloquer les repertoires qui donne acces aux css et js, vires-les de ton robots.txt, cela peut avoir un impact negatif sur l'indexation de ton site (et donc son positionnement), si tu bloques leur acces a gogolebot...

Disallowing crawling of Javascript or CSS files in your site’s robots.txt directly harms how well our algorithms render and index your content and can result in suboptimal rankings.
http://googlewebmastercentral.blogspot.fr/2014/10/updating-our-technic ... aster.html

 

dans le wp admin tu as un dossier js et css.. et gogole pas content si tu bloque l'acces...

 

C'est exactement dans le fichier robots.txt...

dans ton fichier robots.txt

User-agent: *
Disallow: /wp-admin/
Sitemap: http://www.xxxxxx.com/sitemap.xml.gz
0 erreurs
0 avertissements

Supprime la ligne : Disallow: /wp-admin/

comprendo ?

Bé faut laisser le temps a gogolebot d'arriver chez toi, y'a un gros paquet de sites sur le net, chacun son tour....
Y'a que le père noel qui arrive a livrer ses cadeaux dans des millions de foyer a la meme heure simultanément....
et le père noel est plus balèze que le gogolebot..

 

Le dossier wp-admin comprend les fichiers utilisés dans l'admin, qui ne concernent pas Google, théoriquement.

Les fichiers js et css utilisés pour le front-end sont dans wp-includes ou dans wp-content/themes et wp-content/plugin

Certains plugins spécifiques font appel à wp-admin, mais ce qu'ils génèrent ne concerne Google en rien. Donc si tu es sûr que tu n'interdis pas autre chose, tu laisses Google se démerder avec ce que tu lui sers

D'ailleurs le plus simple, c'est d'explorer ta page comme Google. Tu verras s'il manque des choses ou pas.

(@Furtif, désolée, mais tu as tort, sur ce coup là)

 

Hello J'ai reçu le même message hier.

Disallow: /fr/ ==> le /fr/ n'existe plus mais vu que Google continue à l'indexer, je l'ai bloqué
Disallow: /en/ ==> idem que pour le /en/
Disallow: /*modules/ ==> bah là ya rien à indexer, ce serait crado sinon dans les serps
Disallow: /themes/ ==> idem

Disallow: /panier ==> idem sinon spam de pages
Disallow: /pages.php?* ==> ça c'est un vieux truc qui n'existe pas et que je n'arrive pas à faire désindexer malgré mes multiples demandes de suppression
Disallow: /index.php?controller=404 ==> idem

Après j'ai retesté le site dans tous les sens avec les outils google et il ne me dit nulle part qu'il n'arrive pas à exécuter de js ou css. Ne serait ce pas plutôt un "bug" ou un message envoyé à plein de webmasters pour qu'ils revérifient qu'ils sont bien conformes ?

 

Il n'a pas besoin de l'interdire dans le robots.tx, Gogole fera le menage tout seul et de toute facon l'admin est une zone securisée protege par un login/mdp

Oui et ? il ne les a pas interdits dans le robots.txt.
Qu'il vire la ligne Disallow: /wp-admin/ et il sera tranquille...

Ou il ajoute :

Allow: /ww-admin/css/
Allow: /wp-admin/js/
Disallow: /wp-admin/

et tout le monte il est content

 

Ca me fait toujours sourire ce genre de trucs. Si Google était capable de se débrouiller tout seul il ne s'obstinerait pas à garder en mémoire mes url redirigées il y a plus de 6 mois. Le laisser se débrouiller tout seul sans lui indiquer quoi visiter ou non, c'est s'assurer une masse de duplicate content et de pages qui n'auraient jamais du être crawlées dans les résultats.

 

http://www.searchenginejournal.com/google-sends-mass-warning-googlebot ... es/137617/

Pfizer a encore un bel avenir devant lui :mrgreen:

 

Oui, DONC il n'a rien à faire parce qu'il ne va pas empêcher Google de voir son site comme il faut

 

Avant ca posait pas de souci, entre-temps ca a changé, faut s'adapter

Interdire un acces css dans le robots.txt ne te donnera pas une erreur, la verification du Robots.txt se porte simplement sur ta syntaxe.

Si tu roules a 160 sur l'autoroute avec ta caisse, tu n'auras aucun message d'erreur de ton moteur... mais les petits hommes bleus (gogolebot) seront pas contents....

 

Tu ne t'inquiètes pas.

Tu fais comme je t'ai dit un ctrl+U pour voir le code source de ta page (déconnecté, bien sûr, de ton site) et pour voir quels sont les scripts chargés. Tu envoies cette même page au "explorer comme Google" sur ta console, et si elle s'affiche bien, tu n'as rien à faire.

 

Sur un wordpress, pour moi Google n'a rien à faire dans /wp-admin, ni /wp-includes.
D'ailleurs, ces répertoires sont censés être protégés. /wp-includes doit renvoyer une erreur 403. Je pense pas que ce soit un problème de les bloquer via robots.txt.

Seul /wp-content doit être accessible.

Mais j'ai aussi reçu le message alors que je ne bloque que le minimum... Je vois plutôt le robots.txt comme une faille de sécurité !

 

Je n'avais pas vu ton précédent message. Vu ce qu'il ne peut pas afficher, tu t'en fous

 

Je serais prudent à ce niveau, ce n'est pas parce que Google n'a rien à faire dans certaines parties de site qu'il ne va pas faire pression pour essayer d'y accéder tout de même (ce qui est parfaitement hypocrite, je doute fortement que le bot se dise "oulala, le robots.txt m'interdit de référencer ce dossier, je ne dois surtout pas regarder ce qu'il y a à l'intérieur).

Le mail sonne d'ailleurs plus comme une menace qu'autre chose "En bloquant l'accès à ces éléments, il est donc possible que le classement du site ne soit pas optimal.". Ca me fait penser à une penser à une organisation mafieuse signalant que bien-sûr, sa protection est un service optionnel, mais qu'un accident est vite arrivé.

 

La page http://www.monsite.com/wp-admin/admin-ajax.php?action=shareaholic_shar ... email_this

est quand même bien bloquée par robots.txt

Pourquoi mettre ce script dans wp-admin ? C'est juste ça qui bloque google qui ne peut pas suivre les liens

 

Je suppose que tu as regardé où vont ces liens ? Pour savoir s'il est intéressant de les laisser suivre par Google ?

Et pourtant si.... il y a suffisamment de sites qui se flinguent avec des robots.txt mal faits

En dehors de l'interprétation affective que je ne cite pas, il s'agit non pas d'une menace mais d'une information...