Indexer ou pas /wp-content/ (et son contenu) ?

[toutatix]

Bonjour à tous,

J'ai un doute affreux, j'ai bloqué: /wp-content/ (et son contenu), sur WP vous l'aurez reconnu.

Est-ce une erreur ?

Je me retrouve avec des urls bloquées du genre: wp-content/cache/et/1344/et-core-unified-15587358739844.min.css

Ca me semble peu important si c'est en cache mais là aussi je fais peut-être fausse route...

Bref votre avis est plus que le bienvenu !

 

[Johanwri]

Quand tu dis "bloque", c'est dans le fichier robots ?
Tu as inclu

Disallow: /wp-content/

Si c'est le cas, c'est effectivement une erreur car le fichier /wp-content/ contient toutes les images, tu bloc donc aussi l'acces aux images.
Google a aussi besoin d'acceder au fichier CSS et Javascript pour retourner ta page comme elle apparait.
Si wp-content contient des CSS et/ou Javascript cela va donc altere le rendu de ta page.

Il faut donc etre prudent avec l'utilisation de disallow sur des dossiers core Wordpress.

Si tu veux bloquer l'acces au cache pourquoi ne pas bloquer uniquement le repertoire cache ?

Disallow: /wp-content/cache/

 

[toutatix]

En fait j'ai pas bloqué le répertoire /wp-content/ comme je pensais m'en souvenir mais j'ai écrit ca dans robots.txt:
User-agent: *
Disallow: /admin/
Disallow: /author/
Disallow: /wp-admin/
Disallow: /contrib/
Disallow: /doc/
Disallow: /lib/
Disallow: /modules/
Disallow: /plugins/
Disallow: /scripts/
Disallow: /tmp/

Mon thème WP est divi.

Avec ces retrictions, savez-vous si Google a accès à mes CSS ?

Merci

 

[Johanwri]

Je pense que tu vas trop loin
Il me semble que tu bloque trop de repertoires d'une part mais aussi tu ne les bloque pas justement.

Exemple /plugins/, cela veut dire que le repertoire est accessible par tonsite.com/plugins/ ce qui n'est pas le cas, le dossier plugins est un sous repertoire de wp-content
Peu importe le theme puisque tous les themes WP sont dans /wp-content/themes/
Le code devrait donc etre

Disallow : /wp-content/plugins/

Il y a des CSS dans les plugins et tu n'as pas besoin de bloquer ce repertoire

Google ne reference pas (plus depuis longtemps en tout cas) des fichiers systeme.

 

[spout]

+1 @Johanwri , je ne vois pas l'intérêt de bloquer wp-content, il faut simplement désactiver le directory listing (Options -Indexes avec Apache).
Sinon tu peux aussi bloquer :

?foo
?bar
?baz
?qux
?spam
?eggs
?parrot

AMHA le meilleur robots.txt c'est :

 

[Johanwri]

+1 @Johanwri , je ne vois pas l'intérêt de bloquer wp-content

Je ne dis pas de bloquer le wp-content au contraire !
Relis mon post Je dis "Il y a des CSS dans les plugins et tu n'as pas besoin de bloquer ce repertoire"

Je prenais uniquement un exemple avec le repertoire plugin, j'aurai pu prendre un autre exemple, pour preciser qu'en plus de bloquer des repertoires, il y a aussi des erreurs dans la syntaxe.

 

[NicolasH]

le "+1" indique qu'il est d'accord avec toi.

Pareil que vous 2 : Ama il vaut mieux ne rien bloquer à l'indexation en tout cas pas le wp-content. Les autres dossiers ne sont pas tous dans le document root donc il ne sont pas accessibles donc il est inutile de les ajouter dans le robots.txt