Robots.txt et SEO

[juu]

Bonjour à tous,

Dans mon robots.txt, j'ai mis en disallow ces éléments :
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

Lorsque je vais dans Search Console -> Explorer comme Google (onglet exploration) et que je sélectionne une URL.
Entre ce que voit Google Bot et ce que voit l'internaute, il y a une différence.

Google Bot voit mon site comme s'il était cassé (sans CSS / JS) donc pas comme un internaute lambda.
J'aurai voulu savoir si cela était pénalisant pour le SEO ?

 

[WebRankInfo]

oui, Google appelle ça des "ressources bloquées". Sans pouvoir accéder à certains fichiers (JS, CSS, images), il ne peut pas "se figurer" le look de la page, notamment sur mobile.
pourquoi bloquer tout ça au crawl ?

 

[juu]

J'avais vu un article avec le "parfait" robots.txt qui préconisait cela.

Je pensais également qu'en bloquant ces éléments, le GoogleBot se concentrerait uniquement sur le contenu contenu et donc que cela serait plus pertinent.

 

[spout]

AMHA le robots.txt parfait c'est:

 

[juu]

AMHA le robots.txt parfait c'est:

un robots.txt vide ?

Peux tu m'expliquer pourquoi ?

 

[spout]

Parce que c'est faisable autrement et qu'il en faut quand même un pour avoir un code HTTP 200.

 

[juu]

Parce que c'est faisable autrement et qu'il en faut quand même un pour avoir un code HTTP 200.

Donc tu préconises également d'autoriser l'accès à l'ensemble des fichiers du robot de Google ?

 

[spout]

Oui

 

[rick38]

Le Disallow: /wp-admin se justifie.

C'est quand même de sécurité qu'il s'agit.
Même si personne n'ignore l'url /wp-admin pour un site wordpres...

 

[spout]

La sécurité en indiquant les URLs sensibles dans le robots.txt ? :lol:

 

[juu]

Hello,

Je reviens vers vous car suite à vos conseils, j'ai débloqué, via mon Robots.txt, plusieurs ressources afin que le robot Google y accède.
Cependant, lorsque je me connecte à Search Console et que j'observe les ressources bloqués. Cela ne baisse pas.

Search Console m'indique toujours un grand nombre de page avec des ressources bloquées sur cet hôte.

Est ce normal ?

Combien de temps cela doit mettre ?

Y a t'il un processus pour accélérer cela ?

Merci à tous de vos réponses.

 

[WebRankInfo]

il faut que Google crawle les pages concernées, puis qu'il mette à jour Search Console. Je vais compléter mon article avec ces précisions ;-)

pour accélérer les choses, essaie d'envoyer un sitemap exhaustif