WordPress Bloquer ou non WP include dans le robots.txt ?

WRInaute occasionnel
Bonjour,

Si je laisse mon robots.txt ouvert, comme conseillé par certains experts SEO, en laissant l'accès à WP include dans le robots.txt, j'ai un signalement d'url :
Erreur serveur (5xx) dans la search console d'url du genre :

/wp-includes/customize/class-wp-customize-background-position-control.php
/wp-includes/rest-api/endpoints/class-wp-rest-taxonomies-controller.php

Mais si je bloque l'accès à wp include dans le robots.txt, là google me signale que des url importantes ne seront pas indexé.

Donc je préfère ne pas le bloquer et j'imagine que d'autres ont ce problème.

Que faut il faire ?

Bloquer juste les url signalé ?

Ne pas tenir compte de ces messages d'erreurs ?
 
WRInaute occasionnel
Bonjour,

Si je laisse mon robots.txt ouvert, comme conseillé par certains experts SEO, en laissant l'accès à WP include dans le robots.txt, j'ai un signalement d'url :
Erreur serveur (5xx) dans la search console d'url du genre :

/wp-includes/customize/class-wp-customize-background-position-control.php
/wp-includes/rest-api/endpoints/class-wp-rest-taxonomies-controller.php

Mais si je bloque l'accès à wp include dans le robots.txt, là google me signale que des url importantes ne seront pas indexé.

Donc je préfère ne pas le bloquer et j'imagine que d'autres ont ce problème.

Que faut il faire ?

Bloquer juste les url signalé ?

Ne pas tenir compte de ces messages d'erreurs ?

Ne met pas includes dans ton fichier robots
Normalement tu ne devrais pas avoir d'erreur
J'ai ajuste mon fichier robots type sur WP apres des echanges sur ce forum en Juin ; notemment en retirant includes du fichier, cela n'a genere aucune erreur ni probleme.

Sur includes, search console te renvoi une erreur serveur, ce n'est peut etre pas lie au fichier robots, ca peut etre un probleme de droit, verifie les CHMOD ; sur includes j'ai 755 (Owner RWE, Groupe RE, Public RE)
C'est juste une piste, ca peut etre autre raison, cherche ce qui peut renvoyer une erreur serveur.

Sur class-wp-customize-background-position-control.php j'ai 644
Sur /wp-includes/rest-api/endpoints/class-wp-rest-taxonomies-controller.php 644 aussi
(Owner RW, Groupe R, Public R)

Voici fichier robot type pour WP (meme si je declare le sitemap dans search console, je l'ai laisse dans fichier robots)
Code:
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow : /*?orderby=
Disallow : /*?filter

Sitemap: https://www.nomdedomaine.com/sitemap.xml
 
Dernière édition:
WRInaute accro
De ne sont pas des fichiers qui sont connus du robot, mais placés où ils sont, il n'y a en règle générale aucun intérêt à les lister dans le robots.txt. Si le bot y accède, c'est sans doute dû à une faille au niveau d'un plugin ou d'un développement...
 
WRInaute occasionnel
Merci pour vos réponses.

Je pensais que je n'étais pas le seul à avoir cette erreur, que c'était un bug de google, mais non, c'est donc un problème sur mon site.

Sur le dossier includes j'ai 755 aussi.

Bon bah va falloir que je trouve la faille...
 
WRInaute occasionnel
Après quelques recherches plus approfondies, j'ai trouvé une solution sur le forum google en anglais qui est de mettre :

Options -Indexes

dans le fichier .htaccess.

À prioris cela a réglé le problème pour les participants, vais bien voir, mais je me demande quand même pourquoi cette erreur est apparue soudainement, comme dit plus haut, certainement un plugin mal fait.
 
WRInaute occasionnel
il suffit de faire ce que yoast seo dit de faire non ? ils se font assez ch... a tout tester pour nous que cela me semble inutile de même y réfléchir...
 
WRInaute accro
@Sezar : il n'y a jamais aucune garantie de fonctionnement dans les logiciels open source fournis gratuitement. Si tu n'es pas content, on est jamais mieux servi que par soit même...
 
WRInaute discret
Yoast n'est pas open source, et il ont un premium payant qui je pense etait aussi victime du bug.

Mais je vois ce que tu veux dire et je suis d'accord
 
Discussions similaires
Haut