WordPress Bloquer ou non WP include dans le robots.txt ?

[DomTo]

Bonjour,

Si je laisse mon robots.txt ouvert, comme conseillé par certains experts SEO, en laissant l'accès à WP include dans le robots.txt, j'ai un signalement d'url :
Erreur serveur (5xx) dans la search console d'url du genre :

/wp-includes/customize/class-wp-customize-background-position-control.php
/wp-includes/rest-api/endpoints/class-wp-rest-taxonomies-controller.php

Mais si je bloque l'accès à wp include dans le robots.txt, là google me signale que des url importantes ne seront pas indexé.

Donc je préfère ne pas le bloquer et j'imagine que d'autres ont ce problème.

Que faut il faire ?

Bloquer juste les url signalé ?

Ne pas tenir compte de ces messages d'erreurs ?

 

[spout]

Comment est-ce que Google a bien pu trouver ces URLs ?

 

[Johanwri]

Bonjour,

Si je laisse mon robots.txt ouvert, comme conseillé par certains experts SEO, en laissant l'accès à WP include dans le robots.txt, j'ai un signalement d'url :
Erreur serveur (5xx) dans la search console d'url du genre :

/wp-includes/customize/class-wp-customize-background-position-control.php
/wp-includes/rest-api/endpoints/class-wp-rest-taxonomies-controller.php

Mais si je bloque l'accès à wp include dans le robots.txt, là google me signale que des url importantes ne seront pas indexé.

Donc je préfère ne pas le bloquer et j'imagine que d'autres ont ce problème.

Que faut il faire ?

Bloquer juste les url signalé ?

Ne pas tenir compte de ces messages d'erreurs ?

Ne met pas includes dans ton fichier robots
Normalement tu ne devrais pas avoir d'erreur
J'ai ajuste mon fichier robots type sur WP apres des echanges sur ce forum en Juin ; notemment en retirant includes du fichier, cela n'a genere aucune erreur ni probleme.

Sur includes, search console te renvoi une erreur serveur, ce n'est peut etre pas lie au fichier robots, ca peut etre un probleme de droit, verifie les CHMOD ; sur includes j'ai 755 (Owner RWE, Groupe RE, Public RE)
C'est juste une piste, ca peut etre autre raison, cherche ce qui peut renvoyer une erreur serveur.

Sur class-wp-customize-background-position-control.php j'ai 644
Sur /wp-includes/rest-api/endpoints/class-wp-rest-taxonomies-controller.php 644 aussi
(Owner RW, Groupe R, Public R)

Voici fichier robot type pour WP (meme si je declare le sitemap dans search console, je l'ai laisse dans fichier robots)

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow : /*?orderby=
Disallow : /*?filter

Sitemap: https://www.nomdedomaine.com/sitemap.xml

 

[UsagiYojimbo]

De ne sont pas des fichiers qui sont connus du robot, mais placés où ils sont, il n'y a en règle générale aucun intérêt à les lister dans le robots.txt. Si le bot y accède, c'est sans doute dû à une faille au niveau d'un plugin ou d'un développement...

 

[DomTo]

Merci pour vos réponses.

Je pensais que je n'étais pas le seul à avoir cette erreur, que c'était un bug de google, mais non, c'est donc un problème sur mon site.

Sur le dossier includes j'ai 755 aussi.

Bon bah va falloir que je trouve la faille...

 

[DomTo]

Après quelques recherches plus approfondies, j'ai trouvé une solution sur le forum google en anglais qui est de mettre :

Options -Indexes

dans le fichier .htaccess.

À prioris cela a réglé le problème pour les participants, vais bien voir, mais je me demande quand même pourquoi cette erreur est apparue soudainement, comme dit plus haut, certainement un plugin mal fait.

 

[makeonlineshop]

il suffit de faire ce que yoast seo dit de faire non ? ils se font assez ch... a tout tester pour nous que cela me semble inutile de même y réfléchir...

 

[CAMEO172]

C’est du second degré ou un vrai conseil ?

 

[Sezar]

il suffit de faire ce que yoast seo dit de faire non ? ils se font assez ch... a tout tester pour nous que cela me semble inutile de même y réfléchir...

ben non justement, ces c*** laissent sortir des releases buguées, et après c'est nous qui sommes pénalisés par Google.

 

[spout]

@Sezar : il n'y a jamais aucune garantie de fonctionnement dans les logiciels open source fournis gratuitement. Si tu n'es pas content, on est jamais mieux servi que par soit même...

 

[UsagiYojimbo]

Et installer n'empêche pas de tester ^^

 

[Sezar]

Yoast n'est pas open source, et il ont un premium payant qui je pense etait aussi victime du bug.

Mais je vois ce que tu veux dire et je suis d'accord

 

[Madrileño]

Bonjour,

Yoast n'est pas open source

Le Github est : /Yoast/wordpress-seo .

il ont un premium payant qui je pense etait aussi victime du bug.

C'est dommage.

Temps de réponse : 5 minutes.
Cordialement.

 

[Sezar]

Le Github est : /Yoast/wordpress-seo .

Merci je ne savais pas.