WordPress Bloquer ou non WP include dans le robots.txt ?

Discussion dans 'Référencement Google' créé par DomTo, 5 Septembre 2018.

  1. DomTo
    DomTo WRInaute occasionnel
    Inscrit:
    30 Août 2016
    Messages:
    334
    J'aime reçus:
    29
    Bonjour,

    Si je laisse mon robots.txt ouvert, comme conseillé par certains experts SEO, en laissant l'accès à WP include dans le robots.txt, j'ai un signalement d'url :
    Erreur serveur (5xx) dans la search console d'url du genre :

    /wp-includes/customize/class-wp-customize-background-position-control.php
    /wp-includes/rest-api/endpoints/class-wp-rest-taxonomies-controller.php

    Mais si je bloque l'accès à wp include dans le robots.txt, là google me signale que des url importantes ne seront pas indexé.

    Donc je préfère ne pas le bloquer et j'imagine que d'autres ont ce problème.

    Que faut il faire ?

    Bloquer juste les url signalé ?

    Ne pas tenir compte de ces messages d'erreurs ?
     
    #1 DomTo, 5 Septembre 2018
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 134
    J'aime reçus:
    325
    Comment est-ce que Google a bien pu trouver ces URLs ?
     
    #2 spout, 5 Septembre 2018
  3. Johanwri
    Johanwri WRInaute occasionnel
    Inscrit:
    13 Mars 2018
    Messages:
    329
    J'aime reçus:
    63
    Ne met pas includes dans ton fichier robots
    Normalement tu ne devrais pas avoir d'erreur
    J'ai ajuste mon fichier robots type sur WP apres des echanges sur ce forum en Juin ; notemment en retirant includes du fichier, cela n'a genere aucune erreur ni probleme.

    Sur includes, search console te renvoi une erreur serveur, ce n'est peut etre pas lie au fichier robots, ca peut etre un probleme de droit, verifie les CHMOD ; sur includes j'ai 755 (Owner RWE, Groupe RE, Public RE)
    C'est juste une piste, ca peut etre autre raison, cherche ce qui peut renvoyer une erreur serveur.

    Sur class-wp-customize-background-position-control.php j'ai 644
    Sur /wp-includes/rest-api/endpoints/class-wp-rest-taxonomies-controller.php 644 aussi
    (Owner RW, Groupe R, Public R)

    Voici fichier robot type pour WP (meme si je declare le sitemap dans search console, je l'ai laisse dans fichier robots)
    Code:
    # Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow : /*?orderby=
Disallow : /*?filter

Sitemap: https://www.nomdedomaine.com/sitemap.xml
     
    #3 Johanwri, 5 Septembre 2018
    Dernière édition: 5 Septembre 2018
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 892
    J'aime reçus:
    84
    De ne sont pas des fichiers qui sont connus du robot, mais placés où ils sont, il n'y a en règle générale aucun intérêt à les lister dans le robots.txt. Si le bot y accède, c'est sans doute dû à une faille au niveau d'un plugin ou d'un développement...
     
    #4 UsagiYojimbo, 5 Septembre 2018
    spout apprécie ceci.
  5. DomTo
    DomTo WRInaute occasionnel
    Inscrit:
    30 Août 2016
    Messages:
    334
    J'aime reçus:
    29
    Merci pour vos réponses.

    Je pensais que je n'étais pas le seul à avoir cette erreur, que c'était un bug de google, mais non, c'est donc un problème sur mon site.

    Sur le dossier includes j'ai 755 aussi.

    Bon bah va falloir que je trouve la faille...
     
    #5 DomTo, 6 Septembre 2018
  6. DomTo
    DomTo WRInaute occasionnel
    Inscrit:
    30 Août 2016
    Messages:
    334
    J'aime reçus:
    29
    Après quelques recherches plus approfondies, j'ai trouvé une solution sur le forum google en anglais qui est de mettre :

    Options -Indexes

    dans le fichier .htaccess.

    À prioris cela a réglé le problème pour les participants, vais bien voir, mais je me demande quand même pourquoi cette erreur est apparue soudainement, comme dit plus haut, certainement un plugin mal fait.
     
    #6 DomTo, 8 Septembre 2018
  7. makeonlineshop
    makeonlineshop WRInaute occasionnel
    Inscrit:
    12 Octobre 2011
    Messages:
    263
    J'aime reçus:
    26
    il suffit de faire ce que yoast seo dit de faire non ? ils se font assez ch... a tout tester pour nous que cela me semble inutile de même y réfléchir...
     
    #7 makeonlineshop, 19 Septembre 2018
  8. CAMEO172
    CAMEO172 WRInaute discret
    Inscrit:
    5 Mars 2012
    Messages:
    152
    J'aime reçus:
    15
    C’est du second degré ou un vrai conseil ?
     
    #8 CAMEO172, 19 Septembre 2018
  9. Sezar
    Sezar WRInaute discret
    Inscrit:
    20 Juin 2018
    Messages:
    172
    J'aime reçus:
    12

    ben non justement, ces c*** laissent sortir des releases buguées, et après c'est nous qui sommes pénalisés par Google.
     
    #9 Sezar, 20 Septembre 2018
  10. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 134
    J'aime reçus:
    325
    @Sezar : il n'y a jamais aucune garantie de fonctionnement dans les logiciels open source fournis gratuitement. Si tu n'es pas content, on est jamais mieux servi que par soit même...
     
    #10 spout, 21 Septembre 2018
    UsagiYojimbo apprécie ceci.
  11. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 892
    J'aime reçus:
    84
    Et installer n'empêche pas de tester ^^
     
    #11 UsagiYojimbo, 21 Septembre 2018
    spout apprécie ceci.
  12. Sezar
    Sezar WRInaute discret
    Inscrit:
    20 Juin 2018
    Messages:
    172
    J'aime reçus:
    12
    Yoast n'est pas open source, et il ont un premium payant qui je pense etait aussi victime du bug.

    Mais je vois ce que tu veux dire et je suis d'accord
     
    #12 Sezar, 21 Septembre 2018
  13. Madrileño
    Madrileño Membre Honoré
    Inscrit:
    7 Juillet 2004
    Messages:
    31 573
    J'aime reçus:
    280
    Bonjour,

    Le Github est : /Yoast/wordpress-seo .
    C'est dommage.

    Temps de réponse : 5 minutes.
    Cordialement.
     
    #13 Madrileño, 21 Septembre 2018
    Sezar apprécie ceci.
  14. Sezar
    Sezar WRInaute discret
    Inscrit:
    20 Juin 2018
    Messages:
    172
    J'aime reçus:
    12

    Merci je ne savais pas.
     
    #14 Sezar, 21 Septembre 2018
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Bloquer include robots Forum Date
Comment bloquer à coup sûr l'indexation par les moteurs de recherche Crawl et indexation Google, sitemaps 7 Décembre 2020
Chrome va bloquer les ressources HTTP sur pages HTTPS Référencement Google 5 Octobre 2019
Bloquer accès admin Google Analytics par adresse IP Google Analytics 19 Septembre 2019
Comment bloquer les vidéos automatiques ? Facebook 28 Juillet 2019
Réseau de site backlinks : comment bloquer par htaccess ? Tests et études de cas 6 Juin 2019
Bloquer une section dans mon fichier robots.txt Débuter en référencement 9 Novembre 2018
Chrome 70 va bloquer de nombreux sites web Google : l'entreprise, les sites web, les services 10 Octobre 2018
fichier robots.txt bloquer paramètre p= Crawl et indexation Google, sitemaps 4 Septembre 2018
Adsense - Impossible de bloquer des annonceurs ! AdSense 19 Avril 2018
bloquer l'accès au site à certains "mauvais'bots Administration d'un site Web 26 Mars 2018
Débloquer un modem, légal ou interdit ? Le café de WebRankInfo 6 Février 2018
Comment bloquer des URLs externes Crawl et indexation Google, sitemaps 4 Novembre 2017
Comment bloquer les voleurs de contenu ? Débuter en référencement 7 Juin 2017
Bloquer l'indexation de la recherche Débuter en référencement 18 Janvier 2017
bloquer un spammeur ( boston ) que je vois sur analytics ? Crawl et indexation Google, sitemaps 16 Janvier 2017
Débloquer ressources dans Search Console Débuter en référencement 14 Mai 2016
Bloquer toute une plage IP en n'en laissant passer qu'une seule URL Rewriting et .htaccess 1 Avril 2016
Bloquer un annonceur AdWords sur AdSense AdSense 14 Septembre 2015
Ras le bol ! Bloquer le crawling des fichiers Css et Javascript à Google Crawl et indexation Google, sitemaps 12 Septembre 2015
Bloquer sites référents indésirables Google Analytics 14 Août 2015