Robots.txt et SEO

Discussion dans 'Crawl et indexation Google, sitemaps' créé par juu, 17 Octobre 2017.

  1. juu
    juu Nouveau WRInaute
    Inscrit:
    17 Octobre 2017
    Messages:
    10
    J'aime reçus:
    0
    Bonjour à tous,

    Dans mon robots.txt, j'ai mis en disallow ces éléments :
    Disallow: /wp-login.php
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes

    Lorsque je vais dans Search Console -> Explorer comme Google (onglet exploration) et que je sélectionne une URL.
    Entre ce que voit Google Bot et ce que voit l'internaute, il y a une différence.

    Google Bot voit mon site comme s'il était cassé (sans CSS / JS) donc pas comme un internaute lambda.
    J'aurai voulu savoir si cela était pénalisant pour le SEO ?
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 137
    J'aime reçus:
    350
    oui, Google appelle ça des "ressources bloquées". Sans pouvoir accéder à certains fichiers (JS, CSS, images), il ne peut pas "se figurer" le look de la page, notamment sur mobile.
    pourquoi bloquer tout ça au crawl ?
     
  3. juu
    juu Nouveau WRInaute
    Inscrit:
    17 Octobre 2017
    Messages:
    10
    J'aime reçus:
    0
    J'avais vu un article avec le "parfait" robots.txt qui préconisait cela.

    Je pensais également qu'en bloquant ces éléments, le GoogleBot se concentrerait uniquement sur le contenu contenu et donc que cela serait plus pertinent.
     
  4. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 839
    J'aime reçus:
    248
    AMHA le robots.txt parfait c'est:
    Code:
     
     
  5. juu
    juu Nouveau WRInaute
    Inscrit:
    17 Octobre 2017
    Messages:
    10
    J'aime reçus:
    0
    un robots.txt vide ?

    Peux tu m'expliquer pourquoi ?
     
  6. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 839
    J'aime reçus:
    248
    Parce que c'est faisable autrement et qu'il en faut quand même un pour avoir un code HTTP 200.
     
  7. juu
    juu Nouveau WRInaute
    Inscrit:
    17 Octobre 2017
    Messages:
    10
    J'aime reçus:
    0
    Donc tu préconises également d'autoriser l'accès à l'ensemble des fichiers du robot de Google ?
     
  8. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 839
    J'aime reçus:
    248
  9. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 226
    J'aime reçus:
    145
    Le Disallow: /wp-admin se justifie.

    C'est quand même de sécurité qu'il s'agit.
    Même si personne n'ignore l'url /wp-admin pour un site wordpres...
     
  10. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 839
    J'aime reçus:
    248
    La sécurité en indiquant les URLs sensibles dans le robots.txt ? :lol:
     
  11. juu
    juu Nouveau WRInaute
    Inscrit:
    17 Octobre 2017
    Messages:
    10
    J'aime reçus:
    0
    Hello,

    Je reviens vers vous car suite à vos conseils, j'ai débloqué, via mon Robots.txt, plusieurs ressources afin que le robot Google y accède.
    Cependant, lorsque je me connecte à Search Console et que j'observe les ressources bloqués. Cela ne baisse pas.

    Search Console m'indique toujours un grand nombre de page avec des ressources bloquées sur cet hôte.

    Est ce normal ?

    Combien de temps cela doit mettre ?

    Y a t'il un processus pour accélérer cela ?

    Merci à tous de vos réponses.
     
  12. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 137
    J'aime reçus:
    350
    il faut que Google crawle les pages concernées, puis qu'il mette à jour Search Console. Je vais compléter mon article avec ces précisions ;-)

    pour accélérer les choses, essaie d'envoyer un sitemap exhaustif
     
Chargement...
Similar Threads - Robots SEO Forum Date
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Réécriture et robots.txt Débuter en référencement 10 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
Robots.txt et test url Crawl et indexation Google, sitemaps 9 Octobre 2019
Page d'accueil non indexée ? Conflit avec robots.txt Crawl et indexation Google, sitemaps 2 Octobre 2019
robots.txt pour site multilangue Crawl et indexation Google, sitemaps 1 Octobre 2019
Indexation malgré le robots.txt Problèmes de référencement spécifiques à vos sites 23 Septembre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice