Robots.txt et SEO

Discussion dans 'Crawl et indexation Google, sitemaps' créé par juu, 17 Octobre 2017.

  1. juu
    juu Nouveau WRInaute
    Inscrit:
    17 Octobre 2017
    Messages:
    10
    J'aime reçus:
    0
    Bonjour à tous,

    Dans mon robots.txt, j'ai mis en disallow ces éléments :
    Disallow: /wp-login.php
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes

    Lorsque je vais dans Search Console -> Explorer comme Google (onglet exploration) et que je sélectionne une URL.
    Entre ce que voit Google Bot et ce que voit l'internaute, il y a une différence.

    Google Bot voit mon site comme s'il était cassé (sans CSS / JS) donc pas comme un internaute lambda.
    J'aurai voulu savoir si cela était pénalisant pour le SEO ?
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 804
    J'aime reçus:
    259
    oui, Google appelle ça des "ressources bloquées". Sans pouvoir accéder à certains fichiers (JS, CSS, images), il ne peut pas "se figurer" le look de la page, notamment sur mobile.
    pourquoi bloquer tout ça au crawl ?
     
  3. juu
    juu Nouveau WRInaute
    Inscrit:
    17 Octobre 2017
    Messages:
    10
    J'aime reçus:
    0
    J'avais vu un article avec le "parfait" robots.txt qui préconisait cela.

    Je pensais également qu'en bloquant ces éléments, le GoogleBot se concentrerait uniquement sur le contenu contenu et donc que cela serait plus pertinent.
     
  4. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 719
    J'aime reçus:
    232
    AMHA le robots.txt parfait c'est:
    Code:
     
     
  5. juu
    juu Nouveau WRInaute
    Inscrit:
    17 Octobre 2017
    Messages:
    10
    J'aime reçus:
    0
    un robots.txt vide ?

    Peux tu m'expliquer pourquoi ?
     
  6. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 719
    J'aime reçus:
    232
    Parce que c'est faisable autrement et qu'il en faut quand même un pour avoir un code HTTP 200.
     
  7. juu
    juu Nouveau WRInaute
    Inscrit:
    17 Octobre 2017
    Messages:
    10
    J'aime reçus:
    0
    Donc tu préconises également d'autoriser l'accès à l'ensemble des fichiers du robot de Google ?
     
  8. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 719
    J'aime reçus:
    232
  9. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 060
    J'aime reçus:
    108
    Le Disallow: /wp-admin se justifie.

    C'est quand même de sécurité qu'il s'agit.
    Même si personne n'ignore l'url /wp-admin pour un site wordpres...
     
  10. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 719
    J'aime reçus:
    232
    La sécurité en indiquant les URLs sensibles dans le robots.txt ? :lol:
     
  11. juu
    juu Nouveau WRInaute
    Inscrit:
    17 Octobre 2017
    Messages:
    10
    J'aime reçus:
    0
    Hello,

    Je reviens vers vous car suite à vos conseils, j'ai débloqué, via mon Robots.txt, plusieurs ressources afin que le robot Google y accède.
    Cependant, lorsque je me connecte à Search Console et que j'observe les ressources bloqués. Cela ne baisse pas.

    Search Console m'indique toujours un grand nombre de page avec des ressources bloquées sur cet hôte.

    Est ce normal ?

    Combien de temps cela doit mettre ?

    Y a t'il un processus pour accélérer cela ?

    Merci à tous de vos réponses.
     
  12. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    18 804
    J'aime reçus:
    259
    il faut que Google crawle les pages concernées, puis qu'il mette à jour Search Console. Je vais compléter mon article avec ces précisions ;-)

    pour accélérer les choses, essaie d'envoyer un sitemap exhaustif
     
Chargement...
Similar Threads - Robots SEO Forum Date
Search Console un fichier robots.txt pour chaque protocole Débuter en référencement Jeudi à 11:58
Augmenter ses revenus au CPM avec des robots de trafic Monétisation d'un site web 6 Juillet 2019
Search Console bloquée par le fichier robots.txt Crawl et indexation Google, sitemaps 25 Juin 2019
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
Délai de prise en compte changement robots.txt plus long Crawl et indexation Google, sitemaps 18 Mai 2019
Search Console Passage de HTTP à HTTPS (Fichiers ROBOTS.TXT et SITEMAP) 0 Crawl et indexation Google, sitemaps 16 Mai 2019
WordPress robots.txt pour supprimer une page (duplicate content) Débuter en référencement 2 Mai 2019
Site non responsive, ressources bloquées robots.txt Crawl et indexation Google, sitemaps 15 Avril 2019
Question sur sitemap et robots.txt Crawl et indexation Google, sitemaps 8 Avril 2019
GSC ne tient pas compte comande Allow dans robots.txt Crawl et indexation Google, sitemaps 21 Février 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice