est-il préférable de disallow des pages non indexées

Discussion dans 'Crawl et indexation Google, sitemaps' créé par titiplanti, 29 Janvier 2019.

  1. titiplanti
    titiplanti WRInaute occasionnel
    Inscrit:
    4 Novembre 2004
    Messages:
    349
    J'aime reçus:
    0
    Bonjour,

    Certaines pages de mon site étaient de faille qualité, j'ai donc ajouté le code meta name="robots" content="noindex,follow" à ces pages.*

    Maintenant qu'elle sont bien désindexées, je me pose la question de savoir s'il est préférable d'ajouter la commande disallow dans le robots.txt

    En fait GSC me dit qu'elles ne sont pas indexées mais je les trouve toujours dans les résultats de recherches.
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 139
    J'aime reçus:
    350
    Je me demande surtout pourquoi elles devraient rester sur le site, y a-t-il une raison ?
     
  3. titiplanti
    titiplanti WRInaute occasionnel
    Inscrit:
    4 Novembre 2004
    Messages:
    349
    J'aime reçus:
    0
    ah ben c'est le module testimonials de wordpress qui fait une page pour chaque témoignage, il fonctionne comme ça.
     
  4. rick38
    rick38 WRInaute passionné
    Inscrit:
    23 Février 2013
    Messages:
    1 231
    J'aime reçus:
    147
    En principe pas d'intérêt à rajouter dans robots.txt, ça fait d'autres choses à gérer et donc multiplie le risque de faire des bétises... (parce qu'il faut penser à tenir à jour ce fichier, donc moi perso j'en fais pas)
     
    titiplanti apprécie ceci.
  5. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    8 841
    J'aime reçus:
    249
    Tous mes fichiers robots.txt se composent de la sorte :
    Code:
    
    
     
  6. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 139
    J'aime reçus:
    350
    si ces pages sont nombreuses et ne présentent même pas l'intérêt d'être crawlées, autant les bloquer au crawl
     
    titiplanti apprécie ceci.
  7. Furtif
    Furtif WRInaute accro
    Inscrit:
    9 Août 2005
    Messages:
    2 530
    J'aime reçus:
    152
    Mais si il arrive qu'une page bloquée au crawl, beneficie de backlinks elle sera indexée. Le noindex s'impose..
     
  8. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 139
    J'aime reçus:
    350
    le noindex est déjà en place
     
  9. sebux69
    sebux69 WRInaute occasionnel
    Inscrit:
    2 Juillet 2009
    Messages:
    334
    J'aime reçus:
    12
    Code:
    User-agent: *
    Swallow: /
    :p
     
  10. Furtif
    Furtif WRInaute accro
    Inscrit:
    9 Août 2005
    Messages:
    2 530
    J'aime reçus:
    152
    John Mueller
    "C'est un peu compliqué avec le noindex. Il existe je pense une fausse idée en général dans la communauté SEO. En cela, avec un noindex, c'est encore un cas dans lequel nous voyons le noindex. Considérons que dans un premier cas, vous ne voulez pas que cette page apparaisse dans les résultats de recherche. Nous allons toujours la conserver dans notre index, nous ne l'afficherons pas mais nous pourrons suivre ses liens. Mais si nous voyons le noindex présent plus longtemps alors nous pensons que cette page ne veut vraiment pas être utilisée dans la recherche, donc nous la retirerons complètement. Et de ce fait nous ne suivrons pas les liens quoi qu'il arrive. Donc, le cas d'un noindex follow est en quelque sorte la même chose qu'un noindex, nofollow. Sur le long terme cela ne fait pas de grandes différences."
     
  11. colonies
    colonies WRInaute occasionnel
    Inscrit:
    10 Septembre 2006
    Messages:
    492
    J'aime reçus:
    56
    Tiens j'en profite pour poser une autre question mais toujours dans le même style : si on compte envoyer un header X-Robots-Tag: none, est-ce qu'on peut se contenter de ça et ne pas générer l'intégralité de la page ?

    D'après ce que j'ai constaté, si on met un ensemble de pages en disallow dans le robots.txt, il ne les supprime pas complètement de l'index pour autant, il conserve les URL même si les descriptions de la page deviennent progressivement inaccessibles.

    Afin de les virer complètement, un X-Robots-Tag: none me semble approprié. Comme on lui indique qu'on ne veut plus qu'il référence la page dès les headers, est-ce que Google va trouver étrange qu'on ne lui envoie pas de contenu même si les visiteurs peuvent accéder à ces pages ?

    Par exemple, Google a crawlé toutes les pages de profil de membre d'un forum. Afin d'éviter de charger inutilement le serveur, est-ce qu'on peut envisager de mettre au début de la page membre.php (mettons) : "si Googlebot => X-Robots-Tag: none => fin" et s'épargner toute connexion à la base de données, génération de la page HTML etc ?
     
  12. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 139
    J'aime reçus:
    350
    c'est donc du cloaking que n'aime pas Google
    si ces URL sont dans un répertoire, autant le bloquer via robots.txt (et le faire désindexer d'un coup dans la SC)
     
  13. colonies
    colonies WRInaute occasionnel
    Inscrit:
    10 Septembre 2006
    Messages:
    492
    J'aime reçus:
    56
    C'est aussi ce que je crains : que Google considère ça comme du cloaking. Bon, je ne vais pas risquer le coup... même si je pense que ça devrait être autorisé (présenter un contenu différent pour être bien référencé doit être pénalisé, mais pour être déréférencé... "éthiquement" je ne vois pas de souci. Mais si en pratique Google n'a pas prévu le coup et que ça vaut d'être sanctionné, non merci).

    Et sinon, non, ça n'est pas dans un dossier séparé, malheureusement. Mais merci pour ta remarque, je croyais qu'on ne pouvait déréférencer les pages qu'individuellement. Du coup je vais chercher un peu, ça pourra peut-être me servir plus tard.
     
Chargement...
Similar Threads - préférable disallow indexées Forum Date
Est il préférable de faire 15 liens pr0 en nofollow sur sa thématique ou 1 pr3 dofollow? Référencement Google 11 Mai 2013
est il préférable d'utiliser le format site ou blog? Référencement Google 18 Septembre 2012
Il est préférable de faire un article ou plusieurs petits articles Rédaction web et référencement 2 Janvier 2012
Est-il préferable de créer : magasindeparis.fr ou magasin-paris.fr ? Débuter en référencement 19 Octobre 2011
Est-il préférable d'écrire pour son site ou pour les autres? Rédaction web et référencement 3 Avril 2011
Est-ce préférable de mettre le titre <h1> le plus en haut de la page ? Référencement Google 22 Octobre 2010
Pagination : Disallow, No index, Canoniser - Qu'est-ce qu'on fait ? Référencement Google 15 Octobre 2019
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
Disallow à la place de noindex (optimisation du PageRank interne) Crawl et indexation Google, sitemaps 10 Août 2018
robots.txt avec Disallow:/*.php Débuter en référencement 23 Juin 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice