Empêcher Googlebot de crawler/indexer tout un dossier

Discussion dans 'Débuter en référencement' créé par wikao, 19 Avril 2019.

  1. wikao
    wikao Nouveau WRInaute
    Inscrit:
    8 Février 2013
    Messages:
    9
    J'aime reçus:
    0
    Bonjour à tous et à toutes,

    (Je vous la fait courte) On a un site sous Prestashop 1.6 et on souhaiterait passer à la version 1.7.
    Pendant une durée indéterminée, les 2 versions vont cohabiter :

    Étant donné qu'il y aura le même contenu (images, textes, produits ...) dans les 2 versions du site (c'est juste l'aspect du site et la version du CMS qui va changer), on a peur que Google considère la partie du site sous Prestashop 1.7 comme du Duplicate Content et pénalise le référencement naturel du site en entier (version 1.6 ET 1.7 puisque pour Google, c'est un seul et même site)

    Comment faire pour que Googlebot (et autres robots) ne crawle pas et n'indexe pas le contenu du dossier presta1751 où se trouve le site en Prestashop 1.7 ?

    Est-ce qu'il faut :
    • mettre un Disallow /*presta1751/ dans le fichier Robots ?
    • mettre des balises noindex nofollow sur toutes les pages de la nouvelle version ?
    • mettre des balises canoniques sur toutes les pages de la nouvelle version ?
    • faire les 3 (un disallow dans le fichier Robots + des balises noindex nofollow + des balises canoniques) ?
    • ne rien faire ? En partant du principe qu'on n'a pas déclaré la partie du site en Prestashop 1.7 auprès de Google Search et que, du coup, Googlebot n'ira pas sur cette partie du site
    D'avance merci pour vos réponses et vos conseils.

    Bonne journée ;)
     
    #1 wikao, 19 Avril 2019
  2. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 131
    J'aime reçus:
    325
    meta robots noindex/nofollow.
     
    #2 spout, 19 Avril 2019
  3. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 888
    J'aime reçus:
    84
    Et en complément, au cas où, mettre en place une protection htaccess à la racine du sous-dossier de dev.
     
    #3 UsagiYojimbo, 19 Avril 2019
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    20 458
    J'aime reçus:
    673
    je vote pour la seconde réponse : un site en dév/préprod doit toujours être protégé par mot de passe, et les meta robots doivent être identiques à ce que sera le site en prod, donc pas de noindex partout
     
    #4 WebRankInfo, 19 Avril 2019
  5. spout
    spout WRInaute accro
    Inscrit:
    14 Mai 2003
    Messages:
    9 131
    J'aime reçus:
    325
    Ah j'avais lu "visible du public", donc protection par htpasswd.
     
    #5 spout, 19 Avril 2019
  6. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 888
    J'aime reçus:
    84
    En plus, le souci de gérer ça avec la meta robots, c'est que c'est le truc qu'on oublie trop souvent de changer lors de la bascule.

    Je ne compte plus les sites dont je vois la visibilité chuter après une mise en prod... où l'agence / le développeur aura laissé, au choix :
    - le robot.txt avec un disallow:/
    - une meta robot noindex sitewide
     
    #6 UsagiYojimbo, 19 Avril 2019
  7. Johanwri
    Johanwri WRInaute occasionnel
    Inscrit:
    13 Mars 2018
    Messages:
    329
    J'aime reçus:
    63
    Pourquoi ne pas mettre la version test dans un sous domaine plutot que un dossier ? presta1751.nomdedomaine.com ou ce que tu veux a la place de presta1751
    Ca simplifiera la copie du site, le blocage d'acces et aussi la bascule
     
    #7 Johanwri, 19 Avril 2019
    wabstemer apprécie ceci.
  8. KOogar
    KOogar WRInaute accro
    Inscrit:
    16 Novembre 2004
    Messages:
    4 641
    J'aime reçus:
    79
    Il en manque 1 >> Mode maintenance via le Back Office
     
    #8 KOogar, 20 Avril 2019
(Vous devez vous identifier ou vous inscrire pour poster ici.)
Chargement...
Similar Threads - Empêcher Googlebot crawler Forum Date
Empecher GoogleBot de suivre une redirection Débuter en référencement 20 Juillet 2010
Savez-vous comment empécher googlebot-image d'indexer un sit Crawl et indexation Google, sitemaps 10 Février 2006
Comment empecher googlebot de suivre un lien ? Netlinking, backlinks, liens et redirections 2 Mai 2004
Empêcher le download mais autoriser la lecture mp3 URL Rewriting et .htaccess 17 Août 2021
WordPress Empêcher le scraping de mon site Administration d'un site Web 19 Novembre 2020
PHP empêcher form onsubmit si formulaire invalide Développement d'un site Web ou d'une appli mobile 29 Juin 2020
Comment empecher google d'indexer "une suite d'URL". Débuter en référencement 8 Mars 2020
désindexer et/ou empêcher crawl ? Crawl et indexation Google, sitemaps 4 Janvier 2019
Patron de Qwant : "Google essaye d'empêcher ..." Autres moteurs de recherche connus 1 Novembre 2018
Empêcher les majuscules dans les URL Débuter en référencement 27 Avril 2018
Empécher indexation Crawl et indexation Google, sitemaps 10 Avril 2018
Comment empêcher les gens de faire du copier coller ? Débuter en référencement 21 Janvier 2018
Empêcher des script javascript d'etre indexer Crawl et indexation Google, sitemaps 13 Mars 2017
Comment empêcher le crawl sur les pages "filter" et "order" Débuter en référencement 20 Janvier 2017
empêcher des caractères comme /?longurlwascutoff_0&& derrière l'url d'un site URL Rewriting et .htaccess 30 Avril 2016
Empêcher l'indexation de mon fichier sitemap Débuter en référencement 29 Avril 2016
empêcher une partie du site de visualisation Développement d'un site Web ou d'une appli mobile 30 Mars 2016
Empêcher google d'utiliser mon formulaire de filtre d'articles ? Développement d'un site Web ou d'une appli mobile 11 Mars 2016
Comment empêcher une page en php d' être partagé sur facebook? Facebook 10 Septembre 2015
Empêcher l'upload de gros fichiers? Développement d'un site Web ou d'une appli mobile 27 Mai 2015