Empêcher Googlebot de crawler/indexer tout un dossier

Nouveau WRInaute
Bonjour à tous et à toutes,

(Je vous la fait courte) On a un site sous Prestashop 1.6 et on souhaiterait passer à la version 1.7.
Pendant une durée indéterminée, les 2 versions vont cohabiter :

Étant donné qu'il y aura le même contenu (images, textes, produits ...) dans les 2 versions du site (c'est juste l'aspect du site et la version du CMS qui va changer), on a peur que Google considère la partie du site sous Prestashop 1.7 comme du Duplicate Content et pénalise le référencement naturel du site en entier (version 1.6 ET 1.7 puisque pour Google, c'est un seul et même site)

Comment faire pour que Googlebot (et autres robots) ne crawle pas et n'indexe pas le contenu du dossier presta1751 où se trouve le site en Prestashop 1.7 ?

Est-ce qu'il faut :
  • mettre un Disallow /*presta1751/ dans le fichier Robots ?
  • mettre des balises noindex nofollow sur toutes les pages de la nouvelle version ?
  • mettre des balises canoniques sur toutes les pages de la nouvelle version ?
  • faire les 3 (un disallow dans le fichier Robots + des balises noindex nofollow + des balises canoniques) ?
  • ne rien faire ? En partant du principe qu'on n'a pas déclaré la partie du site en Prestashop 1.7 auprès de Google Search et que, du coup, Googlebot n'ira pas sur cette partie du site
D'avance merci pour vos réponses et vos conseils.

Bonne journée ;)
 
Olivier Duffez (admin)
Membre du personnel
je vote pour la seconde réponse : un site en dév/préprod doit toujours être protégé par mot de passe, et les meta robots doivent être identiques à ce que sera le site en prod, donc pas de noindex partout
 
WRInaute accro
En plus, le souci de gérer ça avec la meta robots, c'est que c'est le truc qu'on oublie trop souvent de changer lors de la bascule.

Je ne compte plus les sites dont je vois la visibilité chuter après une mise en prod... où l'agence / le développeur aura laissé, au choix :
- le robot.txt avec un disallow:/
- une meta robot noindex sitewide
 
WRInaute occasionnel
Pourquoi ne pas mettre la version test dans un sous domaine plutot que un dossier ? presta1751.nomdedomaine.com ou ce que tu veux a la place de presta1751
Ca simplifiera la copie du site, le blocage d'acces et aussi la bascule
 
WRInaute accro
Est-ce qu'il faut :
  • mettre un Disallow /*presta1751/ dans le fichier Robots ?
  • mettre des balises noindex nofollow sur toutes les pages de la nouvelle version ?
  • mettre des balises canoniques sur toutes les pages de la nouvelle version ?
  • faire les 3 (un disallow dans le fichier Robots + des balises noindex nofollow + des balises canoniques) ?
  • ne rien faire ? En partant du principe qu'on n'a pas déclaré la partie du site en Prestashop 1.7 auprès de Google Search et que, du coup, Googlebot n'ira pas sur cette partie du site

Il en manque 1 >> Mode maintenance via le Back Office
 
Discussions similaires
Haut