Sites de test indexés malgré Disallow dans robots.txt

[spip93]

Bonjour à tous et à toutes,

Nous avons plusieurs sites en production sous Prestashop 1.6.1.5 et sous PHP 5.4.
Nous avons donc décidé de les passer sous Prestashop 1.7.5.1 et sous PHP 7.2.
Avant de faire le grand saut, et comme nous avons plusieurs modules "maison", nous avons pris un VPS sur lequel j'ai mis les 2 sites sous Presta 1.7.5.1 (avec les produits, les photos de produits, les clients ...) et où j'effectue des tests.
Comme je ne voulais pas que (entre autre) les robots de Google passent/crawlent/indexent les sites de test, j'avais, dans un premier temps, (après avoir posté un message ici) opté pour une protection par MDP via un fichier htaccess et un fichier htpasswd.

Problème : un module qui allait chercher des infos sur le 2nd site pour mettre à jour (entre autre) le stock via un webservice, ne pouvait pas se connecter à l'autre site.

Du coup, j'ai changé de méthode et, comme préconisé sur plusieurs sites, j'ai créé un fichier robots.txt (placé à la racine de chacun des 2 sites test) dans lequel j'ai mis ces deux lignes :

User-agent: *
Disallow: /

"Normalement", en mettant ça, les sites tests ne devraient pas être indexés, non ?
Pourtant, en entrant/cherchant dans Google l'URL d'un des deux sites test, je tombe sur le site test en question. Pourquoi ? Est-ce que c'est normal ? Est-ce grave docteur ? (Et surtout) Quelles sont les conséquences :
1) Pour le SEO des sites actuellement en production ?
2) Pour le SEO des sites, aujourd'hui en test, qui passeront en production une fois les tests terminés ?

Je vous remercie par avance pour votre aide.
Bonne journée

 

[Furtif]

"Normalement", en mettant ça, les sites tests ne devraient pas être indexés, non ?

l'instruction Disallow empêche l'exploration du site mais n'empêche pas l'indexation des répertoires et des pages du domaine. C'est pourquoi même avec un Disallow total, Google peut toujours potentiellement indexer certaines pages du site. Si vous souhaitez également bloquer l'indexation, vous pouvez utiliser la balise meta robots.
si vous voulez être certain de bloquer la totalité du site, vous pouvez également implémenter une authentification via le fichier htaccess

 

[Ehplodor]

Slt,

Le problème est essentiellement du à une mauvaise méthode de développement.
Les stock, on les gère depuis la bdd, et la protection n'entre alors plus en ligne de compte.

Quoiqu'il en soit, pour répondre à la question, il n'y a plus qu'à aller demander la suppression des url indexée via GSC en créant temporairement un compte pour le site .

Et si cette opération est faite rapidement, il n'y aura aucune conséquence pour le site "officiel".

Cdt