Sites de test indexés malgré Disallow dans robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par spip93, 7 Juin 2019.

  1. spip93
    spip93 Nouveau WRInaute
    Inscrit:
    29 Novembre 2011
    Messages:
    40
    J'aime reçus:
    1
    Bonjour à tous et à toutes,

    Nous avons plusieurs sites en production sous Prestashop 1.6.1.5 et sous PHP 5.4.
    Nous avons donc décidé de les passer sous Prestashop 1.7.5.1 et sous PHP 7.2.
    Avant de faire le grand saut, et comme nous avons plusieurs modules "maison", nous avons pris un VPS sur lequel j'ai mis les 2 sites sous Presta 1.7.5.1 (avec les produits, les photos de produits, les clients ...) et où j'effectue des tests.
    Comme je ne voulais pas que (entre autre) les robots de Google passent/crawlent/indexent les sites de test, j'avais, dans un premier temps, (après avoir posté un message ici) opté pour une protection par MDP via un fichier htaccess et un fichier htpasswd.

    Problème : un module qui allait chercher des infos sur le 2nd site pour mettre à jour (entre autre) le stock via un webservice, ne pouvait pas se connecter à l'autre site.

    Du coup, j'ai changé de méthode et, comme préconisé sur plusieurs sites, j'ai créé un fichier robots.txt (placé à la racine de chacun des 2 sites test) dans lequel j'ai mis ces deux lignes :
    Code:
    User-agent: *
    Disallow: /
    "Normalement", en mettant ça, les sites tests ne devraient pas être indexés, non ?
    Pourtant, en entrant/cherchant dans Google l'URL d'un des deux sites test, je tombe sur le site test en question. Pourquoi ? Est-ce que c'est normal ? Est-ce grave docteur ? (Et surtout) Quelles sont les conséquences :
    1) Pour le SEO des sites actuellement en production ?
    2) Pour le SEO des sites, aujourd'hui en test, qui passeront en production une fois les tests terminés ?

    Je vous remercie par avance pour votre aide.
    Bonne journée
     
  2. Furtif
    Furtif WRInaute accro
    Inscrit:
    9 Août 2005
    Messages:
    2 936
    J'aime reçus:
    279
    l'instruction Disallow empêche l'exploration du site mais n'empêche pas l'indexation des répertoires et des pages du domaine. C'est pourquoi même avec un Disallow total, Google peut toujours potentiellement indexer certaines pages du site. Si vous souhaitez également bloquer l'indexation, vous pouvez utiliser la balise meta robots.
    si vous voulez être certain de bloquer la totalité du site, vous pouvez également implémenter une authentification via le fichier htaccess
     
  3. Ehplodor
    Ehplodor Nouveau WRInaute
    Inscrit:
    11 Mars 2019
    Messages:
    28
    J'aime reçus:
    2
    Slt,

    Le problème est essentiellement du à une mauvaise méthode de développement.
    Les stock, on les gère depuis la bdd, et la protection n'entre alors plus en ligne de compte.

    Quoiqu'il en soit, pour répondre à la question, il n'y a plus qu'à aller demander la suppression des url indexée via GSC en créant temporairement un compte pour le site .

    Et si cette opération est faite rapidement, il n'y aura aucune conséquence pour le site "officiel".

    Cdt
     
Chargement...
Similar Threads - test indexés malgré Forum Date
WordPress GT Metrix : comment tester sa vitesse au mieux ? Débuter en référencement 27 Juillet 2021
Test de mon nouveau site en laissant l'ancien en ligne Administration d'un site Web 28 Avril 2021
Test SEO : balises vides qu'il faut enlever Demandes d'avis et de conseils sur vos sites 24 Mars 2021
Search Console "Page non éligible aux résultats enrichis connus par ce test" Problèmes de référencement spécifiques à vos sites 4 Janvier 2021
Outils : test des données structurées et des rich snippets Référencement Google 16 Décembre 2020
Brave, avis et test de la dernière version du navigateur Le café de WebRankInfo 3 Juillet 2020
tests de dosage d'annonces AdSense AdSense 20 Juin 2020
Annonce responsive test 1/B Débuter en référencement 3 Juin 2020
Test : domaine racheté et backlinks morts 10 ans Netlinking, backlinks, liens et redirections 18 Mai 2020
En test : affichage des informations de licence dans Google Images YouTube, Google Images et Google Maps 28 Février 2020