Sites de test indexés malgré Disallow dans robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par spip93, 7 Juin 2019.

  1. spip93
    spip93 Nouveau WRInaute
    Inscrit:
    29 Novembre 2011
    Messages:
    40
    J'aime reçus:
    1
    Bonjour à tous et à toutes,

    Nous avons plusieurs sites en production sous Prestashop 1.6.1.5 et sous PHP 5.4.
    Nous avons donc décidé de les passer sous Prestashop 1.7.5.1 et sous PHP 7.2.
    Avant de faire le grand saut, et comme nous avons plusieurs modules "maison", nous avons pris un VPS sur lequel j'ai mis les 2 sites sous Presta 1.7.5.1 (avec les produits, les photos de produits, les clients ...) et où j'effectue des tests.
    Comme je ne voulais pas que (entre autre) les robots de Google passent/crawlent/indexent les sites de test, j'avais, dans un premier temps, (après avoir posté un message ici) opté pour une protection par MDP via un fichier htaccess et un fichier htpasswd.

    Problème : un module qui allait chercher des infos sur le 2nd site pour mettre à jour (entre autre) le stock via un webservice, ne pouvait pas se connecter à l'autre site.

    Du coup, j'ai changé de méthode et, comme préconisé sur plusieurs sites, j'ai créé un fichier robots.txt (placé à la racine de chacun des 2 sites test) dans lequel j'ai mis ces deux lignes :
    Code:
    User-agent: *
    Disallow: /
    "Normalement", en mettant ça, les sites tests ne devraient pas être indexés, non ?
    Pourtant, en entrant/cherchant dans Google l'URL d'un des deux sites test, je tombe sur le site test en question. Pourquoi ? Est-ce que c'est normal ? Est-ce grave docteur ? (Et surtout) Quelles sont les conséquences :
    1) Pour le SEO des sites actuellement en production ?
    2) Pour le SEO des sites, aujourd'hui en test, qui passeront en production une fois les tests terminés ?

    Je vous remercie par avance pour votre aide.
    Bonne journée
     
  2. Furtif
    Furtif WRInaute accro
    Inscrit:
    9 Août 2005
    Messages:
    2 781
    J'aime reçus:
    222
    l'instruction Disallow empêche l'exploration du site mais n'empêche pas l'indexation des répertoires et des pages du domaine. C'est pourquoi même avec un Disallow total, Google peut toujours potentiellement indexer certaines pages du site. Si vous souhaitez également bloquer l'indexation, vous pouvez utiliser la balise meta robots.
    si vous voulez être certain de bloquer la totalité du site, vous pouvez également implémenter une authentification via le fichier htaccess
     
  3. Ehplodor
    Ehplodor Nouveau WRInaute
    Inscrit:
    11 Mars 2019
    Messages:
    25
    J'aime reçus:
    2
    Slt,

    Le problème est essentiellement du à une mauvaise méthode de développement.
    Les stock, on les gère depuis la bdd, et la protection n'entre alors plus en ligne de compte.

    Quoiqu'il en soit, pour répondre à la question, il n'y a plus qu'à aller demander la suppression des url indexée via GSC en créant temporairement un compte pour le site .

    Et si cette opération est faite rapidement, il n'y aura aucune conséquence pour le site "officiel".

    Cdt
     
Chargement...
Similar Threads - test indexés malgré Forum Date
Brave, avis et test de la dernière version du navigateur Le café de WebRankInfo 3 Juillet 2020
tests de dosage d'annonces AdSense AdSense 20 Juin 2020
Annonce responsive test 1/B Débuter en référencement 3 Juin 2020
Test : domaine racheté et backlinks morts 10 ans Netlinking, backlinks, liens et redirections 18 Mai 2020
En test : affichage des informations de licence dans Google Images YouTube, Google Images et Google Maps 28 Février 2020
Nouvel Edge dispo, un browser de moins à tester ! Développement d'un site Web ou d'une appli mobile 16 Janvier 2020
Cobaye pour tester vitesse site Problèmes de référencement spécifiques à vos sites 10 Janvier 2020
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Vos retour sur Adfly et Shortest ? Monétisation d'un site web 20 Novembre 2019
Testeur Neilpatel : nb de visites TRES différent de Google Analytics Référencement Google 18 Novembre 2019