Sites de test indexés malgré Disallow dans robots.txt

Discussion dans 'Crawl et indexation Google, sitemaps' créé par spip93, 7 Juin 2019.

  1. spip93
    spip93 Nouveau WRInaute
    Inscrit:
    29 Novembre 2011
    Messages:
    34
    J'aime reçus:
    1
    Bonjour à tous et à toutes,

    Nous avons plusieurs sites en production sous Prestashop 1.6.1.5 et sous PHP 5.4.
    Nous avons donc décidé de les passer sous Prestashop 1.7.5.1 et sous PHP 7.2.
    Avant de faire le grand saut, et comme nous avons plusieurs modules "maison", nous avons pris un VPS sur lequel j'ai mis les 2 sites sous Presta 1.7.5.1 (avec les produits, les photos de produits, les clients ...) et où j'effectue des tests.
    Comme je ne voulais pas que (entre autre) les robots de Google passent/crawlent/indexent les sites de test, j'avais, dans un premier temps, (après avoir posté un message ici) opté pour une protection par MDP via un fichier htaccess et un fichier htpasswd.

    Problème : un module qui allait chercher des infos sur le 2nd site pour mettre à jour (entre autre) le stock via un webservice, ne pouvait pas se connecter à l'autre site.

    Du coup, j'ai changé de méthode et, comme préconisé sur plusieurs sites, j'ai créé un fichier robots.txt (placé à la racine de chacun des 2 sites test) dans lequel j'ai mis ces deux lignes :
    Code:
    User-agent: *
    Disallow: /
    "Normalement", en mettant ça, les sites tests ne devraient pas être indexés, non ?
    Pourtant, en entrant/cherchant dans Google l'URL d'un des deux sites test, je tombe sur le site test en question. Pourquoi ? Est-ce que c'est normal ? Est-ce grave docteur ? (Et surtout) Quelles sont les conséquences :
    1) Pour le SEO des sites actuellement en production ?
    2) Pour le SEO des sites, aujourd'hui en test, qui passeront en production une fois les tests terminés ?

    Je vous remercie par avance pour votre aide.
    Bonne journée
     
  2. Furtif
    Furtif WRInaute passionné
    Inscrit:
    9 Août 2005
    Messages:
    2 423
    J'aime reçus:
    117
    l'instruction Disallow empêche l'exploration du site mais n'empêche pas l'indexation des répertoires et des pages du domaine. C'est pourquoi même avec un Disallow total, Google peut toujours potentiellement indexer certaines pages du site. Si vous souhaitez également bloquer l'indexation, vous pouvez utiliser la balise meta robots.
    si vous voulez être certain de bloquer la totalité du site, vous pouvez également implémenter une authentification via le fichier htaccess
     
  3. Ehplodor
    Ehplodor Nouveau WRInaute
    Inscrit:
    11 Mars 2019
    Messages:
    24
    J'aime reçus:
    2
    Slt,

    Le problème est essentiellement du à une mauvaise méthode de développement.
    Les stock, on les gère depuis la bdd, et la protection n'entre alors plus en ligne de compte.

    Quoiqu'il en soit, pour répondre à la question, il n'y a plus qu'à aller demander la suppression des url indexée via GSC en créant temporairement un compte pour le site .

    Et si cette opération est faite rapidement, il n'y aura aucune conséquence pour le site "officiel".

    Cdt
     
Chargement...
Similar Threads - test indexés malgré Forum Date
Tester si une redirection web a été faite Développement d'un site Web ou d'une appli mobile 8 Juillet 2019
Qui a testé https://g-suggest.com/ ? Débuter en référencement 17 Avril 2019
Test du Marketplace de Facebook Facebook 9 Février 2019
Que veut dire ?critical_test=1 Google Analytics 5 Février 2019
Quel outil fiable pour tester la vitesse du site? Référencement Google 2 Février 2019
WordPress Tester si le post type est dans la taxonomie X Développement d'un site Web ou d'une appli mobile 28 Janvier 2019
Tests nov. 2018 : plusieurs liens vers même page, liens JS, contenu caché Techniques avancées de référencement 29 Novembre 2018
Fonction test cookie et référencement Crawl et indexation Google, sitemaps 11 Novembre 2018
test d'optimisation mobile : Page partiellement chargée Crawl et indexation Google, sitemaps 30 Octobre 2018
Comment Google traite l'A/B testing sur Landing Pages ? Référencement Google 22 Octobre 2018
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice