Page indéxé malgré un Disallow

Discussion dans 'Référencement Google' créé par allan62340, 4 Novembre 2011.

  1. allan62340
    allan62340 WRInaute discret
    Inscrit:
    10 Avril 2011
    Messages:
    245
    J'aime reçus:
    0
    Bonjour,

    Je travaille dans une agence de référencement et ce matin surprise !
    Nous travaillons sur des projets clients et nous les stockons dans un répertoire http://monagence/clients/...

    Dans le robot.txt de mon agence nous avons mis en place un
    Disallow: /clients/*

    Or ce matin en lançant une requête sur Google, je trouve indéxé des url
    http://monagence/clients/monclient

    Comment faire pour résoudre ce soucis ?

    Bien cordialement
    Allan
     
  2. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 974
    J'aime reçus:
    121
    Un site de dev ne doit pas être accessible aussi simplement, robots.txt ou pas. Protection htaccess, serveur local, bref les moyens de manquent pourtant pas pour éviter ce genre de choses.
     
  3. allan62340
    allan62340 WRInaute discret
    Inscrit:
    10 Avril 2011
    Messages:
    245
    J'aime reçus:
    0
    Nos sites clients sont protégés par un .htaccess mais le soucis est l'indexation des pages. même si elles sont inaccessibles c'est assez génant
     
  4. UsagiYojimbo
    UsagiYojimbo WRInaute accro
    Inscrit:
    23 Novembre 2005
    Messages:
    11 974
    J'aime reçus:
    121
    Si le bot a pu passer et indexer les pages, c'est bien la preuve que la protection .htaccess ne fonctionne pas, non ?
     
  5. erestrebian
    erestrebian WRInaute occasionnel
    Inscrit:
    15 Juin 2007
    Messages:
    411
    J'aime reçus:
    0
    Et qu'elles doivent être accessibles à beaucoup de gens...
     
  6. soldiez
    soldiez WRInaute discret
    Inscrit:
    7 Février 2009
    Messages:
    191
    J'aime reçus:
    0
    il suffit que tu fasses un lien vers /client/fichier.xxx depuis une page indexée dans les moteurs de recherche et hop, les crawler passent au dessus de ton fichier robot. il faudrait au minima quand on fait ça mettre du nofollow sur l'ensemble de ton contenu dans ce répertoire...
     
  7. forty
    forty WRInaute passionné
    Inscrit:
    30 Octobre 2008
    Messages:
    1 901
    J'aime reçus:
    0
    c'est robots.txt pas robot.txt

    c'est sur qu'il vaut mieux une protection par htpassword
     
Chargement...
Similar Threads - indéxé malgré Disallow Forum Date
Sites de test indexés malgré Disallow dans robots.txt Crawl et indexation Google, sitemaps 7 Juin 2019
Search Console Indexée malgré le blocage dans robots.txt Crawl et indexation Google, sitemaps 26 Février 2020
Message console "Indexée malgré blocage robot.txt" Crawl et indexation Google, sitemaps 4 Août 2019
Anciennes URLs toujours indexées malgré 301 Netlinking, backlinks, liens et redirections 24 Février 2019
Page indexée malgré canonical Crawl et indexation Google, sitemaps 20 Février 2019
"Indexée malgré le blocage par le fichier robots.txt" Que faire si ce message ? Crawl et indexation Google, sitemaps 12 Février 2019
Indexée malgré le blocage par le fichier robots.txt Débuter en référencement 5 Décembre 2018
pages indexées malgré la balise no-index Crawl et indexation Google, sitemaps 6 Novembre 2018
indexé malgré robots.txt Débuter en référencement 3 Novembre 2018
Liens indexés par Google malgré une redirection 301 Crawl et indexation Google, sitemaps 9 Janvier 2017
Google se met à indexer mes sites "alias" malgré des redirections 301 ! Au secours Crawl et indexation Google, sitemaps 20 Mai 2014
Page indexée malgré redirection 301 Crawl et indexation Google, sitemaps 21 Mars 2014
Page recherche.php indexée. malgré le noindex ? Problèmes de référencement spécifiques à vos sites 30 Octobre 2011
pas indexe malgre les redirections new.fr Débuter en référencement 11 Décembre 2008
site indexé en .net et .fr malgré une redirection Débuter en référencement 18 Juin 2008
Pages del.icio.us indéxés ? malgres le noindex Crawl et indexation Google, sitemaps 15 Novembre 2006
Google indexe en https au lieu de http Débuter en référencement Dimanche à 12:01
Site non indexé par Google Problèmes de référencement spécifiques à vos sites 21 Juin 2022
Nom de domain et page indéxé Noms de domaine et référencement 8 Juin 2022
Cette URL n'a pas été indexée par Google Débuter en référencement 18 Mai 2022