Robots.txt et sous domaine

Discussion dans 'Crawl et indexation Google, sitemaps' créé par StuWee, 30 Juillet 2003.

  1. StuWee
    StuWee WRInaute discret
    Inscrit:
    26 Juin 2003
    Messages:
    90
    J'aime reçus:
    0
    petite question concerant les Robots.txt

    sur mon site j'ai créer des sous-domaines
    h*ttp://members.site.com/

    or sur l'hebergement, les fichiers sont aussi accessible sous l'url
    h*ttp://www.site.com/members/

    pour eviter d'avoir le meme contenu indexer sous 2 url differentes, j'ai mit un robots.txt a l'url h*ttp://www.site.com/robots.txt interdisant aux moteurs d'indexer le repertoire members

    d'aprés moi non, mais mieux vaut poser la question et etre sur
    cela ne va pas nuire a l'indexation des sous domaines ?
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 584
    J'aime reçus:
    423
    le répertoire /members est-il accessible également en direct ? si oui, il ne faut pas l'interdire dans le robots.txt
    sans doute que d'autres ont l'expérience là-dessus
     
  3. olivierb
    olivierb WRInaute discret
    Inscrit:
    11 Juillet 2003
    Messages:
    89
    J'aime reçus:
    0
  4. StuWee
    StuWee WRInaute discret
    Inscrit:
    26 Juin 2003
    Messages:
    90
    J'aime reçus:
    0
    wri>oui

    une page index.htm par exemple et accessible depuis http://members.site.com et en meme temps sur http://www.site.com/members

    je ne veut pas voir indexer tout ce ki se trouve dans le rep members sous l'url site.com/members, mais members.site.com,, donc logik je l'interdit dans le robot.
    par contre le robot ne va (je l'espère d'ou ma question) etre compter dans l'indexation du sous-domaine
     
  5. Remi L.
    Remi L. WRInaute impliqué
    Inscrit:
    6 Septembre 2003
    Messages:
    909
    J'aime reçus:
    0
    Dans le mesure où il s'agit de vrais sous-domaines, c'est à dire où www.domaine.com/sous-domaine/ est accessible par www.sous-domaine.com
    J'aurais tendance à mettre un robots.txt à la racine de chaque .com et de ne rien mettre de particulier dans le robots.txt de domaine.com.

    Comme un robot ne peut avoir connaissance de la présence de sous-répertoires, il me paraît inutile de lui signaler qu'il y en a et qu'il ne doit pas y aller...
    non... ?

    Remi
     
Chargement...
Similar Threads - Robots domaine Forum Date
Robots.txt + sous domaine disallow Débuter en référencement 11 Août 2014
Empêcher l'indexation avec robots.txt d'un sous domaine (version mobile) Administration d'un site Web 6 Mars 2013
Robots.txt et sous-domaine Débuter en référencement 20 Février 2013
Robots.txt et son domaine d'application Débuter en référencement 29 Février 2012
Robots.txt pour un sous-domaine Débuter en référencement 15 Janvier 2012
Un hébergement, plusieurs domaines et le robots.txt Problèmes de référencement spécifiques à vos sites 13 Octobre 2010
Permutation nom de domaine et perte de classement (+ robots.txt) Crawl et indexation Google, sitemaps 25 Septembre 2009
lien variable à bloquer sur robots Développement d'un site Web ou d'une appli mobile 3 Mai 2020
Urls orphelines crawlées par Google + Robots.txt ? Crawl et indexation Google, sitemaps 3 Avril 2020
Robots.txt du site Kayak Débuter en référencement 11 Mars 2020
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice