1. ⭐⭐⭐ Grosse PROMO en cours sur ma plateforme SEO My Ranking Metrics
    Rejeter la notice

Robots.txt et sous domaine

Discussion dans 'Crawl et indexation Google, sitemaps' créé par StuWee, 30 Juillet 2003.

  1. StuWee
    StuWee WRInaute discret
    Inscrit:
    26 Juin 2003
    Messages:
    90
    J'aime reçus:
    0
    petite question concerant les Robots.txt

    sur mon site j'ai créer des sous-domaines
    h*ttp://members.site.com/

    or sur l'hebergement, les fichiers sont aussi accessible sous l'url
    h*ttp://www.site.com/members/

    pour eviter d'avoir le meme contenu indexer sous 2 url differentes, j'ai mit un robots.txt a l'url h*ttp://www.site.com/robots.txt interdisant aux moteurs d'indexer le repertoire members

    d'aprés moi non, mais mieux vaut poser la question et etre sur
    cela ne va pas nuire a l'indexation des sous domaines ?
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 033
    J'aime reçus:
    316
    le répertoire /members est-il accessible également en direct ? si oui, il ne faut pas l'interdire dans le robots.txt
    sans doute que d'autres ont l'expérience là-dessus
     
  3. olivierb
    olivierb WRInaute discret
    Inscrit:
    11 Juillet 2003
    Messages:
    89
    J'aime reçus:
    0
  4. StuWee
    StuWee WRInaute discret
    Inscrit:
    26 Juin 2003
    Messages:
    90
    J'aime reçus:
    0
    wri>oui

    une page index.htm par exemple et accessible depuis http://members.site.com et en meme temps sur http://www.site.com/members

    je ne veut pas voir indexer tout ce ki se trouve dans le rep members sous l'url site.com/members, mais members.site.com,, donc logik je l'interdit dans le robot.
    par contre le robot ne va (je l'espère d'ou ma question) etre compter dans l'indexation du sous-domaine
     
  5. Remi L.
    Remi L. WRInaute impliqué
    Inscrit:
    6 Septembre 2003
    Messages:
    909
    J'aime reçus:
    0
    Dans le mesure où il s'agit de vrais sous-domaines, c'est à dire où www.domaine.com/sous-domaine/ est accessible par www.sous-domaine.com
    J'aurais tendance à mettre un robots.txt à la racine de chaque .com et de ne rien mettre de particulier dans le robots.txt de domaine.com.

    Comme un robot ne peut avoir connaissance de la présence de sous-répertoires, il me paraît inutile de lui signaler qu'il y en a et qu'il ne doit pas y aller...
    non... ?

    Remi
     
Chargement...
Similar Threads - Robots domaine Forum Date
Robots.txt + sous domaine disallow Débuter en référencement 11 Août 2014
Empêcher l'indexation avec robots.txt d'un sous domaine (version mobile) Administration d'un site Web 6 Mars 2013
Robots.txt et sous-domaine Débuter en référencement 20 Février 2013
Robots.txt et son domaine d'application Débuter en référencement 29 Février 2012
Robots.txt pour un sous-domaine Débuter en référencement 15 Janvier 2012
Un hébergement, plusieurs domaines et le robots.txt Problèmes de référencement spécifiques à vos sites 13 Octobre 2010
Permutation nom de domaine et perte de classement (+ robots.txt) Crawl et indexation Google, sitemaps 25 Septembre 2009
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice