Robots.txt multiples

Discussion dans 'Débuter en référencement' créé par bitalyze, 8 Février 2013.

  1. bitalyze
    bitalyze Nouveau WRInaute
    Inscrit:
    8 Février 2013
    Messages:
    4
    J'aime reçus:
    0
    Bonjour
    J'ai un hébergement professionnel pour mon domaine principal (disons 'mondomaine.net'...) qui me laisse assez d'espace disque pour y caser une demi-douzaine d'autres domaines indépendants - p. ex. 'sondomaine.org', 'leurdomaine.com' etc.
    La facilité de redirection transparente de mon registrar (dans un i-frame) me permet de pointer 'www.sondomaine.org' sur 'www.mondomaine.net/sondomaine/index.htm' sans que le visiteur lambda ne se rende compte de rien.
    Il y a un 'robots.txt' dans le répertoire racine et j'ai fait des expériences avec d'autres dans les sous-répertoires. Cependant compte tenu des comportements différents et parfois aléatoires de certains robots je n'ai pas pu déterminer avec précision les résultats.
    D'abord, est-ce que ça peut marcher? - ou est-ce que les robots ne liront que le premier encontré dans le répertoire racine et je devrais me contenter de balises <meta> dans chaque fichier 'index' concerné dans les sous-répertoires?
    Merci de vos lumières
    Cordialement

    PS - la raison est que je veux bien que certains domaines soit référencés le plus que possible, mais les compteurs d'autres petits sont complètement noyés par (en particulier) msnbot, qui est devenu une véritable plaie.
     
  2. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 335
    J'aime reçus:
    391
    cette redirection transparente est tout sauf une redirection
    si tu as plusieurs sites, il faut les héberger chacun avec son nom de domaine, pas avec des iframes ou frames de ce type
     
  3. bitalyze
    bitalyze Nouveau WRInaute
    Inscrit:
    8 Février 2013
    Messages:
    4
    J'aime reçus:
    0
    Pourquoi? J'ai utilisé ce système qui a toujours fonctionné parfaitement sans aucun inconvénient depuis plus de 12 ans.
    Il convient parfaitement pour quelqu'un qui veut un hébergement de qualité professionnel sans payer un tarif excessif tout en utilisant son propre nom de domaine et non pas un truc de home pages amateur chez Machin.

    Si queqlu'un a une réponse en rapport avec la question je serais reconnaissant.
     
  4. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 335
    J'aime reçus:
    391
    si les pages sont affichées dans une frame, quelle est l'URL réelle ? je suppose qu'en réalité ces "sites" ne sont pas hébergés sur leur nom de domaine.

    ma réponse était "en rapport avec la question"... même si elle ne semble pas t'avoir plu.

    quelques précisions :
    => donc le site sondomaine.org n'a aucune page indexable sur son propre nom de domaine, ce qui n'est pas une chose sérieuse d'un point de vue référencement

    un fichier robots.txt ne peut se mettre qu'à la racine (de chaque sous-domaine).
    ceux dans les sous-répertoires ne seront donc jamais pris en compte

    peut-être qu'on pourrait mieux t'aider si tu fournissais des exemples d'URL
     
  5. bitalyze
    bitalyze Nouveau WRInaute
    Inscrit:
    8 Février 2013
    Messages:
    4
    J'aime reçus:
    0
    Salut et merci pour ta réponse plus détaillée.

    L'URL réelle est du genre que j'ai cité dans ma première question:
    'www.mondomaine.net/sondomaine/index.htm'

    C'est mon registrar qui se charge d'afficher cette page dans un iframe quand on saisit 'www.sondomaine.org' - et cela avec le <title> qu'on peut définir soi-même. C'est impeccable. Les seuls 'inconvénients' (mineurs) sont que
    - le <title> reste toujours le même
    - l'URL affiché dans la barre d'adresse est toujours celui de la racine du domaine ('www.sondomaine.org' ): donc on ne peut pas accéder directement à une page dans la hierarchie (mais de toute façon c'est quelque chose que je n'encourage pas pour diverses raisons).

    Le seul problème est cette histoire de 'robots.txt' - mais ça ne me dérange pas non plus puisque je peux utiliser des balises <meta>. Je voulais simplement confirmation que les robots ne vont pas lire les 'robots.txt' dans des sous-répertoires même s'ils y tombent à la suite de la 'redirection' (appelles-la comme tu veux).

    Cordialement
     
  6. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    Juste une question hors sujet .... tu te moque complètement que tes sites soit visibles ou pas ?
     
  7. bitalyze
    bitalyze Nouveau WRInaute
    Inscrit:
    8 Février 2013
    Messages:
    4
    J'aime reçus:
    0
    Excellente question!!!
    Je gère actuellement 8 sites.
    Parmi eux:
    - 2 ont quelque chose à vendre: je souhaite qu'il soient bien référencés (et ils le sont déjà...)
    - 1 est en cours et aura quelque chose à vendre : idem
    - 2 sont des sites d'informations avec des messages à passer à leurs adeptes: je m'en fous qu'il y'en ait plus ou pas
    - 1 est en cours et sera comme ceux ci-dessus
    - 1 est destiné uniquement à des visiteurs choisis: je ne cherche pas particulièrement à ce qu'il y en ait d'autres (mais ça ne me dérange pas non plus)
    - 1 est plutôt personnel (quoique pas confidentiel) et ça me fait chier qu'il soit envahi par des robots.

    A propos - je ne maintiens aucun blog et je ne participe à aucun réseau (anti-)social.
     
  8. zeb
    zeb WRInaute accro
    Inscrit:
    5 Décembre 2004
    Messages:
    12 192
    J'aime reçus:
    1
    ça implique donc une petite réflexion qui impacte ta question d'origine sur les robots.txt donc ...
    Je m'explique :
    Les redirections de domaine type iframe marchent très bien pas de souci en revanche elle présentent de très nombreux désavantage en terme de visibilité.
    Ton site est vue a travers "un genre d'écran transparent" (l'iframe comme dit et vu plus haut) avec les inconvénients que tu donne toi même genre une url pour toutes les pages, url "sales" pour les pages internes hors iframe etc ...
    Bref les moteurs voient "un gros site" du genre "www.mondomaine.net/sondomaine/index.htm" et nom pas "www.example1.com", "www.example2.com" etc ...
    Il en va de même pour les pages qui sont du genre "www.mondomaine.net/sondomaine/page-truc.htm" ou "www.mondomaine.net/sondomaine/page-machin.htm".

    Bref tu perd toutes les optimisation possibles au niveau de la qualité des urls (a la limite passe encore) mais surtout tu perd le bénéfice d'avoir plusieurs domaines car tout est vue comme un seul site par les moteurs et ça c'est beaucoup plus gênant.
    J'ajoute que les titres des pages sont les mêmes partout (comme tu le souligne) et ça c'est clairement un gros souci quand on se penche sur le référencement de façon un minimum pointue.

    Il existe pourtant des possibilité d'avoir X site de X domaines distincts très facilement sans sans avoir recours aux iframes pour la redirection des domaines. Le prix des domaines n'interviens pas en revanche celui de l'hébergement oui mais des solutions pas trop chères existent et font vite oublier la différence si tu as un besoin commercial sur tes sites.

    Je me permet cette remarque car sous la question du robots.txt il y a tout un choix technologique qui impacte tout et pas seulement ta question de base.

    Après historiquement parlant, il y a 12 ans, ce genre de solutions étaient plus répandues, mais là la visibilité web a beaucoup évoluée et cette solution te bloque énormément dans ta démarche, tu devrais la réserver (pour sa possible simplicité) a des sites n'ayant pas d'importance. Mais si tu vend un changement s'impose a mon avis.
    Je ne connais pas ton registrar mais il est aussi possible qu'un simple paramétrage te permette de faire pointer tes domaines sur un dossier physique précis ... ça n'impacte pas forcement toute ta structure de façon profonde. Auquel cas tu pourra disposer d'un robots.txt distinct pour chaque domaine.
     
  9. WebRankInfo
    WebRankInfo Admin
    Membre du personnel
    Inscrit:
    19 Avril 2002
    Messages:
    19 335
    J'aime reçus:
    391
    peut-être qu'il va finir par se rendre compte qu'on lui donne des bons conseils et que serait utile de les suivre ?
     
Chargement...
Similar Threads - Robots multiples Forum Date
Search Console Prestashop | Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise... Crawl et indexation Google, sitemaps 21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt Crawl et indexation Google, sitemaps 31 Octobre 2019
Aide sur le format de mon fichier robots.txt Crawl et indexation Google, sitemaps 25 Octobre 2019
Problèmes d'indexation et robots.txt Crawl et indexation Google, sitemaps 14 Octobre 2019
Réécriture et robots.txt Débuter en référencement 10 Octobre 2019
Page de test et fichier Robots.txt Crawl et indexation Google, sitemaps 9 Octobre 2019
Robots.txt et test url Crawl et indexation Google, sitemaps 9 Octobre 2019
Page d'accueil non indexée ? Conflit avec robots.txt Crawl et indexation Google, sitemaps 2 Octobre 2019
robots.txt pour site multilangue Crawl et indexation Google, sitemaps 1 Octobre 2019
Indexation malgré le robots.txt Problèmes de référencement spécifiques à vos sites 23 Septembre 2019
  1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies.
    Rejeter la notice