Robots.txt multiples

[bitalyze]

Bonjour
J'ai un hébergement professionnel pour mon domaine principal (disons 'mondomaine.net'...) qui me laisse assez d'espace disque pour y caser une demi-douzaine d'autres domaines indépendants - p. ex. 'sondomaine.org', 'leurdomaine.com' etc.
La facilité de redirection transparente de mon registrar (dans un i-frame) me permet de pointer 'www.sondomaine.org' sur 'www.mondomaine.net/sondomaine/index.htm' sans que le visiteur lambda ne se rende compte de rien.
Il y a un 'robots.txt' dans le répertoire racine et j'ai fait des expériences avec d'autres dans les sous-répertoires. Cependant compte tenu des comportements différents et parfois aléatoires de certains robots je n'ai pas pu déterminer avec précision les résultats.
D'abord, est-ce que ça peut marcher? - ou est-ce que les robots ne liront que le premier encontré dans le répertoire racine et je devrais me contenter de balises <meta> dans chaque fichier 'index' concerné dans les sous-répertoires?
Merci de vos lumières
Cordialement

PS - la raison est que je veux bien que certains domaines soit référencés le plus que possible, mais les compteurs d'autres petits sont complètement noyés par (en particulier) msnbot, qui est devenu une véritable plaie.

 

[WebRankInfo]

cette redirection transparente est tout sauf une redirection
si tu as plusieurs sites, il faut les héberger chacun avec son nom de domaine, pas avec des iframes ou frames de ce type

 

[bitalyze]

si tu as plusieurs sites, il faut les héberger chacun avec son nom de domaine, pas avec des iframes ou frames de ce type

Pourquoi? J'ai utilisé ce système qui a toujours fonctionné parfaitement sans aucun inconvénient depuis plus de 12 ans.
Il convient parfaitement pour quelqu'un qui veut un hébergement de qualité professionnel sans payer un tarif excessif tout en utilisant son propre nom de domaine et non pas un truc de home pages amateur chez Machin.

Si queqlu'un a une réponse en rapport avec la question je serais reconnaissant.

 

[WebRankInfo]

si les pages sont affichées dans une frame, quelle est l'URL réelle ? je suppose qu'en réalité ces "sites" ne sont pas hébergés sur leur nom de domaine.

ma réponse était "en rapport avec la question"... même si elle ne semble pas t'avoir plu.

quelques précisions :

La facilité de redirection transparente de mon registrar (dans un i-frame) me permet de pointer 'www.sondomaine.org' sur 'www.mondomaine.net/sondomaine/index.htm' sans que le visiteur lambda ne se rende compte de rien.

=> donc le site sondomaine.org n'a aucune page indexable sur son propre nom de domaine, ce qui n'est pas une chose sérieuse d'un point de vue référencement

Il y a un 'robots.txt' dans le répertoire racine et j'ai fait des expériences avec d'autres dans les sous-répertoires.

un fichier robots.txt ne peut se mettre qu'à la racine (de chaque sous-domaine).
ceux dans les sous-répertoires ne seront donc jamais pris en compte

peut-être qu'on pourrait mieux t'aider si tu fournissais des exemples d'URL

 

[bitalyze]

Salut et merci pour ta réponse plus détaillée.

si les pages sont affichées dans une frame, quelle est l'URL réelle ?

L'URL réelle est du genre que j'ai cité dans ma première question:
'www.mondomaine.net/sondomaine/index.htm'

C'est mon registrar qui se charge d'afficher cette page dans un iframe quand on saisit 'www.sondomaine.org' - et cela avec le <title> qu'on peut définir soi-même. C'est impeccable. Les seuls 'inconvénients' (mineurs) sont que
- le <title> reste toujours le même
- l'URL affiché dans la barre d'adresse est toujours celui de la racine du domaine ('www.sondomaine.org' ): donc on ne peut pas accéder directement à une page dans la hierarchie (mais de toute façon c'est quelque chose que je n'encourage pas pour diverses raisons).

Le seul problème est cette histoire de 'robots.txt' - mais ça ne me dérange pas non plus puisque je peux utiliser des balises <meta>. Je voulais simplement confirmation que les robots ne vont pas lire les 'robots.txt' dans des sous-répertoires même s'ils y tombent à la suite de la 'redirection' (appelles-la comme tu veux).

Cordialement

 

[zeb]

Juste une question hors sujet .... tu te moque complètement que tes sites soit visibles ou pas ?

 

[bitalyze]

Juste une question hors sujet .... tu te moque complètement que tes sites soit visibles ou pas ?

Excellente question!!!
Je gère actuellement 8 sites.
Parmi eux:
- 2 ont quelque chose à vendre: je souhaite qu'il soient bien référencés (et ils le sont déjà...)
- 1 est en cours et aura quelque chose à vendre : idem
- 2 sont des sites d'informations avec des messages à passer à leurs adeptes: je m'en fous qu'il y'en ait plus ou pas
- 1 est en cours et sera comme ceux ci-dessus
- 1 est destiné uniquement à des visiteurs choisis: je ne cherche pas particulièrement à ce qu'il y en ait d'autres (mais ça ne me dérange pas non plus)
- 1 est plutôt personnel (quoique pas confidentiel) et ça me fait chier qu'il soit envahi par des robots.

A propos - je ne maintiens aucun blog et je ne participe à aucun réseau (anti-)social.

 

[zeb]

ça implique donc une petite réflexion qui impacte ta question d'origine sur les robots.txt donc ...
Je m'explique :
Les redirections de domaine type iframe marchent très bien pas de souci en revanche elle présentent de très nombreux désavantage en terme de visibilité.
Ton site est vue a travers "un genre d'écran transparent" (l'iframe comme dit et vu plus haut) avec les inconvénients que tu donne toi même genre une url pour toutes les pages, url "sales" pour les pages internes hors iframe etc ...
Bref les moteurs voient "un gros site" du genre "www.mondomaine.net/sondomaine/index.htm" et nom pas "www.example1.com", "www.example2.com" etc ...
Il en va de même pour les pages qui sont du genre "www.mondomaine.net/sondomaine/page-truc.htm" ou "www.mondomaine.net/sondomaine/page-machin.htm".

Bref tu perd toutes les optimisation possibles au niveau de la qualité des urls (a la limite passe encore) mais surtout tu perd le bénéfice d'avoir plusieurs domaines car tout est vue comme un seul site par les moteurs et ça c'est beaucoup plus gênant.
J'ajoute que les titres des pages sont les mêmes partout (comme tu le souligne) et ça c'est clairement un gros souci quand on se penche sur le référencement de façon un minimum pointue.

Il existe pourtant des possibilité d'avoir X site de X domaines distincts très facilement sans sans avoir recours aux iframes pour la redirection des domaines. Le prix des domaines n'interviens pas en revanche celui de l'hébergement oui mais des solutions pas trop chères existent et font vite oublier la différence si tu as un besoin commercial sur tes sites.

Je me permet cette remarque car sous la question du robots.txt il y a tout un choix technologique qui impacte tout et pas seulement ta question de base.

Après historiquement parlant, il y a 12 ans, ce genre de solutions étaient plus répandues, mais là la visibilité web a beaucoup évoluée et cette solution te bloque énormément dans ta démarche, tu devrais la réserver (pour sa possible simplicité) a des sites n'ayant pas d'importance. Mais si tu vend un changement s'impose a mon avis.
Je ne connais pas ton registrar mais il est aussi possible qu'un simple paramétrage te permette de faire pointer tes domaines sur un dossier physique précis ... ça n'impacte pas forcement toute ta structure de façon profonde. Auquel cas tu pourra disposer d'un robots.txt distinct pour chaque domaine.

 

[WebRankInfo]

peut-être qu'il va finir par se rendre compte qu'on lui donne des bons conseils et que serait utile de les suivre ?