Robots.txt + sous domaine disallow

MattEc0 · 11 Août 2014

Bonjour

Par avance je m'excuse si ma question peut paraître stupide ou si elle a déjà été résolue, j'ai cherché mais je n'ai rien trouvé !

Voilà j'ai un site : www.site.com (./)

Et un sous domaine truc.site.com (./Truc)

Le sous domaine est à la racine du site dans /Truc

Si dans le robots.txt du site je mets : Disallow: /Truc/ et que dans celui du sous domaine je mets : Allow: /

Est-ce que les robots tel que Google font la différence et comprenne bien qu'ils peuvent référencer mon sous domaine ?

Mon soucis est que j'ai parfois des 404 car google va quand même sur www.site.com/Truc/machin.html en même temps qu'il va sur truc.site.com/machin.html

J'ai déjà joué avec le canonical et un peu avec les redirect permanent mais j'aimerai savoir si je peux appliquer un disallow dans ma racine sans affecter le allow dans le sous domaine en question ?

(pouah c'est du chinois, j'espère qu'on s'est compris !)

Merci 100 fois par avance ! Cdt.

Amauri · 11 Août 2014

Tu ne devrais pas autoriser le répertoire Truc pour le domaine www.example.com
Tu es sur un serveur dédié ou un mutu ?

MattEc0 · 11 Août 2014

Je suis sur un serveur pour notamment du CRON et autre mais j'ai très peu de connaissances en linux et prog serv !

Le but vous l'aurez compris est de bloquer /truc sans bloquer truc.site.com !

Amauri · 11 Août 2014

Dans ce cas, dans le vhost du site (si tu utilise un serveur Apache2), il faut ajouter quelque chose du genre :
Code:
<Directory "/chemin/vers/truc/">
order deny,allow
deny from all
</Directory>

Similar Threads - Robots domaine disallow	Forum	Date
Empêcher l'indexation avec robots.txt d'un sous domaine (version mobile)	Administration d'un site Web	6 Mars 2013
Robots.txt et sous-domaine	Débuter en référencement	20 Février 2013
Robots.txt et son domaine d'application	Débuter en référencement	29 Février 2012
Robots.txt pour un sous-domaine	Débuter en référencement	15 Janvier 2012
Un hébergement, plusieurs domaines et le robots.txt	Problèmes de référencement spécifiques à vos sites	13 Octobre 2010
Permutation nom de domaine et perte de classement (+ robots.txt)	Crawl et indexation Google, sitemaps	25 Septembre 2009
Search Console Prestashop \| Robot.txt bloque des URL mais Outil de test du fichier robots.txt l'Authorise...	Crawl et indexation Google, sitemaps	21 Novembre 2019
Search Console Images bloquées ... malgré absence de robots.txt	Crawl et indexation Google, sitemaps	31 Octobre 2019
Aide sur le format de mon fichier robots.txt	Crawl et indexation Google, sitemaps	25 Octobre 2019
Problèmes d'indexation et robots.txt	Crawl et indexation Google, sitemaps	14 Octobre 2019