Robots.txt + sous domaine disallow

MattEc0 · 11 Août 2014

Bonjour

Par avance je m'excuse si ma question peut paraître stupide ou si elle a déjà été résolue, j'ai cherché mais je n'ai rien trouvé !

Voilà j'ai un site : www.site.com (./)

Et un sous domaine truc.site.com (./Truc)

Le sous domaine est à la racine du site dans /Truc

Si dans le robots.txt du site je mets : Disallow: /Truc/ et que dans celui du sous domaine je mets : Allow: /

Est-ce que les robots tel que Google font la différence et comprenne bien qu'ils peuvent référencer mon sous domaine ?

Mon soucis est que j'ai parfois des 404 car google va quand même sur www.site.com/Truc/machin.html en même temps qu'il va sur truc.site.com/machin.html

J'ai déjà joué avec le canonical et un peu avec les redirect permanent mais j'aimerai savoir si je peux appliquer un disallow dans ma racine sans affecter le allow dans le sous domaine en question ?

(pouah c'est du chinois, j'espère qu'on s'est compris !)

Merci 100 fois par avance ! Cdt.

Amauri · 11 Août 2014

Tu ne devrais pas autoriser le répertoire Truc pour le domaine www.example.com
Tu es sur un serveur dédié ou un mutu ?

MattEc0 · 11 Août 2014

Je suis sur un serveur pour notamment du CRON et autre mais j'ai très peu de connaissances en linux et prog serv !

Le but vous l'aurez compris est de bloquer /truc sans bloquer truc.site.com !

Amauri · 11 Août 2014

Dans ce cas, dans le vhost du site (si tu utilise un serveur Apache2), il faut ajouter quelque chose du genre :
Code:
<Directory "/chemin/vers/truc/">
order deny,allow
deny from all
</Directory>

Similar Threads - Robots domaine disallow	Forum	Date
Empêcher l'indexation avec robots.txt d'un sous domaine (version mobile)	Administration d'un site Web	6 Mars 2013
Robots.txt et sous-domaine	Débuter en référencement	20 Février 2013
Robots.txt et son domaine d'application	Débuter en référencement	29 Février 2012
Robots.txt pour un sous-domaine	Débuter en référencement	15 Janvier 2012
Un hébergement, plusieurs domaines et le robots.txt	Problèmes de référencement spécifiques à vos sites	13 Octobre 2010
Permutation nom de domaine et perte de classement (+ robots.txt)	Crawl et indexation Google, sitemaps	25 Septembre 2009
Suppression sous domaine avec robots.txt	Crawl et indexation Google, sitemaps	14 Novembre 2006
2 noms de domaines et les fichiers robots.txt ?	Débuter en référencement	13 Septembre 2006
robots txt et sousdomaine	Crawl et indexation Google, sitemaps	12 Septembre 2005
domaine en .com redirection et robots	Administration d'un site Web	26 Août 2005
Ou mettre le Robots.txt pour un sous domaine ?	Problèmes de référencement spécifiques à vos sites	19 Juin 2005
Probleme de robots.txt sur sous domaine : google index !	Administration d'un site Web	15 Mai 2005
Robots.txt sur forum en sous domaine, j'ai bon ?	Administration d'un site Web	9 Mai 2005
Pas de fichier robots.txt pour le domaine	Débuter en référencement	24 Avril 2005
Fichier robots.txt dans un sous domaine : éclaircissement	Problèmes de référencement spécifiques à vos sites	28 Mars 2005
Robots.txt et sous domaine	Crawl et indexation Google, sitemaps	30 Juillet 2003
Pourquoi ne pas utiliser le robots.txt pour interdire l'indexation ?	Débuter en référencement	14 Avril 2022
canonical et robots=index sur une même page	Débuter en référencement	7 Décembre 2021
le noindex dans le robots.txt	Débuter en référencement	19 Novembre 2021
suppression des pages bloquées par robots.txt	Débuter en référencement	18 Octobre 2021