Robots.txt et site multilingue

[hiha]

bonjour,

j'ai deux sites pour chaque version linguistique et les deux sont hebergées sous le meme serveur , mon probleme est que les pages des 2 versions linguistiques sont indexées par les deux noms de domaine, je voudrai utilisé le robots.txt pour bloquer le contenu qui ne correspond pas a la version linguistique correcte

comment je peux creer 2 robots.txt pour deux noms de domaine qui sont hebergé sous le meme serveur (du coup les deux noms de domaine vont lire le meme fichier robots.txt et donc impossible de creer 2 fichiers robots.txt avec deux contenus differents...)

Merci de votre aide !!!

 

[5_legs]

Bonjour,

Ton ou tes fichiers robots.txt vont juste dire aux robots "Bonjour Le Robot, inutile de crawler ces pages" mais pas de ne pas les inscrire dans l'index

Il est préférable d'utiliser

<meta name="robots" content="noindex" />

Méta que tu peux inscrire ou pas dans ta page via ton script en fonction du domaine

 

[jcaron]

Pas d'accord... Le robots.txt signifie "les robots désignés n'ont pas le droit de crawler ces pages et donc de les indexer". C'est clairement une interdiction, pas un vague conseil.

Et la solution simple consiste à générer le robots.txt avec un script (php par exemple) qui va se passer sur le serveur concerné ($_SERVER["HTTP_HOST"] en php), l'association de robots.txt avec ce script pouvant être fait avec une RewriteRule ou un ScriptAlias par exemple.

Jacques.

 

[5_legs]

Pas d'accord... Le robots.txt signifie "les robots désignés n'ont pas le droit de crawler ces pages et donc de les indexer". C'est clairement une interdiction, pas un vague conseil.

Soit alors je me suis mal exprimé en voulant faire de l'humour : certes c'est bien une "interdiction" de crawl mais nullement une garantie de non indexation.

Je maintiens que la façon la plus certaine est l'utilisation des balises meta.

 

[jcaron]

Pour ma part je continue à penser qu'un robots.txt est plus efficace qu'un meta robots...

Jacques.

 

[jeanluc]

comment je peux creer 2 robots.txt pour deux noms de domaine qui sont hebergé sous le meme serveur (du coup les deux noms de domaine vont lire le meme fichier robots.txt et donc impossible de creer 2 fichiers robots.txt avec deux contenus differents...)

D'habitude, quand on héberge deux sites sur un serveur, on place le site A dans le répertoire /abc et le site B dans le répertoire /xyz (ce sont des exemples). Dans ce cas, pour le site A, le fichier index.php sera en /abc/index.php et le fichier robots.txt sera en /abc/robots.txt, tandis que pour le site B, le fichier index.php sera en /xyz/index.php et le fichier robots.txt sera en /xyz/robots.txt. Si tu as procédé ainsi, il n'y a aucun conflit entre les deux sites.

Jean-Luc

 

[FloBaoti]

Pas d'accord... Le robots.txt signifie "les robots désignés n'ont pas le droit de crawler ces pages et donc de les indexer". C'est clairement une interdiction, pas un vague conseil.

Soit alors je me suis mal exprimé en voulant faire de l'humour : certes c'est bien une "interdiction" de crawl mais nullement une garantie de non indexation.

Je maintiens que la façon la plus certaine est l'utilisation des balises meta.

Je ne vois pas du tout en quoi c'est "la façon la plus certaine".
Pour le robot qui veut respecter le standard, c'est identique. Pour celui qui ne veut rien respecter, ça ne changera rien.

 

[5_legs]

Parce que, parlons de Google, les consignes renseignées dans le robots.txt ne l'empêche pas toujours d'indexer la page et que, toujours s'agissant de Google, je n'ai pas trouvé de cas où cela s'est produit avec la balise.

 

[hiha]

Merci a tous pour votre aide !

 

[Personne75]

Et la solution simple consiste à générer le robots.txt avec un script (php par exemple) qui va se passer sur le serveur concerné ($_SERVER["HTTP_HOST"] en php), l'association de robots.txt avec ce script pouvant être fait avec une RewriteRule ou un ScriptAlias par exemple.

Puis-je avoir plus de détails sur cette technique ?

En ce qui concerne le robots.txt, je suis totalement d'accord avec 5_legs