Robots.txt

[atbm]

Bonjour.
Je sais créer un robots.txt. Mais je me pose une question.
Supposons que je veuille ne faire indexer que ma page d'accueil et une page "perso/la_page", en excluant toutes les autres.
Je crée mon robots.txt:
Disallow: /af/
Disallow: /am/
Disallow: /as/
Disallow: /eu/
Disallow: /ile/
Le robot ne va indexer que mon index et "perso/la_page". Mais comme j'ai des liens dans l'index et dans "perso/la_page", que va faire le robot ?
- Suivre ces liens, ou ne pas les suivre, puisque les pages liées sont dans un dossier qui lui est interdit.

Question subsidiaire: le slash / final est-il utile ou pas? La question a déjà été posée ds une autre discussion, et la réponse est ... un lien ... qui ne marche plus. Donc ???

Merci d'avance.
CC

[edit e-kiwi : sujet déplacé]

 

[Serious]

Le comportement est tres dependant du robot.
MSN et Yahoo vont suivre les liens (sauf si tu as mis un rel=NOFOLLOW), Google hesitera.
Une page cachee mais tres populaire (nombreux liens) apparait qd meme

 

[atbm]

Merci.
C'est quoi un rel=nofollow, SVP?
Je suppose que c'est pour empêcher de suivre les liens?
Mais, je le mets où?
Et va-t-il empêcher TOUS les robots de suivre les liens?
Je voulais seulement interdire à MSN de suivre les liens, car il est tous les jours sur mon site, et me provoque des quantitiés astronomiques de hits.
Je l'avais interdit complètement, depuis un moment, mais mon site n'est plus indéxé chez lui. Je voulais donc, lui inerdire la plus grande partie du site, mais pas tout, de façon à limiter les hits.
CC

 

[atbm]

Et à propos du slash final ? Utile ? pas utile ?
CC