Robots.txt

[cosmixi]

Dans un robots.txt si on ne veut pas qu'un dossier soit suivi par le spider, les liens externes des pages contenus dans ce dossier sont ils suivis ?

 

[keroin]

bah non ???
Si tu bloques le robots il n'a pas acces à ces liens...

 

[dmathieu]

Le robots.txt empeche non pas seulement l'indexation de la page, mais également son crawl.
En conséquent, le robot ne passera même pas sur tes pages.

Dur de suivre des liens sans lire le contenu de la page

 

[cosmixi]

D'accord donc meme si je faisais un liens vers des pages du dossier (internes ou externes) elle ne serais pas crawlés.
C'est bien ca ?

 

[Leonick]

du moins par les moteurs qui tiennent compte du robots.txt :lol:

 

[cosmixi]

Okay donc si je creer dans un dossier sur un sujet totalement different de la thematque de me site , que je dossier je l'interdit pas un robots.txt il y a aucune chance qu'on le retrouve indexé ?

 

[jeanluc]

Okay donc si je creer dans un dossier sur un sujet totalement different de la thematque de me site , que je dossier je l'interdit pas un robots.txt il y a aucune chance qu'on le retrouve indexé ?

robots.txt interdit aux robots de crawler (= lire) les pages indiquées. En soi, il n'interdit pas à un moteur de recherche d'indexer les pages en question.

Comment un moteur de recherche peut indexer une page qu'il ne peut pas lire car interdite par robots.txt ?

Il arrive (rarement, mais cela arrive) qu'un moteur indexe une page dont il ne connaît pas le contenu uniquement sur base des liens qui pointent vers cette page. En se basant sur le nombre et la qualité de ces liens et sur le texte de ceux-ci (anchor text), le moteur peut faire apparaître la page dans les résultats de recherche.

Jean-Luc

 

[cosmixi]

Merci jeanluc ! =)