Crawler sessions

Bonjour,

J'ai remarqué que les robots de dir.com Fastsearch, microsoft
Me crawler les pages avec des sessions
h**p://www.vos-petites-annonces.com/vente_rubrique.php?parent=165
h**p://www.vos-petites-annonces.com/vente_rubrique.php?parent=166

Ces pages ne donnent a rien si l'ont n'est pas identifier mais sur la page pour se logger

a quoi bon les crawlers
y a t il un risque quelqonque ?

Nouveau WRInaute Inscrit le: 24 Jan 2003 Messages: 20

"a quoi bon les crawler" -> rien ne permet d'identifier ce type d'url comme dépendant d'une session. De plus, des liens vers ces pages existent depuis l'extérieur, elles sont considérées comme des pages "normales".

"y a t il un risque quelqonque ?" -> non non, les pages crawlées sont identiques, elles vont donc être éliminées (du moins pour dir.com), l'idéal étant quand même de dire plus clairement dans le robots.txt que ces pages ne devraient pas être crawlées.

Crawler sessions

A lire dans l'actualité sur WRI :

Autres sujets de discussion :