la balise meta robots est-elle vraiment reconnue ?

bonjour,

j'ai une balise <meta name="robots" content="index,follow"> dans la section head de chacune de mes pages et j'ai aussi codé un script php qui me permet de suivre le parcours des robots qui visitent mon site.

et je me suis apercu que googlebot et slurp ne visitaient que la page index.php sans suivre les liens.

comment peut on expliquer ca ?

d'avance je precise qu'il n'y a pas d'identifiant de session collé pour chaque lien (j'ai entendu dire que le googlebot n'indexait plus les pages avec des identifiants de session) puisque quand un bot est reconnu, la session ne demarre pas.

FB - http://www.msnblockchecker.net

Bonjour fbparis,

Il est totalement inutile d'autoriser le robot à visiter tes pages. L'emploi de cette balise n'a de sens que quand tu veux interdire l'indexation ou le suivi des liens.

Le robot ne visite pas tes pages "à ta demande", mais quand il en a envie... Wink

Le comportement que tu décris est classique. Le robot fera quelques visites de ta page d'accueil avant d'approfondir... Patience, patience...

Jean-Luc

merci c'est exactement ce que je voulais savoir Smile

la balise meta robots est-elle vraiment reconnue ?

A lire dans l'actualité sur WRI :

Autres sujets de discussion :