Impact des crawlers sur le taux de rebond et le référencement

[Sanah]

Bonjour,

J'ai constaté il y quelques jours que le taux de rebond sur les utilisateurs d'IE9 de mon forum ( xenforo ) était de 98%, énorme.
Après avoir fait quelques recherches et tests j'ai trouvé que ce taux de rebond était dû a des bots comme
Mediapartners-Google, AhrefsBot, weborama-fetcher, ect ... qui essaient de crawler des pages inaccessible si non connecté et sont donc prié de ce connecter. Ces pages sont en noindex.

Je n'arrive pas à solutionner ce problème.

 

[Jeanne5]

Ignorer IE9 dans les stats.

 

[Sanah]

Merci,
est ce que Google les ignore où est-ce négatif pour mon referencement?

 

[WebRankInfo]

• si les pages concernées peuvent être bloquées dans le robots.txt, fais-le
• tous ces robots ne sont pas comparables, il faut faire au cas par cas. Mediapartners concerne AdSense par exemple
• pourquoi cela aurait-il un impact SEO ?

 

[Sanah]

Merci,

les urls des pages sont de ce type:

site.com/threads/titre de la page.123456/

Il me semble que je ne puisse pas les bloquer sans dépasser la limite du robots.txt.

Je me demandais si le fait d'avoir un taux de rebonds dû au crawler était normal où si l'algo google considérait ça comme un mauvais point ?

 

[WebRankInfo]

Est-ce normal sur les pages publiques de faire des liens que seuls ceux qui se connectent peuvent consulter ? Si c'est tout un sous-forum qui est réservé aux membres, fais en sorte qu'il ne soit pas du tout public afin que les crawlers n'essaient pas de consulter les topics concernés.

Comment Google pourrait-il connaître le taux de rebond ? (lecture conseillée : taux de rebond et algo Google)
Pourquoi devrait-il tenir compte d'un taux de rebond calculé en incluant les crawlers ?

 

[Sanah]

Merci, je comprends pour le taux de rebond.
il y a en effet quelques uns de mes sous-forums qui ne sont pas public, les sujets présents dans ces sous-forums ne sont pas visible pour les non connectes.
Ce que je ne comprends pas c'est comment puis je rendre ces sous-forums non consultable par les crawlers ?

 

[WebRankInfo]

il faut configurer les propriétés des forums concernés et vérifier qu'un visiteur non connecté ne les voit pas du tout

 

[Sanah]

Merci, il me semble l'avoir fait mais j'ai du mal le faire. Actuellement les visiteurs non connectés voient le forum de cette façon.

 

[Digit]

Les crawlers qui tentent d'accéder à des pages nécessitant de se connecter sont pour la majeure partie liés à l'affichage de publicités dans la partie privée. Ils tentent de lire la page pour catégoriser son contenu et ainsi présenter les annonces les + adaptées. Ce sont principalement des bots marketing. D'une façon générale il n'est pas recommandé de blacklister ces bots car ils augmentent le click ratio : des annonces + pertinentes génèrent + de clicks dans celles-ci.
Aucune incidence cependant sur le SEO