Blocage du crawl sur une page que faire ?

[Yvel]

bonjour,

sur le site de mon profil, le crawl gglbot bloque sur une page (carre.html). il passe chaque jour et s'arrete à cette page puis houpppsss s'en va. cette page est toujours en deuxième ligne de crawl donc il ne va pas plus loin.

a noter que j'ai mis un sitemaps.xml.gz qui semble avoir fonctionné il y a 2 semaines puisque le nombre de pages indexées représente la quasi totalité du site.
Mais depuis, blocage sité plus haut.
je modifie mon sitemaps à chaque mise à jour du site.
dans mes log, j'ai chaque jour un get sitemaps avec un code retour 200 qui, si j'ai bien compris, indique que tout est ok pour le sitemaps.

quelqu'un pourrait m'aider à comprendre pourquoi ce blocage sur la page carre.html ?

 

[Startide]

Bien que très jolies, cette page fonctionne à base de javascript, ce qui risque de ne pas inspirer google :/

Essaie un tag <noscript> </noscript> pour placer les liens ?

J'ignores si cela vient de ca, et si noscript peut aider.

Mais je pense que dans la mesure où ton site est bien crawlé, et que spécifiquement cette page ne l'est pas.. c'est qu'il doit y avoir une relation avec ce javascript.

 

[Yvel]

ce qui m'intrigue c'est le fait que le crawl commence systematiquement par cette page carre.html et qu'apres plus rien.
la page carre.html est bien crawlée elle.

ce lien ne figure pas en début de code.
en revanche il figure haut dans l'affichage de la page dans le navigateur.

mais je vais voir du coté du tag /noscript, selon ton conseil

 

[Startide]

Et c'est la seule qui est crawlée ? Oo c'est surprenant ca.

Quand tu dis qu'elle est "haut" c'est le premier lien rencontré ?

Essaie, si tu peux, de la remplacer par une page plus classique, vu que google semble l'aimer...

 

[Yvel]

oui, je vais essayer une autre configuration de la page, voir si GGL change son habitude.

 

[Yvel]

bon ok.... ça crawl sec là. c'est bon. je crois avoir compris le problème. ça ne vient pas de la page index mais de carre.html qui ne comporte que des liens sur images et un retour sur l'index par un lien sur rollover. à mon avis, le bot ne doit pas pouvoir sortir de là donc un petit tour et s'en va.
mais je récupère le crawl sur les pages d'un niveau inférieur avec le sitemaps.