Durée du timeout de Googlebot

[Cendrillon]

Bonsoir,

Certaines pages sont longues à charger (pages lourdes et/ou serveur lent notament chez les hébergeurs low cost et gratuits) ... Je suppose que Googlebot n'attends pas indéfiniment que la page veille bien se charger pour l'analyser ... qq aurait il une idée du temps qu'il daigne accorder à une page pour "monter" avant de la laisser tomber ?

PS : Google faisant maintenant des crawl permanent, je suppose que ce paramètre a dû être réajusté à cette occasion ... cela ne pourrait pas expliquer la désindéxation de certains sites clean ?

 

[Nitou]

il doit suivre le timeout de l'hebergeur, 300 sec par défaut pour apache par exemple, au bout de 300 sec l'hebergeur renvoit un code d'erreur et le robot doit l'interprété à priori, mais bon ce n'est pas exclu que Googlebot ait un timeout spécialement configuré.

 

[Cendrillon]

il doit suivre le timeout de l'hebergeur, 300 sec par défaut pour apache par exemple, au bout de 300 sec l'hebergeur renvoit un code d'erreur et le robot doit l'interprété à priori, mais bon ce n'est pas exclu que Googlebot ait un timeout spécialement configuré.

Tu imagines, dans le pire des cas, il lui faudrait près de 50 000 jours (soit plus de 135 ans) pour crawler les 4 285 199 774 pages de son index ... :wink:

 

[squawk]

Je pense comme Nitou

Google faisant maintenant des crawl permanent, je suppose que ce paramètre a dû être réajusté à cette occasion ... cela ne pourrait pas expliquer la désindéxation de certains sites clean ?

Non à 100% :wink:

 

[Cendrillon]

Non à 100%

Tu as l'air très affirmatif ... aurais tu qq infos sur le sujet ?

 

[Koreus]

Tu imagines, dans le pire des cas, il lui faudrait près de 50 000 jours (soit plus de 135 ans) pour crawler les 4 285 199 774 pages de son index ... :wink:

Il n'y a pas qu'un seul bot ;-)