Freshbot

WRInaute passionné
Bonjour,
Le freshbot se dechaine,enfin à mon échelle. Et il passe sur des pages qui n'ont jamais été crawlé auparavant. Je pensais que c'éait surtout le deepbot qui suivait les liens et indexaient les nouvelles pages. En fait, le freshbot a l'air de faire la même chose de maniére systématique (et donc décharge sans doute le deepbot d'une partie de son boulot)

François
 
WRInaute accro
et dans deux jours, tu vas demander pourquoi les pages référencées par le freshbot ont disparu sauf si tu les actualises régulièrement ?
 
WRInaute passionné
herveG a dit:
et dans deux jours, tu vas demander pourquoi les pages référencées par le freshbot ont disparu sauf si tu les actualises régulièrement ?

Relis ma question, ce n'était pas une question sur l'apparition des pages dans google mais sur le comportement et les diifférences entre les bots.

Pour moi,
Le freshbot avait une fonction d'actualisation des pages, de rafraichissement du cache. Bref, il bossait sur des pages déjà indexée, à qqs exceptions près.
Le deepbot, au contarire, suivait tous les liens, indexaient les nouvelles pages et construisaient l'index.

Hors là, le freshbot crawle de façon systématiquement les nouvelles pages. J'étais plus habitué à voir le deepbot faire ce travail. Mais il ne l'a pas fait. Il est passé sur les pages déjà crawlé par le freshbot précédemment.
Je verrais comment cela se passera à la prochaine GD.

François
 
WRInaute accro
Je pensais avoir bien lu la question : en effet, lors de la premiere apparition de mes pages le mois dernier, il s agissait du travail du freshbot. Hors mes pages n avait pas encore connu de fullcrawl. elles ont donc été repérées par le freshbot, indexées pour deux jours et aussitot ont disapru. avec l astuce qui consiste a actualiser les nouvelles pages regulierement pour forcer le freh a repasser souvent et a ré-indexer les nouvelles pages pour deux, on parvient a simuler un référencement durable. je pense donc que le freshbot sur les nouvelles pages peut effectivement avoir le meme effet que le deep. Je pourrais peutetre presque rajouter de l eau a ton moulin. j ai ajouté une nouvelle page dernierement a mon site.......un fresh est passé et la page a eu un PR aussitot. question : est ce normal ? je pensais que seul la GD attribuait le PR aux pages passées en revue par le deep ? or, cette page n a pas encore subit de GD.....

bref, je vois ce que tu veux dire, et cela pourrait etre possible. il faudrait voir si des pages ajoutées après le dernier deepcrawl, visitées par des fresh seront référencée avec PR lors de la prochaine GD sans passage de deep. est ce que quelqu´un a mis un nouveau site online depuis le fullcrawl ?

j ai compris ?
A+
Hervé
 
WRInaute passionné
herveG a dit:
bref, je vois ce que tu veux dire, et cela pourrait etre possible. il faudrait voir si des pages ajoutées après le dernier deepcrawl, visitées par des fresh seront référencée avec PR lors de la prochaine GD sans passage de deep. est ce que quelqu´un a mis un nouveau site online depuis le fullcrawl ?

j ai compris ?
A+
Hervé


Oui :)
Le freshbot serait un peu plus qu'un freshbot...

J'ai des nouvelles pages qui ont été mises en ligne avant le deepcrawl. Elles n'ont pas été crawlée par le deepbot. Unqiuement par le fresbot. Je verrais le résultat dans la GG.

François
 
Haut