Google indexe de plus en plus vite!

WRInaute discret
Je fais quelques testes depuis 2-3mois sur la vitesse d'indexation dans google, et c'est de plus en plus rapide, un site de "bonne notoriété" peut avoir une page indexé en moins de 10s!! Ce n'est pas le fruit du hasard, "le robot n'était pas la" quand la page à été mis en ligne, je pense plutot que dès que google détecte une nvelle page par un de ses outils comme la toolbar il indexe si le site bénéficie d'une certaine confiance ou TR pour certain.
La réactivité du moteur est vraiment surprennante.
 
WRInaute occasionnel
Pour les blogs par exemple, les différents moteurs sont "pingués" à la publication d'un article (via pingomatic par exemple).
Après googlebot squatte certains sites toute la journée, prêt à dégainer.
 
WRInaute impliqué
je pense que les robots adsense y sont pour quelque chose : tu met ta page en ligne avec du adsense dessus, tu la teste, tu affiche une première pub non ciblée, le robot adsense detecte que c'est une page qu'il ne connait pas, il la crawl pour t'afficher des pubs ciblées et certainement ... mais c'est a vérifier ... passe l'info aux robots d'indexation.
 
WRInaute impliqué
ludoanimation a dit:
je pense que les robots adsense y sont pour quelque chose

pas convaincu :roll:

cette vitesse fulgurante que j'ai remarqué pour certains sites, ne semble pas liée à adsense...

certaines pages indexées flash éclair n'ont pas d'adsense ( ni sur tout le site d'ailleurs )

et sinon, ça concernerait tout ceux qui utilisent ads...
 
WRInaute occasionnel
tophus a dit:
Je fais quelques testes depuis 2-3mois sur la vitesse d'indexation dans google, et c'est de plus en plus rapide, un site de "bonne notoriété" peut avoir une page indexé en moins de 10s!!
c'est surement un hasard à mon avis google vérifie les pages à intervalle régulier or si tu publies une page 10s avant son passage ben elle se retrouve sur son index en 10s
 
WRInaute accro
ChauffeurDeBuzz a dit:
je ne pense pas que ça vienne de la toolbar

Et tu a une supposition ?

SuperPJ a dit:
c'est surement un hasard à mon avis google vérifie les pages à intervalle régulier or si tu publies une page 10s avant son passage ben elle se retrouve sur son index en 10s

Trop de gens constatent la même chose depuis peu pour que ce soit réellement un vrai hasard. De plus, jusqu'à maintenant, Google crawlait. Mais la page n'était mise à jour dans l'index que 24 à 72h plus tard.
 
WRInaute passionné
Plus de succès chez Google, plus de bénéfices, plus d'investissement donc des data center encore plus performant...
 
WRInaute discret
J'ai constaté cela également sur mon blog (PR 5, rien d'exceptionnel). C'est sans doute le mécanisme de ping qui fonctionne, une sorte de mélange de l'index traditionnel avec celui de blogsearch ? En tout cas je n'ai pas trouvé d'exemple de sites indexés aussi rapidement sans qu'il ne dispose d'un flux RSS. Quelqu'un a un exemple ?
 
WRInaute discret
Google ping un site toute les n seconde?? Ca me parrait completement abérrant.
D'auttant plus que ça serait très facilement détectable par les outils de suivit et dans les logs.
Je ne vois que la toolbar..
 
WRInaute discret
tophus a dit:
Google ping un site toute les n seconde?? Ca me parrait completement abérrant.
...

Pour ma part, je ne parle pas d'un "ping" du site par Google mais de l'inverser, le ping de google par le site quand il est mis à jour.
 
WRInaute discret
Adsense et le moteur de recherche n'échangent pas leur index. Ca a été confirmé par Matt cuts.
 
WRInaute accro
Quelqu'un a un exemple de page indexée en 10 sec.

En gros, ça deviendrait un nouveau moyen de connaitre l'importance d'un site pour google ça, intéressant.

J'ai fait un essai la semaine dernière et pour moi ça a mis 2 jours ...
 
WRInaute discret
Je peux pas vous citer les sites pour lesquels l'indexation est faite en mois de 10s, mais ChauffeurDeBuzz je suis sûr peux vous faire une démo de l'indexation en temps réel sur son blog!
 
WRInaute passionné
ludoanimation a dit:
je pense que les robots adsense y sont pour quelque chose : tu met ta page en ligne avec du adsense dessus, tu la teste, tu affiche une première pub non ciblée, le robot adsense detecte que c'est une page qu'il ne connait pas, il la crawl pour t'afficher des pubs ciblées et certainement ... mais c'est a vérifier ... passe l'info aux robots d'indexation.


J'ai déjà remarqué une visite des différends bots ultra rapide sur des nouveaux articles, mais en fait, c'est le adsense bot qui agit le plus vite, il détecte qu'il a été invoqué depuis une page dont l'URL n'est pas dans la base d'indexation, il fait agir les bots au plus vite...
 
WRInaute accro
Moi aussi, j'ai constaté que des articles publiés sur mon blog sous wordpress étaient indexés en moins d'1heure. Voire même 1 erreur sur une URL qui est resté 10 secondes (temps pour que je m'en apercoive) qui a été indexé dans Blog search. Par contre, rien n'est en cache.

A priori, ça ne peut être qu'une indexation via les flux RSS, nan ?
 
Olivier Duffez (admin)
Membre du personnel
Dans le cas de WRI je ne fais pas de pings pour les nouvelles discussions, par contre il y a bien un flux.
Il faudrait savoir si qqn a des exemples de pages indexées en qq minutes ou heures sans ping ni flux
 
WRInaute accro
Je doute fortement que l'indexation dans le moteur de recherche autre que blogs ne se fasse via les flux RSS ou des pings. Cela serait la porte ouverte à tous les spams possibles et imaginables.
On met ce qu'on veut dans un flux rss, et on pingue la page qu'on veut.
 
WRInaute impliqué
kazhar a dit:
Je doute fortement que l'indexation dans le moteur de recherche autre que blogs ne se fasse via les flux RSS ou des pings. Cela serait la porte ouverte à tous les spams possibles et imaginables.
On met ce qu'on veut dans un flux rss, et on pingue la page qu'on veut.

+1

Si je récapitule, pour ma part, je pense que ni RSS, ni Ping, ni le bot Adsense, et ni le bot Google actu, ni un Google sitemap n' intervient.....

il reste quoi ? :roll:

je viens de voir que les gros sites d'actus (style nouvelobs) ont leur page systématiquement indexée en moins de 30 min...

suffit de faire un "site:" sur les urls présentes dans gg news :wink:

on voit bien les actus ultra récentes indexées, par contre sans cache.

et petite question, la mention : "Il y a xx minutes" à côté de l'url ça fait longtemps que c'est présent ?
 
Nouveau WRInaute
Ben j'aimerais bien que ça ce passe ainsi pour mon blog ça fait une semaine que je vois le bot le crawlé et toujours rien dans l'index :( alors vos histoire de 10 secondes... A Marseille peut être ? :lol:
 
WRInaute accro
Pour ma part, je pencherais vraiment pour une récupération de l'URL via la toolbar.
Sur la base du nombre de pages vues par exemple.

Si une page non indexée est vue par un grand nombre de personnes possédant la toolbar sur un court laps de temps, on peut supposer que son contenu est de qualité. Donc il crawl.
 
WRInaute impliqué
kazhar a dit:
Pour ma part, je pencherais vraiment pour une récupération de l'URL via la toolbar..

je n'y crois pas trop...

un de mes sites bénéficie de cette indexation flash éclair.. je publie un billet, en 20 à 30 minutes il est indexé

c'est un site PR5, mais le trafic est faible, le nouveau billet a peut être été vu, allez on va dire 3 fois par 3 visiteurs uniques avant qu'il soit indexé !
 
WRInaute impliqué
Ouais enfin il y a forcement un truc, je ne pense pas qu'ils ont embauché une équipe de voyants et de marabous pour savoir quand une nouvelle page est créé

Donc adsense, toolbar, ping externe, il y a un truc.
 
WRInaute passionné
Je ne suis pas technicien mais je le sens comme ça :
Ping => Alerte : y'a du frais => Voyons-voir si le blog est fiable => OK j'indexe.
Pas de ping mais indexation ultra rapide des nouvelles pages d'un site ? Je suppose simplement que le bot passe très régulièrement sur le site (le squatte) car il l'aime beaucoup ;)

Edit : Clarification
 
WRInaute passionné
Hum vi logique puisqu'on ne peut pinger qu'un blog non ? Ou alors je ne te comprends pas là :roll:

Les billets de blogs se retrouvent bien indexés sur le moteur "générique" google.fr et cette indexation est pour certains ultra rapide, tu es d'accord ? Il y a donc bien interaction entre les 2 solutions non ?

Donc au pire c'est Ping => indexation http://blogsearch.google.fr => indexation https://www.google.fr

Mais, hum, que veux-tu dire en fait ? :wink:
 
WRInaute accro
Si quelqu'un a envie de s'amuser (et a constaté sur son site des vitesses d'indexation ultra-rapide (Otto a constaté 50 secondes; On parle de 10 secondes plus haut), voici ce que vous pouvez faire :

- Une page sans aucun lien, que vous visitez en ayant la toolbar installée. Voir si indexée ou non.
- Une page que vous ne visitez pas, et vers laquelle vous mettez un lien sur votre page d'index.

Cela permettra déjà de tester si cela vient de la toolbar ou non.
Par la suite, si cela ne vient pas de la toolbar, tester en pingant l'url (je doute qu'on ait un quelconque résultat)
en la mettant dans un flux rss.
et en mettant ou non des adsenses dessus.

Un motivé ? :p
 
WRInaute discret
ludoanimation a dit:
je pense que les robots adsense y sont pour quelque chose : tu met ta page en ligne avec du adsense dessus, tu la teste, tu affiche une première pub non ciblée, le robot adsense detecte que c'est une page qu'il ne connait pas, il la crawl pour t'afficher des pubs ciblées et certainement ... mais c'est a vérifier ... passe l'info aux robots d'indexation.
sur mon site de littérature
il m'est arrivé d'avoir 6 à 10 000 pages indéxés par jour et je parle juste de Google

a ce momment la le site avait une tres forte activité
plus de 100 articles nouveaux par jour

et l'indexation marchait vite
:)
de la a dire 10 sec
 
WRInaute impliqué
Bonsoir,

En lisant ce post je me suis remis en question:
google indexe des pages en 10 secondes et moi j'ai rajouté 50 pages il y a 2 mois et toujours pas indexées ?

Alors j'ai regardé mon code source et là horreur il manquait </head> sur toutes les pages et ça n'a pas pardonné. :oops:
 
WRInaute passionné
eric-joomla a dit:
sur mon site de littérature
il m'est arrivé d'avoir 6 à 10 000 pages indéxés par jour et je parle juste de Google
a ce momment la le site avait une tres forte activité
plus de 100 articles nouveaux par jour
Url please ....?
 
Nouveau WRInaute
Et la rapidité pour les anciennes pages actualisées ?

Bonjour,

On parle de rapidité étonnante pour indexer et afficher les nouvelles pages. Mais en ce qui concerne l'affichage d'anciennes pages au contenu actualisé, qu'en est-il ? Voilà 4 fois en 10 jours que le bot passe sur mon site, dont l'ensemble des pages (plusieurs milliers) a été modifié. Et pourtant, aucun changement dans la page de résultat : ancien titre, ancien contenu, etc.
C'est quoi la rapidité pour ces pages-là ?!
 
Nouveau WRInaute
Re: Et la rapidité pour les anciennes pages actualisées ?

Ca dépends.
J'ai des pages mises à jour depuis 3 semaines, régulièrement crawlées sur un site à faible PR, mais l'index n'a toujours pas été mis à jour. Prends ton mal en patience ;)

HectorVector a dit:
Bonjour,

On parle de rapidité étonnante pour indexer et afficher les nouvelles pages. Mais en ce qui concerne l'affichage d'anciennes pages au contenu actualisé, qu'en est-il ? Voilà 4 fois en 10 jours que le bot passe sur mon site, dont l'ensemble des pages (plusieurs milliers) a été modifié. Et pourtant, aucun changement dans la page de résultat : ancien titre, ancien contenu, etc.
C'est quoi la rapidité pour ces pages-là ?!
 
Nouveau WRInaute
il y a une chose dont vous avez très peu parlé depuis le début du post mais qui a une importance évidente je pense dans la vitesse de crawl d'une nouvelle page, c'est le pagerank du site... tous les exemples que vous avez donné sont sur des sites ayant un pagerank minimum de 5 ...

je suis perso webmaster de plusieurs sites ayant un faible pagerank (sites recents), le meilleur est de 4 sur un site, et mes pages mettent en moyenne 2 heures a etre indexées par google (mais environ 72 heures ensuite pour apparaitre dans l'index), presque 2 heures minute pour minute, ce qui est deja etonnant en soi, comme si avec un pagerank 4 c'est 2 heures, et ce temps diminue avec l'augmentation du pagerank pour atteindre des durees tres minimes comme l'on décrit certains..

La combinaison Toolbar + site a fort pagerank me parait la meilleure probabilité pour une indexation si courte...

Il serait TRES interessant de savoir si certains ont des vitesses d'indexation extremement rapide avec des sites a faible pagerank ..... j'en doute enormement.

et egalement faire un test sans toolbar sur un site a fort pagerank afin de verifier si la google toolbar est effectivement responsable de l'alerte envoyée a google....

on va le coincer ce Google !! :)
 
WRInaute passionné
Ce qui est sur c'est que google utilise la toolbar pour referencer des pages, car dans google webmaster tool, il me marque qu'il n'a pas reussi a ateindre le dossier /admin/ car il n'etait pas autorisé, mais comme vous vous en doutez je n'ai jamais mis de lien vers ce dossier admin et ya que moi qui connait l'accés a cette admin ...
Et pas d'adsense dans mon admin, donc c'est pas le bot adsense :lol:
 
WRInaute passionné
@ forummp3 : Pas de "Disallow: /admin/" dans ton robots.txt sinon ? Car ça aurait pu être la cause également ;)
 
WRInaute passionné
bertimus a dit:
@ forummp3 : Pas de "Disallow: /admin/" dans ton robots.txt sinon ? Car ça aurait pu être la cause également ;)
non, j'utilise jamais les robots.txt, c'est assez debile car on fait la liste des page sensibles ...

moi j'utilise le htaccess pour bloquer l'accés a une page 8)
 
WRInaute accro
ChauffeurDeBuzz a dit:
je ne pense pas que ça vienne de la toolbar
Tout à fait. Je note aussi que sur l'ensemble de mes sites disposant d'un flux RSS, l'indexation des nouveau articles se fait en quelques minutes.
Juste pour taquiner, Megaglobe compte proposer ce genre d'indexation à l'avenir. (Quand ils auront fini d'indexer Internet 8) )
 
WRInaute discret
tofm2 a dit:
eric-joomla a dit:
sur mon site de littérature
il m'est arrivé d'avoir 6 à 10 000 pages indéxés par jour et je parle juste de Google
a ce momment la le site avait une tres forte activité
plus de 100 articles nouveaux par jour
Url please ....?
ce sont les stats du mois de Juin
un aperçu pour le mois de Juin
le site a perdu la moitié de ses vsiteurs
par rapport à Mars
mais je m'en occupe de nouveau
donc la cela remonte :))
l'url est dans mon profil :)
crawltrack.jpg
 
WRInaute accro
WebRankInfo a dit:
Dans le cas de WRI je ne fais pas de pings pour les nouvelles discussions, par contre il y a bien un flux.
Il faudrait savoir si qqn a des exemples de pages indexées en qq minutes ou heures sans ping ni flux
ah, olivier attend que les autres travaillent pour pondre un article et un livre ? :lol:

Blague à part, comment ça fonctionne vos trucs de ping ? Est il possible de faire ça sur un site normal, pas un blog ?

J'actualise mon site tous les jours.
 
WRInaute discret
Les tests sont assez dur à faire, car cette indexation ultra rapide ne ce fait à tous les coups, et pour toutes les nouvelles pages.
Je ne sais pas si ça dépend du sujet, ou autre chose, il considère peut être certain sujet comme une actu, et d'autre non.
En tout cas, j'ai constaté des indexations en moins d'une heure sur des sites sans flux sans ADS, sans ping.
 
WRInaute discret
Je n'ai pas de flux rss et pourtant je bénéficie de cette indexation rapide ... il faut chercher ailleurs :)
 
WRInaute accro
La réponse est simple, Google index en temps réel. C'est une évolution logique. Le positionnement semble être aussi calculé en live.
C'est vraiment génial pour les sites d'actu non présents dans GNews.
 
WRInaute accro
Comme avant mais en temps réel.
Il faut savoir que Google possède la plus grosse puissance de calcul mondial et tourne sous Linux, ça aide ! ;)
 
WRInaute discret
Surement pas comme avant !
Je ne fait pas de nouvelle page : les bot ne viennent pas tous les minutes vérifier si ya des nouvelles pages. ( Ca se retrouve dans les outils).
Je fait une nouvelle page qui est visitée : les bot viennent dans les secondes ou minutes qui suivent la publication.

C'est forcément une réponse à une alerte déclenchée par qqchose, je pense toujours que la toolbar est dans coup! Pour quelle raison certain ne le pense pas??
 
WRInaute accro
Vous êtes pas très causants sur ce sujet, c'est pourtant une des évolutions majeure de Google, non ?
Pour ma part ayant pas mal de site d'actualité, c'est plutôt pas mal de se retrouver dans l'index quelques minutes après avoir rédigé un article.

J'ai pensé à un truc qu'on a pas cité : les cookies !
Je n'ai pas regardé ce qu'il y avait dans les cookies Google mais ils doivent bien garder les pages visitées et quand on revient sur Google, il regarde s'il a indexé ces pages... Peut être bien...

8)
 
WRInaute discret
Idem, je pense que c'est une petite révolution, depuis le temps qu'on parle d'indexation en temps réel, on y arrive enfin!!

Je crois que les "reco" sont la pour ça et pour relancer la discution!
 
WRInaute discret
Je viens de regarder ça c'est assez dingue. Il y a quelques minutes, j'ai posté un article (sur la Citroen C-Cactus), le voila directement en tête alors que d'autres sites en avait parler il y a plusieurs semaines.

Franchement, c'est impressionant de voir ce qu'arrive a faire le géant google !
 
WRInaute passionné
J'ai suivi tous le débat et je pense qu'optimum a peut-être trouvé la bonne équation.
optimum a dit:
La combinaison Toolbar + site a fort pagerank me parait la meilleure probabilité pour une indexation si courte...
En tous cas ça donnerait beaucoup plus d'importance au PR qui était jusqu'à maintenant vu plutôt comme une médaille graduée au mérite pour l'ego du webmestre et aussi un moyen de faire de bons partenariats.

edit : je rajouterai qu'un <title> bien choisi pourrait aussi entrer dans l'équation ;-)
 
WRInaute passionné
je pense que c'est la toolbar + trafic, si une nouvelle page est vue par plusieurs personne, alors la page doit etre interessante et le bot va chercher la page.
Et puis google doit avoir un systeme similaire qu'alexa pour connaitre le trafic d'un site et donc de son important pour le mettre a jour plus rapidement.
 
WRInaute impliqué
forummp3 a dit:
je pense que c'est la toolbar + trafic, si une nouvelle page est vue par plusieurs personne, alors la page doit etre interessante et le bot va chercher la page.
Et puis google doit avoir un systeme similaire qu'alexa pour connaitre le trafic d'un site et donc de son important pour le mettre a jour plus rapidement.

Personne n'a pensé a google analytics...

Google est prevenu chaque fois qu'une page est affichée par la demande de lecture du fichier javascript idoine (urchin.js). Il est simple de vérifier à ce moment là si la page est plus récente que celle en cache... La même chose est possible avec ad sense (show_ads.js).

Ca ne veut pas dire que les robots partagent des informations. Simplement, google sait qu'une page a besoin d'être réindexée.

Ensuite, la décision de crawler de nouveau le site peut etre prise en tenant compte d'autres critères comme le PR ou le rythme de changement passé.

Dans les exemples que vous avez donnés et que j'ai vérifié, il y avait ou google analytics, ou google adsense sur la page.

Vap
 
Nouveau WRInaute
J'ai mis un site bateua en ligne, 0 adsense, 0 sitemap au départ, 0 toolabr sur mon naviguateur,1 seul BL (pertinent) et dans la journée ma page était référencée.
 
WRInaute accro
j'ai un blog avec pr3, pas d'analytics dessus, fréquentation moyenne
(et donc flux rss et pingoat)
suite à cette discussion j'ai vérifié le temps pour l'indexation :
2 minutes

c'est en effet ultra rapide (habituellement pour ce blog c'est plutot dans les 30 minutes)


ça ne concerne donc pas que les sites à gros pr
 
WRInaute passionné
vous avez bien de la chance les gars

moi il ne m'index mes nouvelles pages pas très vite...

est ce que un lien vers w3c (validationde page) ralentirait le crawl ?

a+
 
Nouveau WRInaute
Google avantage l'indexation des blogs de Blogspot ?

Bonsoir

Je m'interroge sur l'indexation des blogs de la plateforme Blogspot.

blogger-logo.png


Le samedi 8 septembre 2007 je crée un blog sur la plateforme BlogSpot

Insertion du dicton ou de la citation du jour sur les blogs

7 minutes après l'adresse -http://dicocitations.blogspot.com/ était en première page de la
recherche google sur le terme dicocitations.

Actuellement 3 jours après la création de ce blog celui apparait en 16 ième résultat sur + de 300 000 réponses.

Je m'interroge donc sur l'indexation des blogs de Blogspot, et ma question :
Google avantage-t'il les blogs de sa plateforme ou sagit il d'un simple effet prime de fraicheur ?

Des avis ?
 
WRInaute accro
bipeurs a dit:
Je n'ai pas de flux rss et pourtant je bénéficie de cette indexation rapide ... il faut chercher ailleurs :)

Dirait même plus

Site mis en route depuis 5 mois, GG est tous les jours dessus. A peine modifié une page et up dans l'index. Pourtant: site PR2, pas de RSS, juste peut-être ma toolbare, mais des pages qui sont écrites par d'autres sans toolbarre ont la même vitesse. PS: adsence sur les pages.

Site2: en route depuis quelques jours mais connu de GG depuis quelues mois: page d'index entièrement modifiéer ces 10 derniers jours, pas de passage du boot depuis le 11 août :twisted: , PR2 également, pas d'adsence (et toujours la googlebarre).
Le plus marrant sur ce site:
les pages internes commencent à être référencées dans les 2 jours (je dirait adsence) mais pire, la page site/index.php (toujours pas d'adsence), impossible à atteindre sans être connecté comme suite d'une manoeuvre (à la connexion justement) est dans le cache de GG (sans adsence) donc via la toolbarre. Comme la page index1 que j'utilise pour mes tests n'est pas indexé (donc pas la toolbarre), commence à me demander quoi ... A moins que moi seul en passant ne déclenche pas le boot, mais plusieurs visiteurs différents oui ...

Dirais qu'adsence permet une indexation plus rapide, la google barre donne un réel coup de pouce, le PR n'a plus l'aire de trop intervenir, mes plus gros sites ont également des pages PR4 plus visitées depuis juillet (mais pas non plus modifiées 8) ).

Ca fait pas avancer le smilblick, je sais.
 
WRInaute discret
Peut-être que google considère certains sites comme étant de l'actualité. Ces sites la on un taux de scrutage de l'ordre de la minute sur les pages contenant la 'UNE' du journal. A ce moment là, pour, disons dix petits milliers de sites, il récupère les informations toutes les 30 minutes.
Ainsi pour répondre aux commentaires en page 2 de ce sujet, google ne scruterait pas tous les sites internet selon un même modèle.

La probabilité qu'un possésseur d'un site d'actualité (selon google) qui fait un test, change sa Une et vérifie la minute d'après que son site est reconnue par Google serait alors de l'ordre de 1/30 de quoi lancer la polémique actuelle.

Un dernier point. Si je me trompes au dire de je ne sais plus qui sur ce topic, le PDG de google a dit qu'aucune information n'est communiquée entre google adsens et son moteur de recherche. Il parle certainement de page en cache ou de mot clé. Dans sa déclaration il n'exclue certainement pas des informations indiquant que telles ou telles pages ont été rafraichies. Il faut en français connaitre la nuance entre 'données' et 'informations'.

Bonne journée à vous !
kéké.
 
WRInaute accro
keke_amour a dit:
Un dernier point. Si je me trompes au dire de je ne sais plus qui sur ce topic, le PDG de google a dit qu'aucune information n'est communiquée entre google adsens et son moteur de recherche. Il parle certainement de page en cache ou de mot clé. Dans sa déclaration il n'exclue certainement pas des informations indiquant que telles ou telles pages ont été rafraichies. Il faut en français connaitre la nuance entre 'données' et 'informations'.

Les différents robots Google partagent le "crawl caching proxy", un pool d'informations qui agit comme un cache (d'où son nom) évitant de crawler plusieurs fois la même page dans un trop bref délai (exemple: 1x pour AdSense, 1x pour GoogleBot).
 
Discussions similaires
Haut