Explications sur le Crawl Caching Proxy de Google
Google a mis en place un système appelé Crawl Caching Proxy
: voici quelques explications…
Matt Cutts vient d'expliquer dans ce billet ce qu'ils appellent le Crawl Caching Proxy
. Il s'agit d'une optimisation du crawl fait par les multiples robots de Google : recherche web, news, blogs, AdSense… Directement issu de la nouvelle architecture BigDaddy, le principe de ce proxy est de centraliser au même endroit les versions en cache d'une page. Si un des robots souhaite crawler une page, Google vérifie qu'un autre robot ne l'a pas déjà fait peu de temps avant, même si c'est un robot dédié à une autre tâche (news, AdSense, etc.).
On peut lister au moins 2 conséquences :
- Google économise de la bande passante (et en fait économiser aussi aux webmasters)
- il vaut mieux éviter de faire du cloaking en se basant sur le nom d'agent (user agent) car on pourrait avoir des surprises, vu que Google mélange les robots
Par contre tout cela ne va a priori rien changer pour le webmaster, ni en terme d'indexation, ni en terme de positionnement. On discute de ce Crawl Caching Proxy dans le forum…
Mise à jour :
- certains font état de gros problème de mise à jour du cache ou pire : d'indexation depuis que Google utilise ses différents robots pour tout indexer (lire les problèmes de l'after BigDaddy)
- voir aussi les explications de Sébastien Billard qui avait écrit un article sur le sujet hier
Olivier Duffez, Mercredi 26 avril 2006
Formation référencement et webmarketing
Vous souhaitez sans doute améliorer votre référencement, avez-vous pensé à suivre une formation spécialisée sur le référencement naturel ? En 2008, plus de 700 entreprises ont assisté à nos différentes sessions, la plupart faisant financer ces journées par la formation professionnelle (OPCA). Orange Labs nous a décerné un taux de satisfaction des participants de 90% (octobre 2008).
Préparés et animés par Olivier Duffez (WebRankInfo) et Fabien Faceries (AgentWebRanking), 2 professionnels reconnus dans la profession, nos modules sur le référencement naturel sont très complets tout en laissant une grande place à l'interactivité pour répondre à toutes les questions des participants.
Pour connaître le plan détaillé de chaque module, le prix, les dates et les lieux, cliquez ici pour consulter le site de Ranking Metrics (organisme de formation agréé).
Lectures recommandées sur ce thème :
- La danse de Googlebot :-) La Google Dance
- Etude de Googlebot, le robot crawler de Google (Fresh Bot, Deep Bot)
- Le Full Crawl a enfin commencé
- Etude de Googlebot, le robot d'indexation de Google
- La mise à jour BigDaddy se poursuit...
- Description du Google File System (GFS)
- Présentation de l'indexation Google - Googlebot, le robot de Google
- Googlebot, le robot d'indexation de Google
- Le début du full crawl
- Petit changement pour Slurp (le robot de Yahoo)
- Le crawl caching proxy de Google
- Crawl bizarre de Google ? Explications ?
- google crawl indexation nouveaux domaines
- Etude de Googlebot, le robot d'indexation de Google
- Liens entre Mediapartner et Googlebot
- crawler 135 de Googlebot (classique ou Mediapartner ?)
- Différence marquante entre Google fr et BigDaddy ?
- Pb de résultats complémentaires dans l'index Google BigDaddy
- proxy.google.com ?
- proxy.google.com
- proxy.google.com ?
- Explications sur la Google Dance
- Google.fr aligne sur BigDaddy, .ch et .be vont ils suivre ?
- La data center Bigdaddy (66.249.93.104) = prochain Google ?
- Nokia3410/1.0 (04.26) (Google WAP Proxy/1.0)
Consultez la description détaillée des produits ou services de Google suivants : Googlebot, Google Feed Fetcher
Un commentaire sur “Explications sur le Crawl Caching Proxy de Google”
Laisser une réponse
Hébergement web
Pour un bon référencement, il faut un bon hébergeur. Testez Sivit, l'hébergeur choisi par Olivier Duffez pour son site WebRankInfo (+ de 3 millions de visites/mois). Vous bénéficiez d'une garantie 30 jours satisfait ou remboursé.
A partir de 1,90 EUR HT/mois.
A la une sur WebRankInfo
Formation au référencement
Découvrez le programme de formation au référencement le plus complet : méthodologie d'optimisation du référencement Google, sites dynamiques, stratégies de liens, blogs, formation juridique Internet, Google Analytics, taux de transformation, ROI, etc.
Ce cycle de formation peut être pris en compte par votre budget formation... profitez-en !
Cette formation est assurée notamment par Olivier Duffez, créateur du site WebRankInfo et consultant indépendant en référencement.
Logiciel de pro
Vous cherchez un bon logiciel pour effectuer le suivi du référencement ? Je vous conseille AgentWebRanking, le logiciel leader sur le marché, développé par une entreprise française et vendu dans le monde entier depuis 1998.
En tant que consultant en référencement, je l'utilise pour mes prestations de conseil en référencement professionnel.
Derniers sites inscrits
- Hotel restaurant Le Pont Neuf à Florac Lozère dans les Gorges du Tarn
- Organisation coordination de tout type d'évènement en Haute Savoie
- Agence immobilière Somacimmo - Somain
- Hôtel de Bordeaux à La rochelle
- Vente en ligne de cactus plantes grasses et tillandsia
- TETRADIS, Distributeur spécialisé solutions interconnexion très haut débit
- Cartes, faire-parts et articles de papeterie à imprimer soi-même
- 17WebStore - Achetez aujourd'hui la technologie de demain
- Location de musique DJ pour trouver chaque soirée
- Santé des chiens et des chats : des vétérinaires répondent à vos questions
- Outils interactifs pour un développement durable facile en entreprises
- Must Animation : Dj animateur, organisation et l'animation évènementielle
- Location de villa et appartement à koh Samui en Thailande
- Le club des amateurs et passionnés des jeux de grille
- Colat Clés le Serrurier - Professionnel de la serrurerie en Guadeloupe



Merci pour le lien :)