Informations sur l’infrastructure technique de Google

© WebRankInfo
Voici quelques points abordés par Jeff, fournis ici un peu en vrac… Notez que vous pouvez également retrouver l'intégralité de la conférence sous forme de vidéo (environ 1h, en anglais).
Sur l'ensemble des 4 milliards de pages, la taille moyenne est de 10 Ko. Cela signifie que Google doit gérer une quantité de données gigantesque, de l'ordre de plusieurs dizaines de téra octets (environ 40 000 Go)
Google récupère énormément de données pour mieux analyser l'expérience utilisateur, qu'ils souhaitent évidemment toujours améliorer. Ces données sont par exemple les clics dans les pages de résultats. Google travaille actuellement sur de nouvelles interfaces utilisateur complètement différentes de l'interface actuelle…
Pour stocker les données et répondre aux requêtes, Google avait le choix entre des très gros serveurs ou un grand nombre de PC traditionnels. Voici une comparaison des coûts de deux solutions étudiées, qui explique pourquoi Google a choisi la seconde :
- Serveur IBM eServer xSeries 440
- 8 processeurs Xeon de 2 GHz
- 65 Go de RAM
- 8 To de disque
- 758 000 $
- Rack de 88 machines
- 176 processeurs Xeon de 2 GHz (88 x 2)
- 176 Go de RAM (88 x 2)
- 7 To de disque
- 278 000 $
Chaque jour dans les data centers de Google, plusieurs machines tombent en panne ! Tous les développements d'applications sont donc conçus pour être tolérants aux pannes.
L'index de Google est découpé en petits bouts afin qu'ils puissent être stockés sur chaque machine. Chacun de ces bouts est appelé un shard. La répartition des documents en shards se base entre autres sur le PageRank.Chaque shard est dupliqué pour être sur plusieurs machines (il y a d'autant plus de duplicatas que le PageRank est élevé).
Google accorde beaucoup d'importance au temps de réponse à chaque requête. Pour ne pas excéder 0,5 seconde, Google déploie des data centers dans le monde entier afin de rapprocher les serveurs des utilisateurs.
Schéma des serveurs de Google utilisés pour répondre aux requêtes
En moyenne 1000 machines sont utilisées pour chaque requête, dont le temps moyen de réponse est de 0,25 seconde. Sachant qu'il y a plus de 250 millions de requêtes par jour sur le réseau des sites de Google…
Google développe ses propres applications afin de s'adapter entièrement à ses contraintes particulières. Voici quelques exemples d'applications :
- Google File System (GFS) : pour le stockage. Gestion de plusieurs Po (1 Peta octets = 1024 Tera octets = 1 048 576 Giga octets). Les performance sont de 2 Go/s en lecture et écriture malgré les pannes
- Global Work Queue (GWQ) : plannificateur de tâches
- MapReduce : système simplifié de traitement de données à grande échelle, tolérant aux pannes
Source : University of Washington
Discutez de l'article Informations sur l'infrastructure technique de Google dans le forum
Olivier Duffez, Lundi 1 novembre 2004
Formation référencement et webmarketing
Vous souhaitez sans doute améliorer votre référencement, avez-vous pensé à suivre une formation spécialisée sur le référencement naturel ? En 2008, plus de 700 entreprises ont assisté à nos différentes sessions, la plupart faisant financer ces journées par la formation professionnelle (OPCA). Orange Labs nous a décerné un taux de satisfaction des participants de 90% (octobre 2008).
Préparés et animés par Olivier Duffez (WebRankInfo) et Fabien Faceries (AgentWebRanking), 2 professionnels reconnus dans la profession, nos modules sur le référencement naturel sont très complets tout en laissant une grande place à l'interactivité pour répondre à toutes les questions des participants.
Pour connaître le plan détaillé de chaque module, le prix, les dates et les lieux, cliquez ici pour consulter le site de Ranking Metrics (organisme de formation agréé).
Lectures recommandées sur ce thème :
- Quelques informations précises sur la société Google
- L'infrastructure technique de Google (Juillet 2006)
- La mise à jour BigDaddy se poursuit...
- Google Apps Edition Premium : une suite bureautique en ligne professionnelle
- Description du Google File System (GFS)
- Description de la société Google Inc.
- Infos en vrac sur Google en 2006
- Google s'empare de Writely, un traitement de texte en ligne
- Accord commercial entre Google et l'agence Associated Press
- Suite de l'article sur le fichier .htaccess : l'URL rewriting
- Amazon S3 : une puissante infrastructure dhébergement
- MSN Search : Disparition de snipet = nouvelle infrastructure
- Google Health : confiez vos informations médicales à Google
- [Google] Quelques informations 2008
- [Google Maps] Informations sur les transports
- [Google] Disponible en France : Informations des Films
- [Google Analytics] Informations concernant Adobe Flash
- Les informations communiquées par google sitemap
- Trouvé sur Google : informations destinées aux webmasters
- Technique visible sur google
- Google Adsense - Question technique
- [actu] l'infrastructure technique de Google
- L'infrastructure technique de Google en Juillet 2006
- Technique de référencement différente google vs yahoo ?
- technique de masquage de filtre sur google?
Consultez la description détaillée des produits ou services de Google suivants : Google Apps Edition Premium, Google Sites
Laisser une réponse
Hébergement web
Pour un bon référencement, il faut un bon hébergeur. Testez Sivit, l'hébergeur choisi par Olivier Duffez pour son site WebRankInfo (+ de 3 millions de visites/mois). Vous bénéficiez d'une garantie 30 jours satisfait ou remboursé.
A partir de 1,90 EUR HT/mois.
A la une sur WebRankInfo
Formation au référencement
Découvrez le programme de formation au référencement le plus complet : méthodologie d'optimisation du référencement Google, sites dynamiques, stratégies de liens, blogs, formation juridique Internet, Google Analytics, taux de transformation, ROI, etc.
Ce cycle de formation peut être pris en compte par votre budget formation... profitez-en !
Cette formation est assurée notamment par Olivier Duffez, créateur du site WebRankInfo et consultant indépendant en référencement.
Logiciel de pro
Vous cherchez un bon logiciel pour effectuer le suivi du référencement ? Je vous conseille AgentWebRanking, le logiciel leader sur le marché, développé par une entreprise française et vendu dans le monde entier depuis 1998.
En tant que consultant en référencement, je l'utilise pour mes prestations de conseil en référencement professionnel.
Derniers sites inscrits
- Hotel restaurant Le Pont Neuf à Florac Lozère dans les Gorges du Tarn
- Organisation coordination de tout type d'évènement en Haute Savoie
- Agence immobilière Somacimmo - Somain
- Hôtel de Bordeaux à La rochelle
- Vente en ligne de cactus plantes grasses et tillandsia
- TETRADIS, Distributeur spécialisé solutions interconnexion très haut débit
- Cartes, faire-parts et articles de papeterie à imprimer soi-même
- 17WebStore - Achetez aujourd'hui la technologie de demain
- Location de musique DJ pour trouver chaque soirée
- Santé des chiens et des chats : des vétérinaires répondent à vos questions
- Outils interactifs pour un développement durable facile en entreprises
- Must Animation : Dj animateur, organisation et l'animation évènementielle
- Location de villa et appartement à koh Samui en Thailande
- Le club des amateurs et passionnés des jeux de grille
- Colat Clés le Serrurier - Professionnel de la serrurerie en Guadeloupe


