Stratégies financières sur l'évolution de l'architecture Google

Google doit faire face à un challenge auquel nulle autre entreprise est confrontée : servir des centaines de millions de requêtes par jour. Pour y parvenir, Google à conçu un index distribué : des milliers de machines se répartissent cette charge. Cet article de Jean-Luc Antoine explique comment Google pourrait faire évoluer son architecture...

Google doit faire face à un challenge auquel nulle autre entreprise est confrontée : servir des centaines de millions de requêtes par jour. Pour y parvenir, le besoin en terme de puissance de calcul est colossal. Aucune machine ne peut à elle seule effectuer ce travail. C'est une des raisons qui a pousser Google à concevoir un index distribué : des milliers de machines se répartissent cette charge.

Le choix des machines

Le choix de ces machines a été essentiellement financier : quel est le meilleur ratio entre le coût et la performance ? Dans ce calcul sont pris en compte les coûts d'acquisition et de fonctionnement.

Au niveau de l'acquisition, il est assez simple d'identifier le meilleur rapport performance CPU/prix, mais d'autres éléments sont à prendre en compte : prix de la carte mère, alimentation, et tout autre composant matériel permettant de faire fonctionner la machine. D'un point de vue logiciel, un OS gratuit a été choisi (Linux).

Le coût de fonctionnement prend en compte la consommation électrique, l'espace requis en salle machine, la maintenance (le personnel), le taux de pannes... Ces savants calculs ont abouti au système actuellement en fonctionnement, qui a priori a donné entière satisfaction... jusqu'à présent. Avec les nombreux nouveaux services que Google annonce régulièrement (Google Analytics, Google Base...), les besoins en terme de puissance de calcul se sont accrus, le système atteint ses limites : combien de dizaines de milliers d'ordinateurs faut-il ? Un datacenter ne peut croître indéfiniment. Il semblerait que les choix initiaux aboutissent à une remise en cause de l'existant : désormais il existe des systèmes bien plus performants pour un coût total nettement inférieur. D'où vient ce miracle ? D'un outsider : Sun.

Le processeur Niagara de Sun

On savait l'engagement de Sun sur l'Opteron d'AMD, un partenariat très important. Malgré tout, Sun a continué ses propres activités de conception de CPU, sur des technologies parfaitement matures. Après quelques années de travail, le processeur Niagara arrive a maturité : Sun va annoncer le 6 décembre 2005 sa sortie officielle.

En quoi ce processeur est-il si important ?

Avant tout par sa performance : il dispose de 8 coeurs, chacun étant multi-threads (capable de gérer 4 threads), ce qui permet de faire tourner simultanément 32 threads, l'idéal pour des opérations massivement parallèles. Ces coeurs ne se partagent cependant qu'une unité de calcul, mais les opérations de gestion de l'index de Google ne sont pas consommatrices en calculs, simplement en traitements (contrairement à des logiciels de traitement d'image par exemple). C'est la génération suivante des CPU de Sun (nom de code Rock) qui améliorera les unités de calcul. Quoiqu'il en soit, ce processeur permet donc de faire tourner pratiquement plus de trente fois plus de taches qu'un processeur classique, le tout dans un seul CPU... Le ratio n'est pas exactement un rapport de 1 pour 32, pour des raisons d'architecture interne, mais il est assez significatif. D'un point de vue encombrement du datacenter et optimisation des interventions physiques par le personnel, ce CPU répond parfaitement aux contraintes : en intégrant les besoins nouveaux de traitement en plus de ceux existants, un parc de 2000 machines peut être remplacé par 400 machines à base de ce processeur. Un gain non négligeable.

Mais ce processeur n'a pas que la puissance pour lui, il a aussi la consommation. Pour faire tourner l'équivalent d'une trentaine de CPU classiques, il faut très nettement plus que ce qui est requis pour un seul CPU Niagara. Cela est encore démultiplié par la faible consommation électrique du processeur lui-même : Sun a fait le choix de la course à la technologie et non pas de la course à la fréquence. Résultat, il tourne seulement à 1.2 Ghz, et ne chauffe pas. Gain électrique direct et indirect (clim, moins de BTU). La puissance d'alimentation d'un serveur à base de ce processeur n'est que de 250 Watts (serveurs Sun T1000 et T2000). Le prix du processeur est certes plus élevé que celui des CPU de la gamme Pentium, mais en mettant en regard les économies de place, d'électricité, de puissance clim, de personnel de maintenance, et les gains en performance, Google a fait rapidement son choix, Niagara est adapté.

Changement d'architecture

Helas, on ne change pas facilement une architecture comme celle de Google. Une application compilée pour du x86 ne fonctionnera pas sur ces nouvelles machines. L'OS n'est pas le même non plus. Il peut donc y avoir des dysfonctionnement bas-niveaux. Il faut aussi prévoir la cohabitation avec les "vieux" systèmes en place car on ne bascule pas en un claquement de doigts sur un nouveau système.

Google a donc du pain sur la planche, des risques de stabilité lors de la migration, mais l'opération s'avèrera très rapidement rentable.

Un article de Jean-Luc Antoine (www.artabus.com)

Par Un membre de WebRankInfo, Samedi 26 novembre 2005

Si vous souhaitez publier un extrait de cet article sur votre site, assurez-vous de respecter les conditions générales d'utilisation de WebRankInfo.