Google vient de lancer un pavé dans la marre de "j'ai la plus grosse" en donnant quelques statistiques sur sa technique MapReduce ainsi que sons Google File System.
Pour trier 1 terabytes de données sur leur système, soit en utilisant 1000 machines avec MapReduce et le GFS, il ne leur faut que 68 secondes. Pour trier 1 PB, soit 10 trillions d'enregistrements, il leur a fallu 6 heures seulement avec l'aide de 4000 machines cette fois-ci. Chaque enregistrement était un texte de 100 byte et il aura fallu pas moins de 48.000 disques pour stocker ces informations. Autre information amusante, lors de chaque lancement d'un tri de cette envergure, Google perd un disque dans l'opération.
Le but de l'expérience? Aucun, juste de montrer qu'ils sont plus rapides, mais les données restent intéressantes à consulter.
Pour trier 1 terabytes de données sur leur système, soit en utilisant 1000 machines avec MapReduce et le GFS, il ne leur faut que 68 secondes. Pour trier 1 PB, soit 10 trillions d'enregistrements, il leur a fallu 6 heures seulement avec l'aide de 4000 machines cette fois-ci. Chaque enregistrement était un texte de 100 byte et il aura fallu pas moins de 48.000 disques pour stocker ces informations. Autre information amusante, lors de chaque lancement d'un tri de cette envergure, Google perd un disque dans l'opération.
Le but de l'expérience? Aucun, juste de montrer qu'ils sont plus rapides, mais les données restent intéressantes à consulter.
Liens
Sorting 1PB with MapReduce (262 Clics)
Envoyer une nouvelle à un ami