Lancez 16 384 applications Windows sur un superordinateur Linux en seulement 5 minutes

• Les chercheurs du MIT développent un modèle qui exécute simultanément 16 384 applications Windows sur des superordinateurs Linux en 5 minutes. 
• Pour ce faire, ils ont utilisé la technologie Lincoln Lab LLMapReduce ainsi que la couche de compatibilité Wine Windows.

Le rythme de la loi de Moore diminuant, il est devenu nécessaire d’utiliser le traitement parallèle pour augmenter les performances des applications. Les applications de réseaux neuronaux, de simulation physique et d'analyse de données évoluent à un rythme considérable et utilisent la puissance du traitement parallèle pour atteindre leur objectif de performance.

Pour exécuter de telles applications gourmandes en données, vous avez besoin de plusieurs logiciels basés sur certains systèmes d'exploitation, comme Microsoft Windows, qui possède une longue expérience dans la mise en œuvre du calcul parallèle.

Cependant, les 500 meilleurs superordinateurs du monde fonctionnent sous Linux et sont capables d’exécuter des applications interactives sur des milliers de cœurs en quelques secondes. Habituellement, les machines virtuelles (VM) sont utilisées pour exécuter des programmes Windows sur les ordinateurs Linus, ce qui impose une surcharge importante aux applications.

L'exécution de plusieurs machines virtuelles sur un superordinateur peut prendre plusieurs secondes (parfois quelques minutes) par machine virtuelle. Leur mise à l'échelle sur des milliers de cœurs dans un supercalculateur existant soulève certainement des problèmes d'efficacité et de performances, ce qui rend difficile l'exécution simultanée de tonnes d'applications Windows sur un supercalculateur.

Aujourd'hui, une équipe de chercheurs du MIT a mis au point une nouvelle technique qui lance et exécute rapidement une application Windows sur des milliers de processeurs sur un superordinateur moderne. Ils ont notamment démontré le lancement de 16 000 applications Windows en 5 minutes (chaque application est gérée par un cœur).

Comment ça marche ?

Pour lancer rapidement des applications Windows sur un superordinateur Linux, les chercheurs ont utilisé la technologie Lincoln Lab LLMapReduce (réduction de carte multi-niveaux) ainsi que la couche de compatibilité Wine Windows. Pour le calcul haute performance, la planification multiniveau modifie légèrement le code d'analyse pour traiter de nombreux ensembles de données avec un seul lancement de tâche.

La pile logicielle MIT SuperCloud est livrée avec une interface facile à utiliser qui donne accès à LLMapReduce pour exécuter efficacement des milliers de tâches sur un cluster, réduisant ainsi la planification parallèle complexe, la résolution des dépendances et les tâches de soumission de tâches à une seule ligne de code, tout en augmentant simultanément les performances des tâches en minimisant la latence de chaque tâche.

Étant donné que LLMapReduce n'est basé sur aucun langage spécifique, il fonctionne avec n'importe quel exécutable, ce qui le rend idéal pour lancer plusieurs instances Wine simultanément.

Composants du planificateur SLURM | Avec l'aimable autorisation des chercheurs

Ils ont utilisé un planificateur de tâches open source appelé Slurm Workload Manager pour identifier rapidement les ressources, les allouer aux tâches, planifier l'exécution des tâches sur les ressources qui leur sont allouées, les lancer, surveiller la tâche pendant son exécution et effectuer le nettoyage de l'épilogue une fois la tâche terminée.

Référence :arXiv:1808.04345

Résultats

Horaires et taux de lancement des instances Windows

Les chercheurs ont implémenté leur système sur un supercalculateur contenant 648 nœuds de calcul (chaque nœud possède pas moins de 64 cœurs de traitement Xeon Phi) pour un total de 41 472 cœurs. Ils ont exécuté une seule instance Window sur 1,2,4,8…256 nœuds, suivie de 2,4,8…64 instances sur chacun des 256 nœuds, ce qui leur a donné un total de 16 384 instances simultanées.

Lire :Les unités de traitement de mémoire peuvent implémenter efficacement des algorithmes d'IA

L'exécution de toutes ces instances a pris près de 5 minutes, permettant ainsi une large gamme d'applications Windows exécutables sur les superordinateurs. L'équipe prévoit d'étendre cette capacité à un plus grand nombre de processeurs exécutant des programmes plus diversifiés.