Lancement 16 384 apps Windows sur supercalculateur Linux en 5 minutes

• Chercheurs MIT développent modèle lançant simultanément 16 384 applications Windows sur supercalculateurs Linux en 5 minutes.
• Utilisent technologie Lincoln Lab LLMapReduce + couche compatibilité Wine Windows.

Ralentissement loi Moore → traitement parallèle nécessaire pour augmenter performance applications. Réseaux neuronaux, simulation physique, analyse données évoluent vite, utilisant puissance traitement parallèle pour objectifs performance.

Pour apps data-intensive : plusieurs software basés certains OS, comme Microsoft Windows, longue expérience implémentation calcul parallèle.

Mais top 500 supercalculateurs mondiaux tournent Linux, capables exécuter apps interactives milliers cœurs en secondes. Habituellement : machines virtuelles (VMs) pour programmes Windows sur Linux → overhead important apps.

Exécution multiples VMs supercalculateur : plusieurs secondes (parfois minutes) par VM. Scaling milliers cœurs supercalculateur existant → problèmes efficacité/performance, difficile exécuter tonnes apps Windows simultanément.

Équipe MIT : nouvelle technique lancement/exécution rapide apps Windows milliers processeurs supercalculateur moderne. Démonstration : lancement 16 000 apps Windows en 5 min (chaque app gérée par 1 cœur).

Comment ça marche ?

Pour lancement rapide apps Windows sur supercalculateur Linux : technologie Lincoln Lab LLMapReduce (multi-level map-reduce) + couche compatibilité Wine Windows. Pour HPC, multi-level scheduling modifie légèrement code analyse pour traiter nombreux datasets avec single job launch.

Stack logiciel MIT SuperCloud : interface facile accès LLMapReduce pour exécuter efficacement milliers tâches cluster, réduisant scheduling parallèle complexe, résolution dépendances, soumission tâches à une ligne code, augmentant performance tâches minimisant latence chaque tâche.

LLMapReduce n'étant pas language-specific, fonctionne avec tout exécutable → idéal lancer nombreuses instances Wine simultanément.

Composants scheduler SLURM | Crédit chercheurs

Utilisé job scheduler open source Slurm Workload Manager pour : identifier ressources rapides, allouer tâches, planifier exécution ressources allouées, lancer, monitorer tâche running, clean-up épilogue terminaison tâche.

Référence : arXiv:1808.04345

Résultats

Temps lancement & taux lancement instances Windows

Système implémenté supercalculateur 648 nœuds calcul (chaque nœud ≥64 cœurs Xeon Phi) = 41 472 cœurs total. Exécuté instance Windows unique sur 1,2,4,8…256 nœuds, puis 2,4,8…64 instances sur chacun 256 nœuds = 16 384 instances concurrentes total.

Lire : Unités traitement mémoire implémentent efficacement algorithmes IA

Toutes instances : ~5 min exécution, permettant large gamme apps Windows exécutables sur supercalculateurs. Équipe prévoit étendre capacité plus grand nombre processeurs programmes plus divers.