Lanceer 16.384 Windows-apps op een Linux-supercomputer in slechts 5 minuten

• MIT-onderzoekers ontwikkelen een model dat gelijktijdig 16.384 Windows-toepassingen op Linux-supercomputers draait binnen 5 minuten.
• Hiervoor gebruikten ze Lincoln Lab LLMapReduce-technologie samen met Wine Windows-compatibiliteitslaag.

Omdat het tempo van de wet van Moore afneemt, is het noodzakelijk geworden om parallelle verwerking te gebruiken om de toepassingsprestaties te verhogen. Neurale netwerken, fysieke simulatie en data-analyse-applicaties evolueren op een significante snelheid, en ze benutten de kracht van parallelle verwerking om hun prestatiedoelen te bereiken.

Om dergelijke data-intensieve toepassingen uit te voeren, heb je verschillende software nodig gebaseerd op bepaalde besturingssystemen, zoals Microsoft Windows, wat een lange ervaring heeft in het implementeren van parallelle computing.

Echter, de werelds top 500 supercomputers draaien op Linux, en ze zijn in staat om interactieve toepassingen op duizenden cores in seconden uit te voeren. Meestal worden virtuele machines (VM's) gebruikt om Windows-programma's op Linux-computers te draaien, wat veel overhead op de toepassingen legt.

Het uitvoeren van meerdere VM's op een supercomputer kan seconden (soms minuten) per virtuele machine kosten. Het schalen ervan naar duizenden cores in bestaande supercomputers roept zeker efficiëntie- en prestatieproblemen op, wat het moeilijk maakt om tientallen Windows-toepassingen gelijktijdig op een supercomputer te draaien.

Nu heeft een team onderzoekers van MIT een nieuwe techniek bedacht die Windows-toepassingen snel lanceert en uitvoert op duizenden processoren op een moderne supercomputer. In het bijzonder hebben ze de lancering van 16.000 Windows-toepassingen binnen 5 minuten gedemonstreerd (elke toepassing wordt afgehandeld door één core).

Hoe werkt het?

Om Windows-toepassingen snel op een Linux-supercomputer te lanceren, gebruikten onderzoekers Lincoln Lab LLMapReduce (multi-level map-reduce) technologie samen met de Wine Windows-compatibiliteitslaag. Voor high-performance computing verandert multi-level scheduling de analysecode lichtjes om talloze datasets met een enkele job-lancering te verwerken.

MIT SuperCloud software-stack komt met een gebruiksvriendelijke interface die toegang geeft tot LLMapReduce om duizenden taken efficiënt op een cluster uit te voeren, wat complexe parallelle planning, afhankelijkheidsresolutie en taakinzending tot één regel code reduceert, terwijl tegelijkertijd de taakprestaties worden verbeterd door de latentie van elke taak te minimaliseren.

Omdat LLMapReduce niet gebaseerd is op een specifieke taal, werkt het met elke uitvoerbare bestand, wat het ideaal maakt om talloze Wine-instanties gelijktijdig te lanceren.

Componenten van de SLURM-scheduler | Met dank aan de onderzoekers

Ze gebruikten een open-source job-scheduler genaamd Slurm Workload Manager om snel resources te identificeren, ze toe te wijzen aan taken, taakuitvoering op de toegewezen resources te plannen, ze te lanceren, taken te monitoren tijdens het draaien en epilog-schoonmaak uit te voeren wanneer de taak beëindigd is.

Referentie: arXiv:1808.04345

Resultaten

Lanceringstijden & lanceringssnelheden van Windows-instanties

Onderzoekers implementeerden hun systeem op een supercomputer met 648 compute-nodes (elke node heeft minimaal 64 Xeon Phi-verwerkingscores) met een totaal van 41.472 cores. Ze voerden een enkele Windows-instantie uit op 1,2,4,8…256 nodes, gevolgd door 2,4,8…64 instanties op elk van de 256 nodes, wat hen een totaal van 16.384 gelijktijdige instanties gaf.

Al deze instanties namen bijna 5 minuten in beslag, wat een breed scala aan uitvoerbare Windows-toepassingen op supercomputers mogelijk maakt. Het team plannet deze capaciteit uit te breiden naar een groter aantal processoren die meer diverse programma's uitvoeren.

Lees ook: Memory Processing Units kunnen AI-algoritmes efficiënt implementeren