Start 16.384 Windows-apps op een Linux-supercomputer in slechts 5 minuten

• MIT-onderzoekers ontwikkelen een model dat binnen 5 minuten tegelijkertijd 16.384 Windows-applicaties op Linux Supercomputers draait. 
• Om dit te doen, gebruikten ze de Lincoln Lab LLMapReduce-technologie in combinatie met de Wine Windows-compatibiliteitslaag.

Omdat het tempo van de wet van Moore afneemt, is het noodzakelijk geworden om parallelle verwerking te gebruiken om de applicatieprestaties te verbeteren. Neurale netwerken, fysieke simulatie en data-analysetoepassingen ontwikkelen zich in een aanzienlijk tempo en maken gebruik van de kracht van parallelle verwerking om hun prestatiedoel te bereiken.

Om dergelijke data-intensieve applicaties uit te voeren, heb je verschillende software nodig die op bepaalde besturingssystemen is gebaseerd, zoals Microsoft Windows, dat een lange ervaring heeft met het implementeren van parallelle computing.

De 500 beste supercomputers ter wereld draaien echter op Linux en zijn in staat om binnen enkele seconden interactieve applicaties op duizenden cores uit te voeren. Meestal worden virtuele machines (VM's) gebruikt om Windows-programma's op Linus-computers uit te voeren, wat veel overhead met zich meebrengt voor de applicaties.

Het uitvoeren van meerdere VM's op een supercomputer kan enkele seconden (soms minuten) per virtuele machine duren. Het opschalen ervan naar duizenden kernen in een bestaande supercomputer leidt zeker tot efficiëntie- en prestatieproblemen, waardoor het moeilijk wordt om talloze Windows-applicaties tegelijkertijd op een supercomputer uit te voeren.

Nu heeft een team van onderzoekers van MIT een nieuwe techniek bedacht die snel Windows-applicaties op duizenden processors op een moderne supercomputer start en uitvoert. Ze hebben met name de lancering aangetoond van 16.000 Windows-applicaties binnen 5 minuten (elke applicatie wordt afgehandeld door één kern).

Hoe werkt het?

Om Windows-applicaties snel op een Linux-supercomputer te lanceren, gebruikten onderzoekers Lincoln Lab LLMapReduce-technologie (multi-level map-reduce) samen met de Wine Windows-compatibiliteitslaag. Voor high-performance computing verandert planning op meerdere niveaus de analysecode enigszins, zodat meerdere datasets met één enkele taak kunnen worden verwerkt.

De MIT SuperCloud-softwarestack wordt geleverd met een eenvoudig te gebruiken interface die toegang geeft tot LLMapReduce om duizenden taken efficiënt op een cluster uit te voeren, waardoor complexe parallelle planning, afhankelijkheidsresolutie en taken voor het indienen van taken worden teruggebracht tot één regel code, terwijl tegelijkertijd de taakprestaties worden verbeterd door de latentie van elke taak te minimaliseren.

Omdat LLMapReduce niet op een specifieke taal is gebaseerd, werkt het met elk uitvoerbaar bestand, wat het ideaal maakt om meerdere Wine-instanties tegelijkertijd te starten.

Onderdelen van de SLURM-planner | Met dank aan onderzoekers

Ze gebruikten een opensource-taakplanner genaamd Slurm Workload Manager om snel bronnen te identificeren, deze aan taken toe te wijzen, de uitvoering van taken op de toegewezen bronnen te plannen, ze te starten, taken te monitoren terwijl deze actief zijn en epilog-opschoningen uit te voeren wanneer de taak wordt beëindigd.

Referentie:arXiv:1808.04345

Resultaten

Opstarttijden en opstartsnelheden van Windows-instanties

Onderzoekers implementeerden hun systeem op een supercomputer met 648 rekennodes (elk knooppunt heeft maar liefst 64 Xeon Phi-verwerkingskernen) met in totaal 41.472 kernen. Ze voerden een enkele Window-instantie uit op 1,2,4,8...256 knooppunten, gevolgd door 2,4,8...64 instanties op elk van de 256 knooppunten, wat hen een totaal van 16.384 gelijktijdige instanties opleverde.

Lees:Geheugenverwerkingseenheden kunnen AI-algoritmen efficiënt implementeren

Het duurde bijna vijf minuten om al deze instances uit te voeren, waardoor een breed scala aan uitvoerbare Windows-applicaties op supercomputers mogelijk werd. Het team is van plan deze mogelijkheid uit te breiden naar een groter aantal processors die meer uiteenlopende programma's uitvoeren.