AI-tool Voorspelt Chip-uitvoeringssnelheid Nauwkeuriger dan Intel's Eigen Model

Een nieuwe machine learning-tool voorspelt hoe lang een computerchip erover doet om specifieke code uit te voeren. Het model is nauwkeuriger dan Intel's eigen voorspellingsmodel.

Het Belang van Cyclusvoorspelling

Het bepalen van het aantal klokcycli dat een processor nodig heeft om een blok assembly-instructies in steady-state uit te voeren, is cruciaal voor zowel prestatie-ingenieurs als compilateur-ontwerpers.

Het ontwikkelen van een analytisch model hiervoor is een extreem complexe taak, vooral in moderne processorarchitecturen waar de taak meer foutgevoelig wordt en voor elke processorgeneratie opnieuw moet worden uitgevoerd.

MIT's Doorbraak: Ithemal, BHive en Vemal

Onderzoekers van MIT hebben een machine learning-tool gebouwd die dit proces automatiseert, waardoor het sneller, eenvoudiger en nauwkeuriger is dan de state-of-the-art handgeschreven tools die momenteel in statische machinecode-analyzers en compilateur-backends worden gebruikt.

Ze beschreven deze nieuwe machine learning-pipeline in drie conferentiepapers:

1. Ithemal: Een neurale netwerkmodel getraind op basisblokken van gelabelde data (blokken rekeninstructies). Het voorspelt vervolgens hoe lang een gegeven microprocessor erover doet om onverwerkte basisblokken uit te voeren.
2. BHive: Om Ithemal te valideren, creëerden onderzoekers een benchmarksuite van basisblokken uit verschillende domeinen zoals cryptografie, compilateurs, machine learning en graphics. Ze verzamelden meer dan 300.000 blokken en staken ze in BHive, een open-source dataset. Testen toonden aan dat Ithemal Intel-processors sneller kon voorspellen dan Intel's eigen prestatiemodel.
3. Vemal: Onderzoekers bouwden een nieuwe methode om automatisch een algoritme genaamd Vemal te creëren dat specifieke code omzet in vectoren voor parallelle computing. Vemal presteert beter dan handgemaakte vectorisatie-algoritmen in industriële compilateurs, inclusief de LLVM-compilateur.

Data in plaats van Documentatie

Intel biedt gedetailleerde documentatie over de chiparchitectuur, maar alleen bepaalde expertonderontwikkelaars creëren prestatiemodellen. En aangezien deze chips proprietair zijn, laat Intel bepaalde informatie weg in de documentatie.

Wat de onderzoekers deden: ze maatten het gemiddelde aantal cycli dat een chip nodig heeft om basisblokinstructies uit te voeren (zoals een specifiek commando uitvoeren, afsluiten, herstarten), met behulp van een neuraal netwerk.

Het neurale netwerk profileert automatisch miljoenen blokken en leert geleidelijk hoe verschillende processorarchitecturen code uitvoeren. In essentie gebruikten de onderzoekers een AI-model om data te analyseren zonder zich te richten op de chipdocumentatie.

Ithemal neemt onziene basisblokken als input en genereert een enkel getal dat aangeeft hoe lang een gegeven processor erover doet om die code uit te voeren.

Resultaten

In het tweede paper toonden de onderzoekers aan dat Ithemal beter presteert dan conventionele handgemaakte modellen. Terwijl de foutmarge van Intel's voorspellingsmodel 20% was, was die van Ithemal 10% op diverse basisblokken over verschillende domeinen.

Het model kan eenvoudig getraind worden op nieuwe architecturen: verzamel meer data van die chip, voer het door de profiler en gebruik die informatie om Ithemal te trainen. Klaar; het model is nu klaar om prestaties te schatten. Het kan leersnelheden voor elke processorarchitectuur leren, inclusief Google's nieuwe Tensor Processing Unit.

Echter, de onderzoekers weten nog steeds niet precies hoe het model voorspellingen maakt, aangezien veel van machine learning een 'black box' is. In een volgende studie zullen ze technieken verkennen om deze modellen te interpreteren.