Arm introduceert Cortex-M55 & Ethos-U55: Nieuwe IP-kernen voor TinyML op laagstroom-endpoints

Arm lanceerde vandaag twee high-tech IP-kernen die geavanceerde machine-learning-mogelijkheden brengen naar resource-beperkte endpoints, inclusief IoT en laagstroom-apparaten. De Cortex-M55 microcontroller is de eerste die Arm's Helium vector-verwerkingsmotor integreert, terwijl de Ethos-U55 een compacte versie is van Arm's vlaggenschip Ethos NPUs. Hoewel ontworpen voor gezamenlijke implementatie, kan elke kern onafhankelijk opereren.

Het implementeren van AI op microcontrollers – algemeen aangeduid als TinyML – is steeds kritischer geworden naarmate 5G-netwerken intelligentie aan de edge stimuleren. Experts voorspellen dat de TinyML-markt zal uitbreiden tot miljarden consumenten- en industriële systemen, die realtime inzichten leveren zonder cloud-afhankelijkheid.

„Als we vijf jaar terugkijken, zullen we misschien allemaal het eens zijn dat deze tijd een echte paradigmawisseling in computing markeerde,” zei Thomas Ensergueix, senior director voor IoT en Embedded bij Arm. „We hebben gezien hoe AI binnen een paar jaar data-analyse in de cloud heeft gerevolutioneerd, de meeste van ons hebben een AI-geaugmenteerde smartphone in de zak, en nu is de volgende stap: klaar voor AI overal.”

Slimme huisapparaten zoals slimme speakers zullen steeds meer in staat zijn om machine learning-inferentie zelf uit te voeren (Afbeelding: Sebastian Scholz/Unsplash)

Spraakherkenning, computer vision en andere ML-workloads verschuiven van de cloud naar de microcontroller zelf. Arm's nieuwe kernen richten zich op een groeiend ecosysteem van microcontroller-oplossingen die on-device inferentie prioriteren.

„We weten dat al deze data op endpoint-niveau niet terug naar de cloud kan,” zei Ensergueix. „Videocamera's in het huis of slimme steden genereren letterlijk gigabytes per dag aan data en de infrastructuur is niet gebouwd voor deze upstream dataflow. We zijn overtuigd dat om te schalen naar miljarden of biljoenen IoT-endpoints, we AI-inferentiemogelijkheden direct in het IoT-endpoint nodig hebben. En het moet veilig zijn.”

Cortex-M55

De Cortex-M55 bouwt voort op de betrouwbare Cortex-M-familie, met de hoogste AI-prestaties tot nu toe. Door gebruik te maken van Armv8.1-M-architectuur, ondersteunt het custom instructions die ontwikkelaars in staat stellen de kern te tunen voor specifieke workloads, wat de efficiëntie maximaliseert.

Helium vector-verwerkingstechnologie levert 5× snellere DSP en 15× snellere ML-prestaties ten opzichte van eerdere Cortex-M-generaties.

Custom instructions voor INT8-operaties, inclusief dot-product, versnellen neurale-netwerk-inferentie.

„Een succesvolle AIoT-applicatie hangt niet alleen af van goede compute-prestaties, maar ook van het kunnen krijgen van de juiste data, de juiste coëfficiënten en de juiste machine-learning-gewichten op het juiste moment, dus de geheugeninterface van de processor is geoptimaliseerd om al de data in en uit te kunnen verwerken. Het is veel capabeler dan elke andere Cortex-M-kern op dit aspect,” zei Ensergueix.

De combinatie van Cortex-M55 en Ethos-U55 heeft voldoende verwerkingskracht voor toepassingen zoals gebarenherkenning, biometrie en spraakherkenning (Afbeelding: Arm)

Ethos-U55

De Ethos-U55 is Arm's eerste „micro-NPU”, die tot 0,5 TOPS versnelling levert bij 1 GHz. Configureerbaar van 32 tot 256 MACs, beschikt het over een on-chip gewicht-decoder en DMA voor realtime gewichtsdecompressie, wat de geheugenvoetafdruk vermindert.

In vergelijking met zijn grotere broers – Ethos-N77 (4 TOPS), N57 (2 TOPS) en N37 (1 TOPS) – biedt de U55 een dense, laagstroom-oplossing die geschaald kan worden door meerdere kernen te stapelen.

De Cortex-M55 en Ethos-U55 zijn ontworpen om samen te werken, maar kunnen ook apart gebruikt worden (Afbeelding: Arm)

De twee nieuwe kernen, M55 en U55, zijn ontworpen om in tandem te werken, wat tot 480× versnelling levert ten opzichte van eerdere Cortex-M-apparaten alleen. Voor typische stem-assistent-workloads rapporteert Arm een 50× versnelling en een 25× verbetering in energie-efficiëntie ten opzichte van een Cortex-M7.

„De Cortex-M draait de applicatiesysteemcode en vervolgens, wanneer een neurale-netwerk-workload vereist is, wordt de command-stream in SRAM geplaatst, een interrupt wordt uitgegeven aan de U55, en die neemt over. De U55 loopt tot voltooiing, retourneert resultaten naar SRAM, en dan hervat de Cortex-M de controle. In streaming-scenario's kan de U55 continue audio- of videodata verwerken,” legde Steve Roddy, vice-president van de machine-learning-groep bij Arm, uit.

Silicon gebaseerd op deze nieuwe kernen zou begin 2021 op de markt moeten komen.