Armkernen ontworpen voor TinyML-apparaten

Arm heeft twee nieuwe IP-cores onthuld die zijn ontworpen om machine learning in endpoint-apparaten, IoT-apparaten en andere energiezuinige, kostengevoelige toepassingen mogelijk te maken. De kern van de Cortex-M55-microcontroller is de eerste die gebruikmaakt van Arm's Helium-vectorverwerkingstechnologie, terwijl de Ethos-U55 machine learning-versneller een microversie is van de bestaande Ethos NPU-familie (neural processing unit) van het bedrijf. De twee kernen zijn ontworpen om samen te worden gebruikt, maar ze kunnen ook afzonderlijk worden gebruikt.

Het inschakelen van AI- en machine learning-toepassingen op microcontrollers en andere kostengevoelige, energiezuinige apparaten met beperkte middelen staat bekend als de tinyML-sector. Met de opkomst van 5G die een trend in gang zet voor meer intelligentie in eindpuntapparaten, zal tinyML naar verwachting exponentieel groeien tot een markt die miljarden consumenten- en industriële systemen omvat.

"Als we over vijf jaar terugkijken, zijn we het er allemaal over eens dat deze tijd een echte paradigmaverandering in de informatica betekende", zegt Thomas Ensergueix, senior director voor IoT en Embedded, Arm. "We hebben binnen een paar jaar gezien hoe AI een revolutie teweeg heeft gebracht in de manier waarop data-analyse in de cloud wordt uitgevoerd, de meesten van ons hebben een AI-verbeterde smartphone op zak, en nu is hier de volgende stap, ons voorbereiden op AI overal."

Slimme apparaten voor thuisgebruik, zoals slimme luidsprekers, zullen in toenemende mate zelf inferentie door machine learning kunnen uitvoeren (Afbeelding:Sebastian Scholz/Unsplash)

Machine learning, inclusief spraakherkenning en computer vision toepassingen, zal steeds meer in de microcontroller plaatsvinden. Een reeks microcontroller-alternatieven komt op, gebaseerd op Arm-cores en andere, waarop Arm zich richt met deze twee nieuwe cores.

"We weten dat al deze gegevens op eindpuntniveau niet terug kunnen naar de cloud", zegt Ensergueix. “Videocamera's in huis of slimme stad creëren letterlijk gigabytes per dag aan data en de infrastructuur is niet gebouwd voor deze upstream datastroom. We zijn ervan overtuigd dat wat we nodig hebben om te schalen naar miljarden of biljoenen IoT-eindpunten, we AI-inferentiemogelijkheden nodig hebben direct in het IoT-eindpunt. En het moet veilig zijn.”

Cortex-M55

De nieuwste toevoeging aan Arms bekende Cortex-M-serie voor microcontrollers, de Cortex M-55 is ontworpen als Arms meest AI-compatibele Cortex-M-kern.

De M55 is de eerste die gebruikmaakt van Arms nieuwe Helium-vectorverwerkingstechnologie, die 5x snellere DSP-prestaties en 15x snellere ML-prestaties belooft in vergelijking met eerdere Cortex-M-generaties. Op basis van de Armv8.1-M-architectuur kunnen aangepaste instructies worden gemaakt om de processor te optimaliseren voor specifieke workloads, misschien om elke laatste druppel stroom eruit te persen.

Door de M55 en U55 te combineren, profiteert u van het verhoogde DSP-vermogen van de M55, dat kan worden gebruikt voor signaalvoorverwerking. De M55 kan echter zelf neurale netwerkworkloads uitvoeren. Het bevat speciale instructies voor INT8-nummers, inclusief puntproduct, dat vaak wordt gebruikt in toepassingen voor machine learning.

Een succesvolle AIoT-toepassing "hangt niet alleen af ​​van goede rekenprestaties, maar ook van het kunnen krijgen van de juiste gegevens, de juiste coëfficiënten en de juiste machine learning-gewichten op het juiste moment, dus de geheugeninterface van de processor is geoptimaliseerd om te kunnen verwerken van alle gegevens in en uit. Het is veel capabeler dan elke andere Cortex-M-kern op dit gebied, "zei Ensergueix.

De combinatie van Cortex-M55 en Ethos-U55 heeft voldoende rekenkracht voor toepassingen als gebarenherkenning, biometrie en spraakherkenning (Afbeelding:Arm)

Ethos-U55

De Ethos-U55 wordt aangekondigd als Arm's eerste 'micro-NPU', met een acceleratie tot 0,5 TOPS (gebaseerd op kleinere geometrieën zoals 16 of 7 nm, draaiend op 1 GHz). Arm heeft nog geen energie-efficiëntiecijfers vrijgegeven (TOPS/W). Het is configureerbaar — er kunnen 32 tot 256 multi-accumulate units (MAC's) worden gebruikt — en het heeft een gewichtsdecoder en directe geheugentoegang voor on-the-fly gewichtsdecompressie.

De Ethos-U55 voegt zich bij de Ethos N77, N57 en N37 die in vergelijking respectievelijk 4, 2 en 1 TOPS bieden. De prestaties kunnen worden opgeschaald door meerdere Ethos-kernen te gebruiken.

De Cortex-M55 en Ethos-U55 zijn ontworpen om samen te worden gebruikt, maar kunnen ook afzonderlijk worden gebruikt (Afbeelding:Arm)

De twee nieuwe cores, M55 en U55, zijn ontworpen om samen te worden gebruikt, waar ze ML-taken 480x sneller kunnen verwerken dan elk Cortex-M-apparaat van de vorige generatie alleen. Arm zegt dat typische cijfers voor een end-to-end spraakassistent-applicatie met ML 50x sneller zijn dan alleen een Cortex-M7, en 25x meer energie-efficiëntie.

"De Cortex-M zou de code van het applicatiesysteem uitvoeren en wanneer verwerking van een neuraal netwerkwerkbelasting vereist is, wordt de opdrachtstroom daarvoor in SRAM geplaatst, wordt een onderbreking gegeven aan de U55 en er staat, hier, ga hieraan werken command stream', legt Steve Roddy uit, vice-president van de machine learning-groep bij Arm. “Dat kan een enkele gevolgtrekking zijn van een enkel model. De U55 loopt tot het einde, zet de resultaten terug in SRAM en laat de Cortex-M het overnemen. Of het kan het soort situatie zijn waarin je continu aan het rennen bent terwijl je bezig bent met een soort verwerking van streaminggegevens, misschien audio of video."

Silicium op basis van deze nieuwe kernen zou begin 2021 op de markt moeten komen.