Microcontrollers evolueren om AIoT aan te drijven

Het combineren van AI met IoT levert de AIoT op – een uitbreidend domein waar microcontrollers nu geavanceerde machine learning hosten, dankzij doorbraken in neurale-netwerk-compressie en -optimalisatie. Moderne smartphone-applicatieprocessors voeren routinematig AI-inferentie uit voor taken zoals beeldanalyse en aanbevelingsmotors, wat aantoont dat hoogpresterende ML niet langer beperkt is tot supercomputers.

Een ecosysteem van miljarden IoT-apparaten zal in de komende jaren machine learning-mogelijkheden krijgen (Afbeelding: NXP)

Het implementeren van dergelijke intelligentie op laagstroom-microcontrollers ontgrendelt transformatieve use cases: AI-gedreven hoorapparaten die omgevingsgeluid dempen, slimme apparaten die gebruikers identificeren en gepersonaliseerde profielen toepassen, of sensorknooppunten die jarenlang werken op micro-joule-energiebudgetten. Edge-inferentie vermindert latentie, verbetert databeveiliging en behoudt gebruikersprivacy.

Toch blijft het insluiten van ML op microcontrollers uitdagend. Beperkte SRAM en flash beperken de grootte van neurale modellen, en computationele doorvoer is bescheiden. Rapide vooruitgang in model-kwantisatie en pruning, gekoppeld met vendor-specifieke tooling, vernauwt deze kloof steeds meer.

TinyML krijgt momentum

De snelle expansie van de industrie weerspiegelt zich in de TinyML Summit, een Silicon Valley-evenement dat dit jaar 27 sponsors aantrok vergeleken met 11 vorig jaar, met registratieslots die maanden van tevoren vol zaten. Organisatoren rapporteerden ook een stijging in lidmaatschap voor hun wereldwijde, maandelijkse design-gerichte meetups.

„We zien triljoenen intelligente apparaten aangedreven door TinyML, elk senserend, analyserend en autonoom handelend om gezondere, meer duurzame omgevingen te creëren,” zei Qualcomm's Evgeni Gousev, co-voorzitter van het TinyML-comité, tijdens de opening-keynote.

Hij schrijft deze momentum toe aan meer energie-efficiënte hardware, verfijnde algoritmen en volwassen software-stacks, met een opmerking over een stijging in corporate en venture-capital-investeringen, evenals verhoogde startup-activiteit en M&A.

Het TinyML-comiteit beschouwt de technologie nu als gevalideerd, voorspellend dat vroege AI-geïntegreerde microcontroller-producten binnen 2-3 jaar de markt zullen betreden, terwijl werkelijk transformatieve toepassingen in 3-5 jaar kunnen verschijnen.

Een belangrijke mijlpaal werd vorig voorjaar bereikt toen Google TensorFlow Lite for Microcontrollers onthulde – een lichtgewicht inferentie-engine afgestemd op apparaten met slechts kilobytes RAM. De core runtime inneemt slechts 16 KB op een ARM Cortex-M3, en een complete spraak-keyword-detectiemodel past in 22 KB. De bibliotheek ondersteunt alleen inferentie, geen training.

Industrie-leiders volgen TinyML

Grote microcontroller-vendors volgen TinyML-voortgang nauwgezet, aangezien krimpende neurale modellen hun productkansen uitbreiden. Meestal bieden ze al ML-ondersteuning. Bijvoorbeeld, STMicroelectronics levert STM32Cube.AI, een extensiepakket dat neurale netwerken op zijn STM32 ARM Cortex-M-familie afbeeldt en draait. Renesas biedt de e-AI-ontwikkelomgeving, die modellen vertaalt naar C/C++-compatibele code via zijn e² Studio. NXP rapporteert klanten die machine learning implementeren op hun low-end Kinetis en LPC MCUs, AI integrerend via zowel hardware als software, met name binnen hun crossover-processors die applicatieprocessors en microcontrollers overbruggen.

Arm-Centrische Architectuur

Arm domineert de microcontroller-markt met zijn Cortex-M-serie. De firma introduceerde recent de Cortex-M55-kern, ontworpen voor ML-workloads en gekoppeld met de Ethos-U55 AI-accelerator, beide gericht op ultra-laagstroom, resource-beperkte omgevingen. Samen leveren ze voldoende compute voor gebarenherkenning, biometrie en spraakherkenning.

Samen gebruikt, hebben Arm's Cortex-M55 en Ethos-U55 voldoende verwerkingskracht voor toepassingen zoals gebarenherkenning, biometrie en spraakherkenning (Afbeelding: Arm)

Hoe kunnen kleinere bedrijven zich differentiëren tegen Arm's ingroeide ecosysteem?

XMOS CEO Mark Lippett kwijtte, „Je kunt Arm niet verslaan door nog een Arm-gebaseerde SoC te bouwen – ze excelleren daarin. De enige manier is om architecturale voordelen te introduceren – zowel prestaties als flexibiliteit.” XMOS's Xcore.ai, een crossover-processor voor steminterfaces, illustreert deze filosofie, hoewel het niet direct met microcontrollers concurrert.

Spanning & Frequentie-schaling in ultra-laagstroom-chips

Tijdens de TinyML Summit onthulde Eta Compute de ECM3532 – een ultra-laagstroom-apparaat capabel van always-on beeldverwerking en sensor-fusie met een 100 µW-energiebudget. Het bevat een ARM Cortex-M3-kern en een NXP CoolFlux DSP-kern; een of beide kunnen ML-workloads afhandelen. De sleutelinnovatie van de chip is continue schaling van klokfrequentie en spanning voor beide kernen, wat de noodzaak voor een phase-locked loop elimineert en het stroomverbruik dramatisch verlaagt.

Eta Compute's ECM3532 gebruikt een Arm Cortex-M3-kern plus een NXP CoolFlux DSP-kern. De machine learning-workload kan door een van beide, of beide worden afgehandeld (Afbeelding: Eta Compute)

Met opkomende concurrenten zoals RISC-V, waarom selecteerde Eta Compute een Arm-kern voor zijn ML-versnelling?

Tewksbury legde uit aan EETimes, „Arm's ecosysteem is simpelweg meer volwassen. Het is makkelijker om een product op de markt te brengen met Arm dan met RISC-V op dit moment, hoewel dat kan evolueren. RISC-V excelleert in de Chinese markt, maar wij richten ons op domestieke en Europese klanten waar het Arm-ecosysteem het sterkst is.”

Tewksbury benadrukte dat AIoT een brede, gefragmenteerde markt bestrijkt met talloze niche-toepassingen die bescheiden volumes genereren. Collectief kan de sector echter miljarden apparaten omvatten. Hij benadrukte dat ontwikkelaars de kosten van het maatwerk van oplossingen voor elk use case moeten vermijden; flexibiliteit en gemak van gebruik zijn daarom cruciaal, wat Arm's ecosysteem biedt.

Vorige oktober kondigde Arm aan dat het klanten toestaan zou om custom-instructies te creëren voor gespecialiseerde workloads zoals ML. Deze mogelijkheid, eenmaal toegepast op toekomstige kernen, kan de energie-efficiëntie nog verder reduceren.

Hoewel de huidige M3-kern niet kan profiteren van deze functie, is Tewksbury optimistisch: „Absoluut, we plannen Arm's custom-instructieset in next-generation producten te benutten om de energie-efficiëntie nog verder te duwen.”

Opkomende ISA-opties: RISC-V

RISC-V's open-source ISA elimineert licentiekosten en stelt ontwerpers in staat om proprietaire extensies toe te voegen. Bedrijven kunnen kernen afstemmen op specifieke workloads, IP beschermen zoals nodig. GreenWaves, een Franse startup, gebruikt RISC-V-kernen in zijn GAP8 en GAP9-chips – respectievelijk 8-core en 9-core-clusters. De GAP9-architectuur bevat nu 10 RISC-V-kernen.

De architectuur van GreenWaves' GAP9 ultra-laagstroom AI-chip gebruikt nu 10 RISC-V-kernen (Afbeelding: GreenWaves)

GreenWaves VP Martin Croome vertelde EETimes dat RISC-V's configureerbaarheid op instructieniveau een beslissend voordeel is. Custom-extensies maken significante stroomreducties mogelijk voor ML- en signaalverwerkingstaken. Voor een nieuw bedrijf zou het creëren van dergelijke custom-kernen anders prohitief duur zijn op andere architecturen, waar licentie- of IP-kosten zouden oplopen.

Custom-extensies alleen leveren een 3,6× verbetering in energie-efficiëntie ten opzichte van ongewijzigde RISC-V-kernen. Croome loofde ook RISC-V's moderne, schone ISA, wat implementatiecomplexiteit vermindert en daarmee stroomverbruik. Precieze controle over elke kern's uitvoering is essentieel voor het maximaliseren van energie-efficiëntie – iets wat RISC-V faciliteert.

Croome erkende dat als Arm hetzelfde aanpassingsniveau kon bieden, het de natuurlijke keuze zou zijn. Echter, Arm's volwassen software-toolchain overtreft momenteel RISC-V, hoewel de laatste's ecosysteem snel rijpt.

Samenvattend, hoewel sommigen Arm's dominantie zien eroderen, reageert het bedrijf door custom-extensies toe te staan en ML-gerichte kernen vanaf het begin te ontwikkelen. Zowel Arm- als niet-Arm-oplossingen zijn nu beschikbaar voor ultra-laagstroom AI, en naarmate TinyML-gemeenschappen modelformaten blijven verkleinen en frameworks verfijnen, is de markt klaar om te bloeien.