Microcontrollers drijven de volgende golf van Edge AI

Tot recent werd machine learning – en zelfs deep learning – beschouwd als het behoud van krachtige servers, met training en inference afgehandeld door gateways, edge-servers, of datacenters. Die visie gold omdat de shift naar het distribueren van berekening tussen cloud en edge nog in de kinderschoenen was. Vandaag de dag hebben doorbraken uit industrie en academie dat paradigma verschoven.

Gevolg: high-performance-processoren die triljoenen operaties per seconde (TOPS) leveren, zijn niet langer een voorwaarde voor ML-workloads. Moderne microcontrollers, velen uitgerust met toegewijde ML-accelerators, brengen intelligente inference nu direct naar edge-apparaten.

Deze controllers voeren ML-taken efficiënt uit, tegen minimale kost en power, verbindend met de cloud alleen wanneer nodig. In essentie markeren microcontrollers met ingesloten ML-accelerators de volgende sprong in het voorzien van sensoren – microfoons, camera's, omgevingsmonitors – van on-device-intelligentie, de hoeksteen van de IoT-waardeketen.

Hoe diep is de edge?

De edge wordt gemeenschappelijk gedefinieerd als het verste punt van de cloud in een IoT-netwerk, vaak vertegenwoordigd door een geavanceerde gateway of edge-server. In realiteit eindigt de edge bij de sensoren zelf – die gepositioneerd zijn dicht bij de eindgebruiker. Het is daarom logisch om zoveel mogelijk analytics direct in die sensoren in te sluiten, een rol waarvoor microcontrollers perfect geschikt zijn.

Single-board-computers kunnen inderdaad edge-processing uitvoeren, wat indrukwekkende prestaties levert en, wanneer geclusterd, kleine-schaal-supercomputers benadert. Toch blijven ze te bulk en duur voor de duizenden units gevraagd door large-scale-deployments. Bovendien vereisen ze externe DC-power – vaak onbeschikbaar in constrained-omgevingen – waar een MCU slechts milliwatts trekt en kan opereren op knoopcelbatterijen of een paar zonnecellen.

Gevolg: het veld van microcontroller-gebaseerde edge ML – bekend als TinyML – is exploderend in populariteit. TinyML streeft ernaar om inference, en uiteindelijk training, op kleine, low-power, resource-constrained apparaten mogelijk te maken, met name microcontrollers, in plaats van te vertrouwen op grotere platforms of de cloud. Dit vereist compacte neurale-netwerkmodellen die passen binnen beperkte verwerkings-, opslag-, en bandbreedtebudgetten terwijl prestaties behouden blijven.

Resource-geoptimaliseerde modellen stellen apparaten in staat om adequate sensordata voor hun taken vast te leggen terwijl nauwkeurigheid fijn-afgesteld wordt en resource-eisen reduceren. Gevolg: hoewel nog steeds data getransmitteerd kan worden – direct naar de cloud of via een edge-gateway – is het volume significant lager omdat voorlopige analyse al op het apparaat uitgevoerd is.

Een veelvoorkomend TinyML-use-case is een camera-gebaseerd object-detectiesysteem dat high-resolutie-afbeeldingen kan vastleggen doch beperkte opslag heeft, wat resolutie-reductie noodzakelijk maakt. Met on-device-analytics, captured de camera alleen de objecten van belang, behoudend hogere resolutie voor de geselecteerde frames. Dit functionaliteitsniveau – ooit gereserveerd voor krachtige hardware – is nu bereikbaar op microcontrollers dankzij TinyML.

Klein maar machtig

Hoewel TinyML een nascent veld is, levert het al indrukwekkende inference – en increasingly, training – prestaties op bescheiden microcontrollers, met verwaarloosbare nauwkeurigheidsverlies. Recente successen spannen stem- en gezichtsherkenning, stem-commando natural-language-processing, en gelijktijdige uitvoering van meerdere gesofisticeerde vision-algoritmen.

Praktisch kan een microcontroller onder $2, met een 500-MHz Arm Cortex-M7-kern en 28KB-128KB geheugen, de prestaties leveren die nodig zijn om sensoren werkelijk intelligent te maken.

Zelfs op deze kost, incorporeren dergelijke microcontrollers robuuste beveiligingsfeatures (AES-128), ondersteunen meerdere externe geheugentypen, Ethernet, USB, SPI, en interfaces voor een reeks sensoren, inclusief Bluetooth, Wi-Fi, SPDIF, en I²C-audio. Een bescheiden prijsverhoging levert typisch een 1-GHz Cortex-M7, 400-MHz Cortex-M4, 2MB RAM, en graphics-acceleratie, allemaal terwijl slechts een paar milliampere uit een 3,3V-voeding getrokken wordt.

Enkele woorden over TOPS

Fabrikanten benchmarken neurale-netwerk-accelerators vaak met een enkele metriek – triljoenen operaties per seconde (TOPS). Hoewel aantrekkelijk, kan deze cijfer misleidend zijn. Het reflecteert raw computationele capaciteit in een gecontroleerde lab-setting en negeert praktische constraints zoals geheugenbandbreedte, CPU-overhead, en data-pre- en post-processing. In real-world deployments kan de haalbare doorvoer 50-60% van de geadverteerde TOPS-waarde zijn.

Bovendien, voor microcontrollers, die typisch slechts 1-3 TOPS bieden, is de metriek nog minder informatief. De echte kracht van deze kleine apparaten ligt in hun strak geïntegreerde Arm Cortex-processoren, ondersteuning voor integer- en floating-point-operaties, en de mogelijkheid om inference-engines zoals TensorFlow Lite met minimale footprint te draaien.

Conclusie

De push om inference direct op of adjacent aan sensoren te draaien – of nu stil- of videocamera's – versnelt naarmate het IoT-ecosysteem beweegt naar edge-centric processing. Rapide vooruitgang in microcontroller-niveau neurale-netwerk-accelerators consolideert AI-functionaliteit met applicatieprocessoren zonder een dramatische stijging in power-verbruik of grootte. Modellen getraind op krachtige CPUs of GPUs kunnen versmald worden met TensorFlow Lite en gedeployed naar microcontrollers, schaalbaar om te voldoen aan groeiende ML-eisen. Binnenkort zal zelfs training op deze apparaten haalbaar zijn, wat microcontrollers positioneert als formidabele concurrenten voor grotere, duurdere systemen.

> Dit artikel was oorspronkelijk gepubliceerd op onze zustersite, EE Times.