AI-modellen in microcontrollers persen

Wat krijg je als je AI kruist met het IoT? De kunstmatige intelligentie van dingen (AIoT) is het simpele antwoord, maar je krijgt ook een enorm nieuw toepassingsgebied voor microcontrollers, mogelijk gemaakt door de vooruitgang in neurale netwerktechnieken, wat betekent dat machine learning niet langer beperkt is tot de wereld van supercomputers. Tegenwoordig kunnen applicatieprocessors van smartphones AI-inferentie uitvoeren voor beeldverwerking, aanbevelingsengines en andere complexe functies.

Het brengen van dit soort mogelijkheden naar de bescheiden microcontroller biedt een enorme kans. Stel je een hoortoestel voor dat AI kan gebruiken om achtergrondgeluid van gesprekken te filteren, slimme huishoudelijke apparaten die het gezicht van de gebruiker kunnen herkennen en overschakelen naar hun persoonlijke instellingen, en AI-compatibele sensornodes die jarenlang kunnen werken op de kleinste batterijen. Het verwerken van de gegevens op het eindpunt biedt voordelen op het gebied van latentie, beveiliging en privacy die niet kunnen worden genegeerd.

Samen gebruikt, hebben Arm's Cortex-M55 en Ethos-U55 voldoende verwerkingskracht voor toepassingen zoals gebarenherkenning, biometrie en spraakherkenning ( Afbeelding:arm)

Het bereiken van zinvolle machine learning met apparaten op microcontroller-niveau is echter geen gemakkelijke taak. Geheugen, een belangrijk criterium voor AI-berekeningen, is bijvoorbeeld vaak ernstig beperkt. Maar datawetenschap vordert snel om de modelgrootte te verkleinen, en apparaat- en IP-leveranciers reageren door tools te ontwikkelen en functies op te nemen die zijn afgestemd op de eisen van moderne machine learning.

TinyML gaat van start

Als teken van de snelle groei van deze sector wordt de TinyML Summit, een nieuw branche-evenement dat in februari in Silicon Valley wordt gehouden, steeds sterker. De eerste top, die vorig jaar werd gehouden, had 11 sponsorbedrijven; Het evenement van dit jaar had 27, en volgens de organisatoren waren de slots veel eerder uitverkocht. De opkomst bij TinyML's wereldwijde maandelijkse bijeenkomsten voor ontwerpers is enorm gegroeid, aldus de organisatoren.

"We zien een nieuwe wereld met biljoenen intelligente apparaten mogelijk gemaakt door TinyML-technologieën die samen detecteren, analyseren en autonoom handelen om een ​​gezondere en duurzamere omgeving voor iedereen te creëren", zegt Qualcomm Senior Director Evgeni Gousev, co-voorzitter van het TinyML Committee , in zijn openingstoespraak op een recente conferentie.

Gousev schreef deze groei toe aan de ontwikkeling van energiezuinigere hardware en algoritmen, gecombineerd met meer volwassen softwaretools. Bedrijfs- en durfkapitaalinvesteringen nemen toe, evenals startups en fusies en overnames, merkte hij op.

De ECM3532 van Eta Compute gebruikt een Arm Cortex-M3-kern plus een NXP CoolFlux DSP-kern. De machine learning-werklast kan door een van beide of door beide worden afgehandeld (Afbeelding:Eta Compute)

Vandaag is de TinyML-commissie van mening dat de technologie is gevalideerd en dat de eerste producten die machine learning in microcontrollers gebruiken, binnen twee tot drie jaar op de markt moeten komen. Er wordt gedacht dat 'Killer-apps' drie tot vijf jaar verwijderd zijn.

Een groot deel van de technische validatie kwam afgelopen lente toen Google voor het eerst een versie van zijn TensorFlow-framework voor microcontrollers demonstreerde. TensorFlow Lite voor Microcontrollers is ontworpen om te draaien op apparaten met slechts kilobytes geheugen (de kernruntime past in 16 KB op een Arm Cortex-M3; met voldoende operators om een ​​spraaksleutelwoorddetectiemodel te draaien, neemt het in totaal 22 KB in beslag ). Het ondersteunt gevolgtrekking, maar geen training.

Grote spelers

De grote makers van microcontrollers volgen natuurlijk de ontwikkelingen in de TinyML-gemeenschap met belangstelling. Naarmate onderzoek ervoor zorgt dat neurale netwerkmodellen kleiner worden, worden de kansen groter. De meeste hebben een soort van ondersteuning voor toepassingen voor machine learning. STMicroelectronics heeft bijvoorbeeld een uitbreidingspakket, STM32Cube.AI, dat het mogelijk maakt om neurale netwerken in kaart te brengen en uit te voeren op zijn STM32-familie van op Arm Cortex-M gebaseerde microcontrollers.

Met de e-AI-ontwikkelomgeving van Renesas Electronics kan AI-inferentie worden geïmplementeerd op microcontrollers. Het vertaalt het model effectief in een vorm die bruikbaar is in de e2-studio van het bedrijf, compatibel met C/C++-projecten.

NXP Semiconductors zei dat het klanten heeft die de lagere Kinetis- en LPC-MCU's gebruiken voor machine learning-toepassingen. Het bedrijf omarmt AI met hardware- en softwareoplossingen, zij het voornamelijk gericht op zijn grotere applicatieprocessors en crossover-processors (tussen applicatieprocessors en microcontrollers).

Sterk gewapend

De meeste gevestigde bedrijven op het gebied van microcontrollers hebben één ding gemeen:Arm. De embedded-processor-core gigant domineert de markt voor microcontrollers met zijn Cortex-M-serie. Het bedrijf heeft onlangs de gloednieuwe Cortex-M55-kern aangekondigd, die speciaal is ontworpen voor machine learning-toepassingen, vooral wanneer deze wordt gebruikt in combinatie met Arm's Ethos-U55 AI-versneller. Beide zijn ontworpen voor omgevingen met beperkte middelen. Maar hoe kunnen startups en kleinere bedrijven proberen te concurreren met de grote spelers op deze markt?

"Niet door op Arm gebaseerde SoC's te bouwen, want [de dominante spelers] doen dat heel goed", lachte XMOS-CEO Mark Lippett. "De enige manier om tegen die jongens te concurreren, is door een architectonisch voordeel te hebben ... [dat betekent] de intrinsieke mogelijkheden van de Xcore in termen van prestaties, maar ook de flexibiliteit."

XMOS's Xcore.ai, de nieuw uitgebrachte crossover-processor voor spraakinterfaces, zal niet rechtstreeks concurreren met microcontrollers, maar het sentiment geldt nog steeds. Elk bedrijf dat een op Arm gebaseerde SoC maakt om te concurreren met de grote jongens, kan maar beter iets heel speciaals in zijn geheime saus hebben.

>> Lees pagina twee hiervan verder artikel oorspronkelijk gepubliceerd op onze zustersite, EE Times Europe.