TinyML-community streeft naar 1-mW AI voor edge-apparaten

toen de TinyML-groep zijn eerste bijeenkomst hield, was de eerste order van de dag een simpele vraag: Wat is TinyML precies?

TinyML is een community van ingenieurs gewijd aan het laten draaien van machine learning (ML) op ultra-laag-vermogen apparaten. De eerste bijeenkomst focuste op of ML geïmplementeerd kan worden op microcontrollers en of gespecialiseerde low-power ML-processoren nodig zijn.

Evgeni Gousev van Qualcomm AI Research definieerde TinyML als ML-technieken die 1 mW of minder consumeren. Hij noemde 1 mW het "magische nummer" voor always-on toepassingen in smartphones.

"Terwijl cloud ML het gesprek domineert, wordt ML op het apparaat steeds geavanceerder," merkte Gousev op. "Maar 90% van de data ontstaat in de echte wereld. Hoe voegen we alle camera's, IMU's en andere sensoren samen en draaien we ML lokaal?"

"TinyML gaat groot worden, en er is een urgente behoefte om het hele ecosysteem te bouwen - applicaties, software, tools, algoritmes, hardware, ASICs, apparaten, fabs, en meer," voegde Gousev toe.

Google-ingenieur Nat Jefferies presenteert bij de eerste TinyML-bijeenkomst (Afbeelding: TinyML)

TensorFlow Lite

Google-ingenieur Daniel Situnayake introduceerde TensorFlow Lite, een lichtgewicht versie van TensorFlow afgestemd op edge-apparaten, inclusief microcontrollers.

"TensorFlow Lite heeft mobiele telefoons jarenlang gediend, en we zijn nu opgewonden om het naar nog kleinere apparaten te brengen," zei hij.

Na het trainen van een model in TensorFlow, converteren ingenieurs het naar TensorFlow Lite, wat het model krimpt, kwantisatie toepast, en het op andere manieren optimaliseert om comfortabel op de target-hardware te passen.

Energiebesparende strategie die hij beschreef is het koppelen van modellen aan elkaar.

"Beeld een cascade van classifiers: een tiny, laag-vermogen model detecteert eerst of geluid aanwezig is, dan bepaalt een iets groter model of het menselijke spraak is, en tenslotte activeert een dieper netwerk alleen wanneer die voorwaarden vervuld zijn," legde Situnayake uit. "Door het energie-intensieve model alleen te wekken wanneer nodig, behalen we substantiële energiebesparingen."

Cascaderende machine-learning-modellen kunnen helpen energie besparen (Afbeelding: Google)

Nat Jefferies, een lid van Google's "TensorFlow Lite voor microcontrollers" team, benadrukte de groeiende vraag naar strikte energie-budgetten in consumentenapparaten die geavanceerde sensoren hebben maar nog steeds vertrouwen op langdurige batterijen of energie-opeen.

"TinyML - deep learning op microcontrollers - is de sleutel," zei hij. "Het laat ons sensordata lokaal verwerken met minimaal CPU-cycli en sensor-reads, wat de energiekost van off-chip-transmissie vermijdt. TinyML kan ruwe sensordata destilleren in een paar bytes, en dan alleen die gecomprimeerde payload transmitteren."

Hij citeerde een recente Google-uitdaging die indrukwekkende inzendingen aantrok voor 250 kB-modellen capabel van persoonsdetectie, wat de haalbaarheid van deze benadering bevestigt.

"We kunnen nu TensorFlow-modellen inkrimpen tot het punt dat ze op microcontrollers passen, wat dit een gunstig moment maakt om in de ruimte te springen," concludeerde Jefferies.

Google's roadmap voor TensorFlow Lite op microcontrollers omvat open-sourcing van demo-projecten, samenwerken met chipverkopers om kernels te optimaliseren, geheugengebruik verminderen om complexere modellen te draaien, en platform-ondersteuning uitbreiden - SparkFun Edge is het eerste bord, met Arduino en Mbed-ondersteuning op de horizon.

Specialistische Apparaten

Martin Croome, VP Business Development bij GreenWaves Technologies, pleitte voor gespecialiseerde low-power ML-processoren.

"We hebben een helderder focus nodig op ultra-laag-vermogen ML vanuit zowel algoritmisch als hardware-perspectief," zei Croome.

GreenWaves' RISC-V-applicatieprocessor, de GAP8, richt zich op inferentie in edge-apparaten met milliwatt-stroomverbruik en ultra-laag standby-stromen. De chip is ontworpen voor batterij-gevoede apparaten en die die energie oogsten.

GreenWaves' ultra-laag-vermogen machine-learning-accelerator met negen RISC-V-kernen (Afbeelding: GreenWaves Technologies)

Om verbruik laag te houden, gebruikt de GAP8 parallelisme niet voor snelheid maar om een lagere klokfrequentie en spanning mogelijk te maken. De chip's hardware-accelerator kan een 5x5-convolutie op 16-bit-data in een enkele cyclus uitvoeren. Omdat convolutionele neurale netwerken (CNNs) fixed-size inputs en gewichten gebruiken, kan geheugenbeheer bij compilatie bepaald worden, wat runtime-overhead verder vermindert.

Balanceren van specialisatie met flexibiliteit is een uitdaging. "AI evolueert snel. Wat vandaag cutting-edge is, kan morgen verouderd zijn," waarschuwde Croome. "We moeten over-specialisatie vermijden, zodat we agiel blijven en kunnen aanpassen aan toekomstige innovaties."

De GAP8 is al een jaar in sampling; productie begint deze maand, met volume-shipments gepland voor het einde van Q3.

TinyML-bijeenkomsten worden gehouden op de laatste donderdag van elke maand in de Bay Area en welkom deelnemers uit industrie en academie.