Technische groep wil 1mW AI naar de rand duwen

Toen de TinyML-groep onlangs haar inaugurele vergadering bijeenriep, moesten de leden een aantal fundamentele vragen aanpakken, te beginnen met:Wat is TinyML?

TinyML is een gemeenschap van ingenieurs die zich richten op de beste manier om machine learning (ML) te implementeren in systemen met een ultralaag stroomverbruik. De eerste van hun maandelijkse bijeenkomsten was gewijd aan het definiëren van de kwestie. Is machine learning haalbaar voor apparaten met een laag energieverbruik, zoals microcontrollers? En zijn gespecialiseerde ultra-low-power machine learning-processors vereist?

Evgeni Gousev van Qualcomm AI Research definieerde TinyML als machine learning (ML)-benaderingen die 1 mW of minder verbruiken. Gousev zei dat 1mW het "magische getal" is voor always-on applicaties op smartphones.

"Er wordt veel gepraat over cloud ML, terwijl ML op smartphoneniveau steeds geavanceerder wordt", zei hij. “Maar als je naar de data kijkt, bevindt 90 procent van de data zich in de echte wereld. Hoe sluit je al deze camera's, IMU's en andere sensoren aan en doe je ML op dat niveau?”

"Tiny ML wordt groot en er is een echte, dringende behoefte om het hele ecosysteem van kleine ML aan te sturen, inclusief applicaties, software, tools, algoritmen, hardware, ASIC's, apparaten, fabs en al het andere", zei Gousev. .

Google-ingenieur Nat Jefferies presenteert op de eerste TinyML-meetup (Afbeelding:TinyML)

TensorFlow Lite

Google-ingenieur Daniel Situnayake presenteerde een overzicht van TensorFlow Lite, een versie van Google's TensorFlow-framework dat is ontworpen voor edge-apparaten, waaronder microcontrollers.

"TensorFlow Lite is gericht op mobiele telefoons, maar we zijn enthousiast over het gebruik ervan op steeds kleinere apparaten", zei hij.

Na het bouwen van een model in TensorFlow, kunnen ingenieurs het door de Tensor Flow Lite-converter leiden, die "het kleiner maakt en dingen doet als kwantisering, waardoor je de grootte en precisie van het model kunt verkleinen tot een schaal waarop het comfortabel past. op het apparaat waarop u zich richt,' zei hij.

Situnayake beschreef een techniek die kan worden gebruikt om de energie-efficiëntie te verhogen, waarbij modellen aan elkaar worden gekoppeld.

"Stel je een trapsgewijze model van classificaties voor waarbij je een heel laag stroommodel hebt dat nauwelijks stroom gebruikt om te detecteren of er een geluid aan de gang is, en dan een ander model dat meer energie kost om te rennen, dat uitzoekt of het menselijke spraak is of niet," hij legde uit. “Dan een dieper netwerk dat pas wakker wordt als aan deze voorwaarden wordt voldaan, dat meer kracht en middelen verbruikt. Door deze aan elkaar te koppelen, wekt u de [energie-intensieve] alleen wanneer dat nodig is, zodat u grote besparingen op energie-efficiëntie kunt realiseren."

Trapsgewijze machine learning-modellen kunnen helpen energie te besparen (Afbeelding:Google)

Nat Jefferies, een ingenieur van het 'TensorFlow Lite for microcontrollers'-team van Google, beschreef de trend van strikte eisen op het gebied van energieverbruik in moderne consumentengadgets, ondanks geavanceerde functies en geavanceerde sensorsystemen. Deze gadgets kunnen werken op batterijen die maanden of jaren mee moeten gaan, of ze gebruiken energieopwekking.

"We denken dat de beste oplossing hiervoor Tiny ML is - deep learning op microcontrollers," zei hij. "Dit stelt ons in staat om CPU-cycli en sensoruitlezingen uit te voeren, die [niet veel stroom vergen], in tegenstelling tot het verzenden van alle informatie off-chip ... TinyML kan worden gebruikt om de sensorgegevens te condenseren tot slechts een paar bytes, die u kan dan sturen... voor slechts een fractie van het vermogen,” zei hij.

Een recente Google-uitdaging waarbij deelnemers modellen van 250 kbyte ontwikkelden om persoonsdetectie te doen, ontving veel indrukwekkende inzendingen en "bevestigt dat wat we doen zinvol is", zei Jefferies.

"Momenteel zijn we in staat om TensorFlow-modellen te verkleinen tot het punt waarop we ze op microcontrollers kunnen passen, en daarom is dit een uitstekende tijd om op dit gebied te zijn," zei hij. "We zijn verheugd om dit proces een vliegende start te geven."

Google's roadmap voor TensorFlow Lite op microcontrollers omvat het open sourcen van een aantal van Google's demo's, het werken met chipleveranciers om kernels te optimaliseren, het optimaliseren van het geheugengebruik van TensorFlow Lite om geavanceerdere modellen op dezelfde apparaten uit te voeren, en het mogelijk maken van meer ontwikkelingsplatforms (SparkFun Edge is de enige board tot nu toe ondersteund, maar ondersteuning voor Arduino en Mbed-boards komt binnenkort).

Gespecialiseerde apparaten Martin Croome, VP Business Development, GreenWaves Technologies, presenteerde de pleidooi voor gespecialiseerde low-power applicatieprocessors voor ML. Croome was het ermee eens dat de discussie in de branche over hoe verder te gaan met ultra-low-power machine learning te laat was.

"We hebben dringend meer focus nodig op dit gebied, zowel vanuit het algoritmische perspectief als vanuit onze [hardware] wereld", zei hij.

GreenWaves heeft een RISC-V-toepassingsprocessor ontwikkeld, GAP8, die is gericht op inferentie in edge-apparaten die milliWatt aan stroom verbruiken en ultralage stand-bystromen biedt. Het bedrijf richt zich zowel op op batterijen werkende apparaten als op apparaten die energie gebruiken (lees meer over hoe de GreenWaves-chip werkt in ons eerdere artikel).

GreenWaves' ultra-low-power machine learning accelerator heeft negen RISC-V cores (Afbeelding:GreenWaves Technologies)

Er worden verschillende technieken gebruikt om het stroomverbruik laag te houden. Dit omvat parallellisatie, maar niet om de zaken te versnellen; Er worden 8 cores gebruikt om een ​​langzamere kloksnelheid mogelijk te maken, waardoor de core-spanning daalt, wat energie bespaart (in de praktijk wordt de klokfrequentie dynamisch aangepast, afhankelijk van de belasting).

De chip is gericht op convolutionele neurale netwerken (CNN's), met een hardwareversneller die een 5×5-convolutie uitvoert op 16-bits gegevens in een enkele klokcyclus (exclusief terugschrijven). Expliciet geheugenbeheer is gebaseerd op de aard van CNN's, die veel worden gebruikt voor beeldverwerking; beeldsensoren hebben een vaste grootte, inferentie vereist hetzelfde aantal gewichten en het resultaat is altijd dezelfde grootte. Een tool kan daarom code genereren voor alle gegevensverplaatsing tijdens het compileren.

Croome erkende dat voldoende specialiseren om ML-workloads effectief te verwerken en tegelijkertijd voldoende flexibiliteit te behouden om te reageren op technologische vooruitgang een lastig evenwicht is.

“De reikwijdte van AI gaat ongelooflijk snel vooruit. Het geweldige idee van vandaag over hoe dingen te doen, is waarschijnlijk niet wat het geweldige idee van morgen zal zijn, "zei Croome. “Als we ons te veel specialiseren, zijn we supergoed in het versnellen van wat iedereen vorig jaar deed, wat niet goed is voor een bedrijf. Daarom proberen we het verschil tussen flexibiliteit, programmeerbaarheid en versnelling te balanceren.”

De chip van GreenWaves wordt al een jaar bemonsterd, de productie begint deze maand en zal tegen het einde van het derde kwartaal in grote hoeveelheden naar klanten worden verzonden, zei Croome.

TinyML-bijeenkomsten worden gehouden op de laatste donderdag van elke maand in de Bay Area en staan ​​open voor deelnemers uit zowel de industrie als de academische wereld.