Op naar een nieuw niveau van Edge AI

De evolutionaire fase van technologieën is een vertrouwde plek, en AI, de belangrijkste technologie van de afgelopen jaren, is niet anders. In AI - nieuwe generaties voegen meer MAC's toe, meerdere kwantiseringslagen, deze functie, die functie - allemaal om verbeterde TOPS/Watt na te jagen.

We hebben met succes AI-at-the-edge-oplossingen op verschillende markten geïntroduceerd via ons CEVA NeuPro-platform binnen deze omgeving. Nu willen gebruikers meer, maar soms is evolutie alleen niet genoeg.

In het begin legden gebruikers de nadruk op gebruiksgemak om hen te helpen deze nieuwe AI-at-the-edge-technologie te introduceren. Maar naarmate hun expertise in geavanceerde AI-technieken zich verdiept, willen ze toegang tot alle mogelijke manieren om differentiatie in hun producten in te bouwen en de huidige state-of-the-art benaderingen met een orde van grootte te overtreffen. Snel daar komen is niet mogelijk door evolutie; revolutionaire verbeteringen nodig zijn. Wat ze willen is overgestapt van gebruiksgemak naar maximale algoritmische flexibiliteit met maximale doorvoer en minimaal vermogen.

Opmeten

TOPS/W is een mooi marketingnummer, maar het is te grof om bruikbaar te zijn in echte toepassingen. Bij visuele inferentie is bijvoorbeeld frames per seconde per watt (FPS/W) een veel zinvollere statistiek. De waarde van een goede score in deze context is gemakkelijk te begrijpen. Het detecteren van een voetganger of auto voor u of een auto die van achteren langsrijdt, vereist een snelle reactie. Er is weinig tijd om te remmen of weg te sturen en geen van beide acties is onmiddellijk. Een inferentiemotor moet minimaal 100 FPS aankunnen - met het laagst mogelijke vermogen, omdat dit slechts een van de vele sensor-/AI-systemen rond de auto is. Dat vereist een veel hogere fps/W voor concurrentiekracht.

De marktkans is onbetwistbaar. De automobiel- en telecomtoepassingen zullen naar verwachting de grootste bijdrage leveren aan deze groei, en in de automobielsector blijft intelligente beeldvorming sterk. Overigens geldt dat ook voor de trend van 'veel camera's' in mobiele telefoons. In feite is de beeldvormingspijplijn in dergelijke camera's begonnen conventionele algoritmen te vervangen door neurale netwerken voor ruisonderdrukking, beeldstabilisatie, superresolutie en andere nieuwe functies, allemaal met 60 fps in een zeer beperkte energie-envelop.

Wat een grote vooruitgang vereist

Er gebeuren een aantal interessante dingen rond analoge AI en spiking neurale netwerken, maar productmakers willen niet te ver weg springen van wat ze zeker weten te schalen naar volume vandaag. Die beperking laat nog veel algoritmepotentieel over, maar nu willen productbouwers toegang tot al die algoritmen met veel meer flexibiliteit om maximale prestaties uit te persen met minimaal vermogen.

De lijst met optimalisatiemogelijkheden is lang:een breed scala aan kwantiseringsopties, winograd-ondersteuning, sparsity-optimalisatie om vermenigvuldigingen met nul over te slaan, diversiteit aan gegevenstypes in activering en gewichten over een reeks bitgroottes, vectorverwerkingscapaciteit parallel met neurale vermenigvuldigingen, datacompressie om de laadtijd voor gewichten en activeringen te verminderen, ondersteuning voor matrixdecompositie, het leveren van een versnelling tot 50:1 over een referentienetwerk, en NN-architecturen van de volgende generatie, zoals transformatoren en ondersteuning voor 3D-convolutie.

Een oproep tot actie

Productbouwers, nu met meer ervaring in AI, weten wat ze willen bouwen en hoe ze dat moeten bouwen. Wat ze nodig hebben, is een platform dat alle algoritmen voor neurale netcomponenten biedt die ze al kennen, om die optimale oplossing voor hun product te bouwen.

Dit is een droomlijst van algoritmen en optimalisaties om de echte baanbrekende capaciteit, doorvoer en laag vermogen te leveren die geavanceerde edge AI nodig heeft. Maar waarom alleen een droom? Geavanceerde productbouwers zijn niet langer tevreden met incrementele verbeteringen in AI. Ze verwachten nu platforms die zijn afgestemd op hun sterk verbeterde begrip van mogelijkheden.

Klik HIER voor meer informatie over het werk van CEVA op het gebied van edge AI.