Edge AI-chip elimineert traditionele MAC-arrays, bereikt 55 TOPS/W efficiëntie

Een Silicon Valley-startup heeft de neurale netwerk-wiskunde heruitgevonden, wat resulteert in een edge AI-chip die de conventionele multiply‑accumulate (MAC) array omzeilt. Het resultaat is een 7×7 mm chip, genaamd Ergo, die 4 TOPS prestatie levert bij een verbruik van slechts 20 mW – wat een indrukwekkende 55 TOPS/W oplevert. Volgens Perceive kan de chip datacenter‑graad inferentie-workloads zoals YOLOv3 op 30 fps draaien op minder dan 20 mW.

Perceive, twee jaar geleden opgericht in San Jose, kwam uit een stealth-fase en wordt volledig gefinancierd door het moederbedrijf Xperi. Het 41‑koppige kernteam wordt aangevuld door een vergelijkbaar aantal Xperi-ingenieurs die zich richten op applicaties voor Ergo. Steve Teig, oprichter en CEO van Perceive en tevens CTO van Xperi, brengt een diepe geschiedenis in chipdesign en AI mee, met eerdere leiderschap bij 3D programmeerbare logic startup Tabula en als CTO bij Cadence.

Teig legt uit dat de reis begon met een eenvoudige vraag: "Welke berekeningen voeren neurale netwerken daadwerkelijk uit?" Door informatie‑theoretische principes toe te passen, identificeerde het team een efficiëntere representatie van netwerkoperaties, wat op zijn beurt de architectuur van Ergo informeerde. Deze nieuwe benadering elimineert het grootste deel van conventionele MAC-arrays, wat resulteert in een chip die 20‑ tot 100‑keer energie‑efficiënter is dan concurrerende oplossingen.

Ergo's architectuur kent vier compute-clusters, elk met toegewezen geheugen. In tegenstelling tot typische accelerators die vertrouwen op MAC-arrays voor dot‑product berekeningen, voeren Ergo's clusters operaties uit op een nieuwe, hoogparallelle manier. Dit ontwerp ondersteunt een breed scala aan netwerktopologieën – inclusief CNNs, RNNs en zelfs meerdere heterogene modellen die gelijktijdig draaien – zonder de noodzaak voor extern RAM.

In praktische termen heeft Perceive de gelijktijdige uitvoering gedemonstreerd van YOLOv3 (60–70 M parameters) of M2Det naast ResNet‑28 en een LSTM voor spraakverwerking. Deze mogelijkheid maakt realtime visie- en audio-inferentie op hetzelfde edge-apparaat mogelijk.

Energie-efficiëntie wordt verder verbeterd door agressieve power‑gating en clock‑gating technieken die de deterministische aard van neurale netwerk-workloads benut. Omdat inferentie-code geen branching kent, is timing voorspelbaar, wat de chip in staat houdt virtueel uit te staan tot het getriggerd wordt door een bewegingsensor of analoge microfoon. Eenmaal geactiveerd, kan Ergo een volledig datacenter‑graad model laden en inferentie starten in ongeveer 50 ms, inclusief decryptie.

Naast berekening, incorporeert Ergo een hardware beeldverwerkingspijplijn capabel van de‑warping van visoooglenzen, gamma-correctie, witbalans en cropping. Een equivalent audio-verwerkingsblok ondersteunt beam‑forming over meerdere microfoons. Een Synopsis ARC microprocessor met een DSP-kern hanteert additionele pre‑verwerking en draait gecrypteerde firmware, terwijl een toegewezen beveiligingsblok alle datapaden en netwerkgewichten versleutelt om IoT-implementaties te beschermen.

Ergo verbindt met externe Flash-geheugen en ondersteunt over‑the‑air updates, wat on‑device neurale netwerk her‑training of het wisselen van modellen mogelijk maakt. De chip en het referentiebord zijn momenteel in sampling; massaproductie is gepland voor Q2 2024.

Steve Teig (Afbeelding: Perceive)

Perceive claimt dat de Ergo-chip efficiëntie tot 55 TOPS/W bereikt, YOLOv3 draaiend op 30fps met slechts 20mW (Afbeelding: Perceive)

Perceive's technologie is gebaseerd op het heruitvinden van neurale netwerk-wiskunde met technieken uit informatietheorie (Afbeelding: Perceive)