Edge AI-versnelling: Toonaangevende gespecialiseerde processoren voor 2024

AI- en machine‑learning-workloads verplaatsen zich steeds meer naar de edge, en een groeiende reeks processoren komt op de markt om te voldoen aan de diverse eisen van deze toepassingen. Van gevestigde reuzen tot agile startups: elke oplossing richt zich op specifieke verticale markten, energieprofielen en prijspunten. Hieronder volgt een beknopt overzicht van de huidige marktleiders.

Applicatieprocessoren

Intel Movidius Myriad X

Oorspronkelijk ontwikkeld door de Ierse startup Movidius en in 2016 overgenomen door Intel, is de Myriad X een derde‑generatie vision‑processing unit die een toegewezen neural‑network compute-engine introduceerde. Het levert 1 TOPS aan deep‑neural‑network (DNN) berekeningen, ondersteunt FP16- en INT8-precisie, en is nauw gekoppeld aan een intelligente geheugenstructuur om data‑transferknelpunten te elimineren. De chip bevat 16 proprietaire SHAVE-kernen en een uitgebreide suite vision-accelerators. Het is beschikbaar in Intel's Neural Compute Stick 2, een plug‑and‑play USB-evaluatieplatform dat snelle implementatie van AI- en computer‑vision-workloads op elke workstation mogelijk maakt.

NXP Semiconductors i.MX 8M Plus

De i.MX 8M Plus is een heterogene applicatieprocessor met een toegewezen neural‑network-accelerator van VeriSilicon (Vivante VIP8000). Het biedt 2,3 TOPS voor inferentie, met ondersteuning voor taken zoals multi‑objectidentificatie, 40.000‑woorden spraakherkenning of MobileNet v1 op 500 afbeeldingen per seconde. Naast de accelerator bevat de chip een quad‑core Arm Cortex‑A53-subsysteem op 2 GHz en een Cortex‑M7 realtime-subsysteem. Vision-ondersteuning omvat twee high‑definition image signal processors voor stereo of enkele 12 MP camera's, terwijl een 800 MHz HiFi4 DSP stem‑pre‑ en post‑verwerking afhandelt.

NXP's i.MX 8M Plus is de eerste applicatieprocessor van het bedrijf met een toegewezen neural‑network-accelerator, afgestemd op IoT-scenario's. (Afbeelding: NXP Semiconductors)

XMOS xcore.ai

De xcore.ai combineert applicatieprocessor-prestaties met microcontroller‑niveau realtime-efficiëntie, gericht op stem‑gecontroleerde AIoT-apparaten. Gebouwd op XMOS's proprietaire Xcore-architectuur, omvat de chip 16 logische kernen die toegewezen kunnen worden aan I/O, DSP, controle of AI-functies – effectief een software‑gedefinieerde SoC creërend. Het ondersteunt 32‑bit, 16‑bit, 8‑bit en 1‑bit (binarized) neurale netwerken, met een levering van 3.200 MIPS, 51,2 GMACCs en 1.600 MFLOPS. Met 1 MB ingebed SRAM en een lage‑energie DDR-interface is het uitstekend geschikt voor compacte, lage‑latentie stem‑verwerkingsworkloads.

XMOS's xcore.ai is een proprietair, veelzijdig platform ontworpen voor stem‑gerichte AI-workloads. (Afbeelding: XMOS)

Automotive SoC

Texas Instruments Inc. TDA4VM

Deel van de Jacinto 7-serie, is de TDA4VM TI's eerste SoC met een geïntegreerde deep‑learning-accelerator. De accelerator bouwt voort op de C7x DSP-kern en een custom matrix‑multiply accelerator (MMA), met een prestatie van tot 8 TOPS. Ontworpen voor ADAS, kan het een 8 MP front‑camera stream verwerken of meerdere 3 MP camera's plus radar, LiDAR en ultrasone inputs – wat sensorfusie mogelijk maakt voor autonoom parkeren en andere geavanceerde bestuurderassistentiesystemen. Gericht op 5–20 W energiebudgetten, is de TDA4VM beschikbaar als pre‑productie ontwikkelkit.

TI's TDA4VM stuurt complexe automotive ADAS-systemen aan, leverend perceptie en sensorfusie op een enkele chip. (Afbeelding: Texas Instruments Inc.)

GPU

Nvidia Corp. Jetson Nano

Nvidia's Jetson Nano brengt een 128‑core Maxwell GPU en een quad‑core Arm Cortex‑A57 CPU naar edge-apparaten. Capabel van 0,5 TFLOPS, kan de module meerdere neurale netwerken op hoge‑resolutie beeldstrommen draaien terwijl het slechts 5 W verbruikt. Het integreert CUDA X, Nvidia's suite neurale netwerk-acceleratiebibliotheken, en is beschikbaar in kosteneffectieve ontwikkelkits.

Nvidia's Jetson Nano levert een krachtige GPU voor AI aan de edge, in een compact, lage‑energie vormfactor. (Afbeelding: Nvidia Corp.)

Consumer Co‑processoren

Kneron Inc. KL520

De KL520 is een toegewezen neural‑network-processor gericht op beeldverwerking en gezichtsherkenning voor slimme huizen, beveiligingssystemen en mobiele apparaten. Geoptimaliseerd voor convolutionele neurale netwerken, levert het 0,3 TOPS op 0,5 W (≈0,6 TOPS/W) met meer dan 90% MAC-efficiëntie. De herconfigureerbare architectuur en een compiler die compressie toepast, maken het mogelijk om grotere modellen in de chipbronnen te laten passen, wat energie en kosten verlaagt. De KL520 is beschikbaar in de AAEON M2AI‑2280‑520 accelerator-kaart.

Kneron's KL520 combineert een herconfigureerbaar ontwerp met compressietechnieken voor efficiënte mobiele beeldverwerking. (Afbeelding: Kneron Inc.)

Gyrfalcon Lightspeeur 5801

Gericht op consumentenelektronica, bereikt de Lightspeeur 5801 2,8 TOPS op 224 mW (≈12,6 TOPS/W) met 4 ms latentie, dankzij een processor‑in‑memory-architectuur die uitstekende energie-efficiëntie biedt. De 10 MB on‑chip geheugen accommodeert complete modellen, en de kloksnelheid kan afgesteld worden tussen 50 MHz en 200 MHz om energie tegen prestaties af te wegen. De 5801 stuurt LG's Q70 mid‑range smartphone aan, die inferentie voor camera-effecten afhandelt, en is beschikbaar als USB thumb‑drive ontwikkelkit.

Ultralage‑energie

Eta Compute ECM3532

De ECM3532 is afgestemd op batterij‑gevoede of energie‑opwekende IoT-apparaten die altijd‑aan inferentie vereisen. Het combineert een Arm Cortex‑M3 microcontroller met een NXP CoolFlux DSP, en gebruikt een proprietaire voltage/frequentie-schaaltechniek die de energie per klokcyclus optimaliseert. Machine‑learning-workloads – met name stemtaken – kunnen op beide kernen draaien. Monsters zijn nu beschikbaar, met massaproductie gepland voor Q2 2020.

Syntiant Corp. NDP100

De NDP100 is een processor‑in‑memory silicium ontworpen voor stemcommando-inferentie onder strikte energiebudgetten. Met een verbruik van minder dan 140 µW actieve stroom, ondersteunt het keyword spotting, wake‑word detectie, sprekeridentificatie en gebeurtenisclassificatie. Het is bestemd voor hands‑free consumentenapparaten zoals oordopjes, hoortoestellen, smartwatches en afstandsbedieningen, met ontwikkelkits beschikbaar.

Syntiant's NDP100 levert ultralage‑energie stemverwerking voor consumenten‑IoT. (Afbeelding: Syntiant Corp.)

GreenWaves Technologies GAP9

De GAP9 is een ultralage‑energie applicatieprocessor met negen RISC‑V kernen met een custom instructieset afgestemd op energie-efficiëntie. Het bevat bidirectionele multi‑channel audio-interfaces en 1,6 MB intern geheugen. De GAP9 kan MobileNet V1 op 160 × 160 afbeeldingen in 12 ms draaien terwijl het slechts 806 µW per frame trekt, wat het ideaal maakt voor batterij‑gevoede beeld-, audio- en trillingszensing-toepassingen.