Geheugentechnologieën die Edge AI aandrijven: Uitdagingen en kansen

Edge AI herschapt hoe we over geheugen nadenken. Naarmate AI-workloads migreren van de cloud naar apparaten dichter bij de gebruiker, moeten geheugensystemen grote capaciteit, hoge bandbreedte, lage latentie en energie-efficiëntie leveren, terwijl ze kosteneffectief en betrouwbaar blijven.

Er is geen enkele "edge AI" specificatie. De term dekt breed elk AI-ingeschakeld elektronica buiten een centrale cloud – variërend van enterprise datacenters tot autonome voertuigen, slimme stadsinfrastructuur en IoT-eindpunten.

Typische edge scenario's omvatten computer vision voor zelfrijdende auto's, AI-inferentie in productiepoorten om productdefecten te detecteren, 5G edge boxen op utiliteitsmasten die verkeer monitoren, en mobiele telefoons die Snapchat-filters of spraakassistenten toepassen.

Geheugen's rol is uniform in deze toepassingen: neurale-netwerk gewichten, modelcode, invoerdata en intermediaire activaties opslaan. De uitdaging ligt in het balanceren van capaciteit, bandbreedte, stroom en kosten tijdens het voldoen aan de unieke beperkingen van elke implementatie.

Edge datacenters

Edge datacenters dienen latentie-kritische domeinen zoals medische imaging, high-frequency finance en autonomous vehicle control. Deze sites gebruiken dezelfde geheugenfamilies als traditionele servers – high-performance DRAM, large-capacity RDIMMs, en non-volatile opties zoals NVDIMMs.

"Low-latency DRAM is essentieel voor het trainen en ontwikkelen van AI-modellen," merkt Pekon Gupta, solutions architect bij Smart Modular Technologies op. "Grote datasets eisen high-capacity RDIMMs of LRDIMMs, terwijl NVDIMMs write-intensive workloads zoals caching en checkpointing versnellen."

Telecom providers volgen een vergelijkbaar pad, door geheugen en compute toe te voegen aan edge servers. Gupta benadrukt Intel Optane – 3D-XPoint non-volatile geheugen dat DRAM en Flash overbrugt – als een overtuigende keuze voor AI-workloads die profiteren van persistente, high-capacity geheugen.

"Optane DIMMs en NVDIMMs dienen verschillende doeleinden: Optane blinkt in in-memory databases en grote, persistente AI-datasets, terwijl NVDIMMs low-latency tiering en caching bieden," legt Gupta uit.

Intel's Kristie Mann rapporteert dat Optane al e-commerce recommendation engines, video personalisatie en real-time financiële analytics aandrijft. Een server uitgerust met dual Intel Xeon Scalable processors en Optane persistent memory kan tot 6 TB bruikbaar geheugen hosten, wat een kosteneffectieve alternatief biedt voor all-DRAM configuraties.

GPU versnelling

Voor high-performance edge datacenters drijven GPU's AI-compute. Geheugenkeuzes hier omvatten GDDR, ontworpen voor high-bandwidth GPU's, en HBM (high-bandwidth memory), een die-gestapelde oplossing die meerdere geheugen-dies direct op het GPU-package plaatst.

HBM2E levert tot 3,6 Gbps per lane, wat vertaalt tot 460 GB/s bandbreedte per stack – twee stacks kunnen zich annaderen aan 1 TB/s. Deze prestaties, gecombineerd met laag stroomverbruik, maken HBM de geheugenkeuze voor Nvidia's datacenter GPU's.

GDDR6, aan de andere kant, biedt 18 Gbps per lane en 72 GB/s bandbreedte. Vier GDDR6 chips leveren bijna 300 GB/s, een sweet spot voor edge inferentie workloads. Frank Ferro, senior director of product marketing voor IP Cores bij Rambus, merkt op dat LPDDR, hoewel kosteneffectief voor endpoint inferentie, niet kan mogen met de bandbreedte-eisen van moderne AI-modellen, wat ontwerpers duwt naar GDDR6.

Andere accelerators – zoals de Achronix Speedster7t FPGA – tappen ook in GDDR bandbreedte, wat bewijst dat zowel HBM als GDDR rollen hebben in edge AI.

De far edge

Op de verste edge – mobiele telefoons, wearables en sensor nodes – is AI voornamelijk inferentie. Apparaten als Syntiant's voice-control chips en Gyrfalcon's camera-effect accelerators gebruiken analoge compute technieken, waarbij matrix-vermenigvuldiging direct in geheugencellen wordt ingebed.

Mythic's flagship IP benut flash geheugen-transistoren als variabele weerstanden om 8-bit multiply-accumulate operaties uit te voeren, wat bemerkenswaardige dichtheid en energie-efficiëntie bereikt. Hun noise-cancellation calibratie maakt betrouwbare 8-bit inferentie mogelijk ondanks analoge variabiliteit.

ASIC's afgestemd op ultra-laag-verbruik inferentie combineren gedistribueerde SRAM, bulk SRAM en off-chip DRAM. Geoff Tate van Flex Logix legt uit dat de InferX X1 7,5 TOPS bereikt bij 933 MHz met een enkele x32 LPDDR4 DRAM en 10 MB SRAM, wat een balans slaat tussen snelheid, oppervlakte en kosten.

Naarmate geheugeneconomie evolueert, zal LPDDR waarschijnlijk de dominante keuze blijven voor edge inferentie vanwege de bandbreedte, eenvoud en minimale siliconen voetafdruk.

Opkomende geheugens

Naast gevestigde technologieën bieden verschillende non-volatile geheugens nieuwe mogelijkheden voor AI.

MRAM (magneto-resistive RAM) slaat bits op met magneetoriëntatie, wat low-voltage operatie met gecontroleerd stochastisch gedrag toelaat. Deze willekeur kan worden benut voor binarized neural networks (BNNs), die hoge bit-error rates tolereren terwijl nauwkeurigheid behouden blijft. Andy Walker van Spin Memory merkt op dat MRAM stroomverbruik drastisch kan verminderen terwijl prestaties behouden blijven voor edge AI-taken die geen extreme precisie eisen.

MRAM's non-volatiliteit opent ook de deur voor unified memory architecturen die zowel embedded Flash als SRAM vervangen, wat die-oppervlakte en statische stroom vermindert.

Neuromorphic ReRAM

Resistive RAM (ReRAM) introduceert synaptische plasticiteit, wat neuromorphische systemen mogelijk maakt die in situ leren. Politecnico Milano's samenwerking met Weebit Nano demonstreerde ReRAM's potentieel voor unsupervised learning, wat edge-apparaten in staat stelt om zich aan te passen aan veranderende omgevingen zonder opnieuw te trainen vanaf nul.

Samenvattend, geheugentechnologie evolueert snel om te voldoen aan de eisen van edge AI. Gevestigde geheugens – GDDR, HBM, Optane – domineren nog steeds data-center edge, terwijl LPDDR en on-chip SRAM de far edge heersen. Opkomende non-volatile geheugens als MRAM en ReRAM staan klaar om ongekende energie-efficiëntie en adaptieve capaciteiten te leveren, wat de volgende generatie AI-ingeschakelde apparaten vormt.

— Dit artikel is oorspronkelijk gepubliceerd op onze zustersite, EE Times.