Esperanto onthult 1.093-kern RISC-V AI-accelerator voor datacenter-inferentie

De startup Esperanto heeft de ET-SoC-1 aangekondigd, een 1.093-kern RISC-V AI-accelerator ontworpen voor M.2-acceleratorsockets in datacenter-omgevingen. Gepresenteerd op de Hot Chips-conferentie, biedt de chip 800 TOPS prestaties over zes modules op een enkele Glacier Point-kaart, terwijl het binnen een 120 W vermogenshuls blijft.

Ontwerpkenmerken

De ET-SoC-1 bevat 1.088 ET-Minion-kernen die AI-workloads uitvoeren, vier hoogpresterende ET-Maxion-kernen en een RISC-V serviceprocessor. De architectuur is gebouwd rond energie-efficiëntie: een 1 GHz klok, 0,4 V voeding en een 7 nm TSMC-proces geven de chip een "sweet spot" van 20 W per unit, met flexibiliteit om tussen 10 en 60 W te opereren.

Doelgebruik: Aanbevelingsinferentie

Hyperscale-operators vereisen inferentie-latenties van 10 ms of minder voor aanbevelingsmachines. De chip adressert dit met 100 MB on-chip geheugen en 100 GB off-chip capaciteit, allemaal op de accelerator-kaart om PCIe-knekpunten te vermijden. Ondersteuning voor INT8, FP16 en FP32 houdt precisie waar het erop aankomt.

Kernarchitectuur

Elke 64-bits, in-order kern draait een geoptimaliseerde vector- en tensor-eenheid die 128 GOPS per GHz levert. Een aangepaste multi-cycle tensor-instructie kan meer dan 64.000 operaties per cyclus uitvoeren, wat instructieverkeer reduceert. Acht kernen vormen een "buurt" die een L2-cache deelt en coöperatieve loads mogelijk maakt, terwijl vier buurten een "Minion Shire" vormen. De chip biedt 1.088 kernen (of 1.024 voor hogere opbrengst) en vier ET-Maxion-kernen vergelijkbaar met een Arm A-72.

Geheugensysteem

Vier 64-bits DDR-interfaces (elk bestaande uit vier 16-bits kanalen) leveren 96×16-bits bandbreedte. De chip gebruikt LPDDR4x, wat energie per bit bereikt vergelijkbaar met HBM, terwijl de zestack een 100 GB off-chip cache bereikt.

Concurrentiepositionering

In tegenstelling tot de grote, stroomhongerige TPU of Inferentia, benut Esperanto's laagstroom, multi-chip benadering het open-compute ecosysteem. Hyperscale-operators die op zoek zijn naar gestandaardiseerde, kosteneffectieve accelerators, vinden Esperanto's oplossing aantrekkelijk.

Toekomstperspectief

Toekomstige iteraties kunnen edge-use-cases targeten met een geschaalde ET-SoC-1. De huidige versie is gepland voor lancering binnen de komende paar maanden.

Bron: Esperanto & EE Times interview met Dave Ditzel, mede-auteur van het RISC-papier uit 1980.