Domein-specifieke accelerators integreren in RISC-V voor AI, AR/VR en vision workloads

Toen het RISC-V-ecosysteem ontstond, was de primaire focus het snoeien van kosten in diep ingesloten systemen die eerder vertrouwden op proprietäre CPU-instructiesetarchitecturen (ISA's). Naarmate SoCs migreerden naar FinFET-processen, duwden de hoge maskerkosten veel ontwerpers om finite state machines te vervangen door programmeerbare micro-sequencers gebouwd op de RISC-V ISA. Deze shift ontketende initiële enthousiasme en, van 2014 tot 2018, leidde tot de commoditisering van lichtgewicht RISC-V-kernen.

Naarmate de architectuur rijpte, won RISC-V tractie in real-time, high-performance toepassingen – met name als de front-end tot hooggespecialiseerde versnellingsengines voor AI, AR/VR en computervisie. De open aard van RISC-V stelt ontwerpers in staat de ISA uit te breiden, wat processors in staat stelt om met accelerators te communiceren via low-latency co-processor interfaces in plaats van traditionele memory-mapped I/O.

De RISC-V vector-extensie versterkte deze accelerators verder om intermediaire lagen binnen kernel-inner-loops te verwerken. Echter, dit vereiste purpose-built extensies, zoals een custom load-instructie die data van een externe accelerator naar interne vector-registers overbrengt.

Deze toepassingen eisen een programmeermodel dat efficiëntie met flexibiliteit in evenwicht brengt. Een domein-specifieke accelerator – essentieel een grote vermenigvuldigder-array – is uiterst efficiënt maar beperkt in de operaties die het kan uitvoeren en in zijn data-verplaatsingscapaciteiten. In tegenstelling biedt een general-purpose CPU zoals x86 maximale flexibiliteit, maar de meeste ontwerpen kunnen de >100 W power budget niet betalen die voor dergelijke veelzijdigheid vereist is.

De standaard vector-extensie in RISC-V uitgebreid met gespecialiseerde custom-instructies is een ideale metgezel voor de accelerator (Afbeelding: Andes Technology)

De optimale oplossing combineert de flexibiliteit van een general-purpose CPU met een taak-specifieke accelerator, zoals geïllustreerd bovenaan. In RISC-V fungeert de rijpende standaard vector-extensie – versterkt met op maat gemaakte custom-instructies – als de perfecte partner. Deze synergie is de afgelopen 18 maanden duidelijk geworden, als domain-specific acceleration (DSA)-oplossingen convergeerden op RISC-V-platforms.

Om deze visie te realiseren, moet de accelerator zijn eigen command set draaien met zijn toegewijde resources, inclusief geheugen. De RISC-V-kern moet microcode platten, alle benodigde controle-informatie in een enkel commando verpakken. Deze command set moet bewust zijn van de processor's scalaire en vector-registers, alsook de accelerator's eigen controle-registers en geheugen.

Wanneer de accelerator hulp nodig heeft met gespecialiseerde data-herordening of manipulatie, gebruikt Andes' architectuur een vector processing unit (VPU) om complexe permutaties af te handelen – shifting, gathering, compressen en expanderen. Tussen lagen, kernels bevatten vaak ingewikkelde datapatronen; de VPU levert de benodigde flexibiliteit. Met zowel de accelerator als VPU die massaal parallel rekenen uitvoeren, heeft Andes hardware geïntroduceerd om geheugensubsysteem-bandbreedte te verhogen – prefetching, non-blocking transacties en out-of-order returns – om de computationele vraag te voldoen.

Andes Technology's eerste RISC-V vector-processor, de NX27V, implementeert de nieuwste V-extensie 0.8 specificatie. Het ondersteunt 8-, 16-, en 32-bit integer operaties, 16- en 32-bit floating-point berekeningen, Bfloat16, en Int4 formaten om opslag en transferbandbreedte voor machine-learning gewichten te reduceren. De vector-spec's flexibiliteit laat ontwerpers toe sleutelparameters te configureren – vectorlengte, bits per register, SIMD-breedte, en het aantal bits verwerkt per cyclus.

De NX27V biedt een 512-bit vectorlengte die kan uitbreiden tot 4096 bits door tot acht vector-registers te koppelen. Meerdere functionele units opereren in parallelle pipelines, wat de doorvoersnelheid handhaaft die vereist is voor diverse workloads. In een 512-bit configuratie bereikt de chip 1 GHz in een 7 nm proces onder worst-case condities, en inneemt slechts 0,3 mm². Voor software-ontwikkeling levert Andes een compiler, debugger, vector-bibliotheken, een cyclus-simulator en de Clarity visualisatietool om kritische lussen te analyseren en te optimaliseren. De oplossing is al beschikbaar via een early-access programma.

De afgelopen 15 maanden is de vraag naar high-performance computing – combineren van een krachtige RISC-V vector-extensie, een hoog-bandbreedte geheugensubsysteem en een accelerator dicht bij de CPU – gegroeid. Deze trend is ingesteld om bredere adoptie van RISC-V en vector-verwerking in de industrie te drijven.

>> Dit artikel werd oorspronkelijk gepubliceerd op onze zus-site, EE Times.