Quadric's hybride data-flow & Von Neumann-chip versnelt AI- en vision-workloads

Een nieuwe hybride data-flow en Von Neumann-architectuur kan workloads versnellen inclusief neurale netwerken, machine learning, computer vision, DSP en basale lineaire-algebra-subprogramma's.

Quadric, een Silicon Valley-startup, heeft een accelerator geëngineerd die zowel AI-inferentie als traditionele computer-vision-algoritmen op edge-apparaten versnelt, zoals robots, fabrieksautomatisering, en medische imaging. De hardware's unieke hybride ontwerp verenigt data-flow en Von Neumann-principes, wat efficiënte uitvoering van neurale netwerken, machine learning, DSP, en lineaire-algebra-routines mogelijk maakt.

"Vanaf het begin erkenden we dat edge-apparaten meer vragen dan alleen AI," zei CEO Veerbhan Kheterpal tegen EE Times. "Ontwikkelaars hebben een enkel systeem nodig dat klassieke hoogprestatie-berekeningsalgoritmes naast AI kan draaien."

Kheterpal benadrukte dat de architectuur geen verzameling van discrete accelerators is, maar een enkele, data-parallele instructieset die diverse workloads kan versnellen, inclusief AI-inferentie.

"Recente werk toont dat het vervangen van gehele lagen met fast Fourier transforms (FFT) transformers aanzienlijk kan versnellen," zei Chief Product Officer Daniel Firu. Quadric is ingesteld om dergelijke workloads te versnellen, citerend een Google-paper waar een transformer-encoder's self-attention-sub-laag werd uitgewisseld voor een FFT, wat 92% nauwkeurigheid op de BERT-benchmark bereikte en tot zeven keer sneller trainde op GPU's of twee keer zo snel op TPU's.

Quadric's developer-kit, een M.2-kaart met de Q16-processor en 4GB extern geheugen (Bron: Quadric)

Wijngaard-robots

De founders – Veerbhan Kheterpal, Daniel Firu en Nigel Drego – richtten eerder 21 op, een bitcoin-mining-bedrijf overgenomen door Coinbase. Quadric's vroege focus lag op landbouwrobots die Napa Valley-wijngaarden afstreken, irrigatielekken en plagen detecterend. De hoge kost van drone-gebaseerde oplossingen duwde het team echter om een custom-accelerator te verkennen.

"We realiseerden dat een drone-gebaseerd systeem $5-10k zou kosten, maar een tractor-gebaseerd platform zou $50k overschrijden met grote GPU's en talloze camera's. Die inzicht leidde ons tot het ontwerpen van de accelerator-chip die we nodig hadden," legde Kheterpal uit.

Na een seed-rond in 2017 en een $13M Series A geleid door automotive Tier-One Denso, heeft Quadric $18M tot nu toe opgehaald.

Turing-Volledig Ontwerp

Quadric's instructie-gedreven architectuur mengt data-flow en Von Neumann-concepten om heterogene edge-systemen te vervangen met een enkele, flexibele oplossing. De Turing-volledige Vortex-kernen leveren versnelling terwijl programmeerbaarheid behouden blijft. Schaalbare arrays en compatibiliteit met 7- of 5nm-processen maken het ontwerp geschikt voor edge-apparaten met stroombudgetten van honderden milliwatts tot 20W.

De Q16-chip host een 16 × 16-array van Vortex-kernen. Elke kern kan matrixvermenigvuldiging en AI-operaties uitvoeren, en bevat een multifunctionele ALU voor logica, reductie, shift, en meer. Software blootlegt een breed algoritmisch spectrum – van LSTM-activatiefuncties tot custom control-flow – met if-then-else-statements over de array om fijnmazige sparsiteit te benutten.

Elke kern geniet single-cycle-toegang tot zijn buren en een 4Kb in-core-geheugen, terwijl het on-chip-geheugen lage-latentie, deterministische data-toegang biedt.

De kernen voeren uit in een "single instruction, multiple decode"-modus: dezelfde instructie wordt elke cyclus uitgezonden, maar dynamische runtime-data laat individuele kernen het anders interpreteren, wat heterogene functie binnen een homogene array mogelijk maakt.

Een toegeweide broadcast-bus streamt efficiënt constanten – zoals neurale-netwerk-gewichten – in alle kernen tegelijk. Statische, software-gecontroleerde load-store-eenheden stellen deterministische kernel-runtimes in, met gelijktijdige dual-edge-loads en triple-edge-stores die uitvoeringstijd reduceren.

Daniel Firu (Bron: Quadric)

"Laden vanaf de ene kant en opslaan vanaf de andere laat ons data-re-mappings en beeldrotaties op hardware-niveau uitvoeren," zei Firu.

On-chip statische geheugens, geen caches, bieden voldoende ruimte voor grote datastructuren. De Q16's 8GB geheugen kan meerdere HD-frame-buffers of een heel neurale-netwerk-gewichten-set vasthouden.

Software Stack

Quadric bouwde zijn software-stack vóór silicium, wat ontwikkelaars in staat stelt om te prototypen op een simulator of FPGA. De stack abstraheert de architectuur via een LLVM-gebaseerde compiler en een C++ API. Source Mode ondersteunt data-parallele algoritmes met C++-controle over architecturale functies, en kan custom operaties uitdrukken naarmate AI-modellen complexer worden.

Quadric's software-stack (Bron: Quadric)

Een komende Graph Mode zal een no-code-interface bieden voor TensorFlow of ONNX-modellen, ondersteund door een TVM-gebaseerde DNN-compiler die automatisch code genereert.

"Meeste platforms beperken je tot hun eigen AI-compiler, maar we bieden volledige Turing-volledige kernen die elke operatie kunnen uitvoeren," legde Kheterpal uit. "Deze flexibiliteit stelt ontwikkelaars in staat om custom algoritmes of niet-ondersteunde operatoren zonder restricties te deployen."

Chip-roadmap

De Q16 levert 256 Vortex-kernen in een 16 × 16-array geproduceerd in 16nm-silicium, wat 4 INT8 DNN TOPS bereikt. Het draait ResNet-50 bij 200 inferenties per seconde op 224 × 224-afbeeldingen, consumerend gemiddeld 2W.

Quadric's roadmap omvat een tweede-generatie-architectuur en een Q32-chip – een array van 1.000 kernen – gericht op 7nm-productie. De Q32 kan ook ARM of RISC-V-kernen integreren om als host-processor te dienen.

Een M.2-developer-kit met de Q16-processor en 4GB extern geheugen is vandaag beschikbaar.

>> Dit artikel was oorspronkelijk gepubliceerd op onze zuster-site, EE Times.

Gerelateerde Inhoud:

• Hardware-accelerators dienen AI-toepassingen
• Wanneer een DSP een hardware-accelerator verslaat
• Gids voor het versnellen van applicaties met just-right RISC-V custom-instructies
• Inferentie-chip-prestaties bouwen op geoptimaliseerde geheugen-subsysteem-ontwerp
• Nieuwe AI-versnellingsmodules verbeteren edge-prestaties
• Edge AI-uitdagingen voor geheugentechnologie

Voor meer Embedded, abonneer je op Embedded's wekelijkse e-mail-nieuwsbrief.