Mipsology’s Zebra zet GPU AI-code om in FPGA-accelerators met één commando

Mipsology, een vooruitstrevend AI-software-startup, heeft samen met Xilinx het volledige potentieel van FPGA’s voor AI-workloads ontgrendeld. Hun “zero-effort” oplossing, Zebra, vertaalt bestaande GPU-code zodat deze kan draaien op Mipsology’s custom AI compute engine op een FPGA – zonder codewijzigingen of her training.

Vandaag heeft Xilinx Zebra uitgeleverd met de nieuwste build van zijn Alveo U50 datacenter-accelerator-kaart, wat naadloze GPU-naar-FPGA-conversie out-of-the-box toevoegt. Zebra versnelt al inferentie op andere Xilinx-boards, waaronder de Alveo U200 en Alveo U250.

“De versnelling die Zebra levert op onze Alveo-kaarten overtreft CPUs en GPUs,” zei Ramine Roane, Xilinx’s vice-president marketing. “Met Zebra voldoet de Alveo U50 aan de flexibiliteit, prestaties, hoge doorvoersnelheid en lage latentie eisen van AI-workloads, wat het een overtuigende keuze maakt voor elke implementatie.”

Plug-and-play FPGA’s

Historisch worden FPGA’s als complex om te programmeren gezien, vooral voor non-specialisten. Mipsology’s visie is om FPGA’s een plug-and-play-platform te maken – even eenvoudig te gebruiken als een CPU of GPU. Het doel is om gebruikers te laten schakelen van traditionele accelerators naar FPGA met een enkele regel code.

“Mipsology is essentieel de CUDA van FPGA’s,” zei CEO Ludovic Larzul in een interview met EE Times. “We bieden software die de FPGA abstracteert zodat AI-gebruikers zich op het model kunnen richten, niet op de hardware.”

Kruciaal is dat deze overgang haalbaar is voor non-experts. Geen diepe AI-expertise of FPGA-kennis is nodig, en het model hoeft niet hergetraind te worden.

“Gebruiksgemak is vanzelfsprekend. Veel AI-projecten worden beheerd door teams die geen in-house AI- of FPGA-specialist hebben,” legde Larzul uit. “Ze kunnen neurale netwerken elders ontwikkelen, en zodra een model getraind is, willen ze het implementeren zonder herontwerp.”

Waarom niet Vitis?

Xilinx biedt al Vitis, een uitgebreide toolchain om FPGA’s naar data scientists en ontwikkelaars te brengen. Waarom dan samenwerken met een derde partij? Larzul zegt dat het antwoord simpel is: prestaties en eenvoud.

“We doen het beter,” zei hij. “En we doen het goed.”

Mipsology’s Zebra is volledig onafhankelijk van Vitis, XDNN of Xilinx’ neural-network accelerator engine. In plaats daarvan draait het op een dedicated compute engine die native ondersteuning biedt voor klantenbestaande convolutional neural network (CNN) modellen. In tegenstelling tot XDNN, dat wel capable is, maar minder geschikt voor custom netwerken en lastiger te integreren is.

“We zijn gepositioneerd om FPGA’s tegen GPUs op te laten treden, ze te evenaren in prestaties, kosten en bruikbaarheid,” voegde Larzul toe.

Kosten zijn een primaire drijfveer voor veel klanten. “Ze willen lagere hardwarekosten zonder het netwerk te herontwerpen,” zei Larzul. “Door her training en netwerkwijzigingen te elimineren, verlagen we de non-recurring engineering kosten.”

FPGA’s bieden ook superieure betrouwbaarheid. Omdat ze minder siliciumoppervlakte consumeren en op lagere temperaturen werken dan GPUs, hebben ze lagere lange-termijn onderhoudskosten – een belangrijke overweging voor datacenter-operators.

“Total cost of ownership omvat meer dan alleen de boardprijs,” benadrukte Larzul. “Het dekt ook het operationeel houden van het systeem.”

Zebra is ontworpen om de prestatiekloof te dichten. Hoewel FPGA’s doorgaans minder tera-operaties per seconde (TOPS) leveren dan andere accelerators, maximaliseert Zebra’s compute engine de efficiëntie. “Onze FPGA kan meer afbeeldingen per seconde verwerken dan een GPU met zes keer de TOPS,” claimde Larzul.

Hoe wordt dit bereikt? Hoewel specifieke details proprietair zijn, merkte Larzul op dat Zebra pruning vermijdt (wat nauwkeurigheid zou degraderen zonder her training) en extreme quantisatie onder 8-bit vermijdt, wat modelgetrouwheid behoudt.

Naast CNN’s – dominant in beeld- en videotaken – ondersteunt Zebra ook BERT, Google’s NLP-model dat onderliggende wiskundige structuren deelt. Toekomstige releases kunnen LSTM- en RNN-architecturen targeten, hoewel deze extra uitdagingen met zich meebrengen.

Het team achter Zebra

Opgericht in 2015, employst Mipsology ongeveer 30 R&D-ingenieurs in Frankrijk, met een slanke business development squad in Californië. Het bedrijf heeft $7 miljoen opgevangen, inclusief een $2 miljoen prijs van een Franse overheidsinnovatiecompetitie in 2019.

Mipsology’s kern talent komt van EVE, een ASIC-emulatorfirma die in 2012 door Synopsys werd overgenomen voor zijn ZeBu-verificatieproducten. EVE’s technologie – die duizenden geïntegreerde FPGA’s benut om ASIC-gedrag na te bootsen – is wereldwijd gebruikt door grote ASIC-leveranciers.

Met 12 lopende octrooien werkt Mipsology nauw samen met Xilinx en blijft compatibel met third-party accelerator-kaarten, zoals Western Digital’s small-form-factor (SFF U.2) en Advantech’s Vega‑4001.

>> Dit artikel werd oorspronkelijk gepubliceerd op onze zustersite, EE Times.