Deep Learning Versnellen met FPGA's: Snelheid, Flexibiliteit en Energie-efficiëntie

Ik bezocht onlangs de 2018 Xilinx Development Forum in Silicon Valley, waar ik Mipsology ontdekte, een startup die claimt de AI-gerelateerde uitdagingen van het deployen van neurale netwerken op field-programmable gate arrays (FPGA's) opgelost te hebben. Gesticht met een stoute visie, demonstreert Mipsology hoe FPGA's elk neuraal netwerk naar de hoogst mogelijke prestaties kunnen versnellen, onbelemmerd traditionele deployment-constraints.

Met Xilinx's nieuwe Alveo-borden, haalde Mipsology meer dan 20.000 afbeeldingen per seconde over een suite van populaire netwerken, inclusief ResNet-50, Inception-V3 en VGG-19.

Wat Zijn Neurale Netwerken en Deep Learning?

Neurale netwerken, geïnspireerd op het menselijke brein's web van neuronen, vormen de ruggengraat van deep learning (DL). DL is een wiskundig framework dat leert taken autonoom uit te voeren door het netwerk bloot te stellen aan grote volumes data. Het proces van het trainen van een neuraal netwerk – het presenteren van miljoenen gelabelde samples – wordt gevolgd door inference, waar het getrainde model voorspellingen maakt voor nieuwe data.

Bijvoorbeeld, een spraakherkenningsnetwerk kan getraind worden op duizenden spraakopnames en daarna gedeployed worden om gesproken woorden in realtime te transcriberen.

Waarom Inference Extreme Prestaties Vereist

Inference vereist miljarden of biljoenen optellingen en vermenigvuldigingen per seconde – ver meer dan training, die maar één keer plaatsvindt. Gevolgelijk is inference de primaire driver van computationele vraag in productie AI-systemen.

Vier Hardware-opties voor Deep-Learning Inference

Ingenieurs hebben traditioneel vertrouwd op vier categorieën van processors, gerankt van meest tot minst power-hungry en minst flexibel: CPUs → GPUs → FPGA's → ASICs. De onderstaande tabel vat kernverschillen samen.

Vergelijking van CPUs, GPUs, FPGA's en ASICs voor DL-computing (Bron: Lauro Rizzatti)

• CPUs bieden maximale flexibiliteit maar lijden onder hoge latentie en lage doorvoering voor DL-workloads.
• GPUs leveren massive parallelisme maar consumeren significant power en vereisen robuuste cooling.
• ASICs kunnen extreem efficiënt zijn voor een smalle taak, doch hun lange ontwikkelcyclus en vaste architectuur maken ze ongeschikt voor snel evoluerende modellen.
• FPGA's combineren hoge doorvoering, laag stroomverbruik en herconfigureerbaarheid, wat ze ideaal maakt voor dynamische inference-workloads.

Waarom FPGA's Blinken bij Inference

Moderne FPGA's bevatten miljoenen logica-elementen, duizenden DSP-blokken, en embedded geheugen en ARM-kernen – allemaal parallel opererend. Een enkele klokcyclus kan miljoenen gelijktijdige operaties triggeren, wat triljoenen berekeningen per seconde mogelijk maakt die natuurlijk mappen op DL-workloads.

Belangrijkste voordelen van FPGA's ten opzichte van CPUs en GPUs zijn:

• Ondersteuning voor willekeurige data-precisie, wat low-precision arithmetic toestaat die doorvoering boost.
• Power-envelopes vijf tot tien keer lager dan vergelijkbare CPU of GPU-oplossingen voor identieke workloads.
• Herconfigureerbaarheid: hetzelfde apparaat kan geüpdatet worden om nieuwe modellen te ondersteunen zonder nieuw silicium te fabriceren.
• Apparaat-schaalbaarheid: van high-end datacenter-kaarten tot compacte edge-modules, FPGA's passen in een breed bereik van deployment-scenario's.

Uitdagingen en Trade-offs

Ondanks hun sterktes, presenteren FPGA's een steile leercurve. Het ontwikkelen van high-performance designs vereist gespecialiseerde hardware-beschrijvingstalen en een diep begrip van parallelisme, wat een barrière kan zijn voor teams gewend aan software-centrische workflows.

Niettemin, voor organisaties die de combinatie van snelheid, flexibiliteit en energie-efficiëntie eisen, vertegenwoordigen FPGA's het meest overtuigende platform voor deep-learning inference vandaag de dag.