MLCommons onthult MLPerf Inference Benchmark 2024: Edge, Data Center, Mobile en Notebook resultaten

MLCommons, de onafhankelijke organisatie die de MLPerf benchmark-suite beheert, heeft de nieuwste ronde MLPerf Inference scores aangekondigd. De nieuwe resultaten zijn netjes gesplitst in vier apparaatklassen – datacenter, edge, mobile, en notebook – wat het voor kopers, vendors en onderzoekers makkelijker maakt om prestaties te vergelijken over real-world workloads.

Apparaatklasse Segmentatie

Het scheiden van scores per apparaatklasse weerspiegelt de verschillende vormfactoren en prestatieprofielen die elke markt kenmerken. Zoals David Kanter, executive director van MLCommons vertelde aan EE Times, "Als je over een notebook praat, draait die waarschijnlijk Windows; als je over een smartphone praat, draai je waarschijnlijk iOS of Android." Door mobile en notebook resultaten te isoleren, biedt de benchmark duidelijker inzicht in de mogelijkheden van de meest relevante accelerators voor elk use case.

State-of-the-Art Modellen

In tegenstelling tot de vorige ronde, die zich voornamelijk richtte op visietaken, incorporeert de huidige benchmark vijf moderne, productie-klaar modellen:

• DLRM – een large-scale recommendation engine
• 3D‑UNet – een medische imaging model voor tumor-detectie in MRI-scans
• RNN‑T – een spraak-naar-tekst engine
• BERT – een natural-language-processing transformer
• MobileNetEdge, SSD‑MobileNetv2, Deeplabv3, en Mobile BERT – mobile-geoptimaliseerde varianten van de bovenstaande

Deze keuzes werden gedreven door een adviesraad die industrie-experts uit recommendation, medische imaging, en spraakdomeinen omvat, wat zorgt dat de benchmarks de meest veeleisende workloads in productie vandaag weerspiegelen.

Datacenter Prestaties

Zoals verwacht, domineren Nvidia's GPU's de datacenter-klasse. In feite waren 85% van de totale inzendingen aangedreven door Nvidia-hardware, en het bedrijf zwiep elke categorie die het inging. De benchmark toont een wijdende prestatiegap: op een basic computer-vision model levert de Nvidia A100 ruwweg 30× de doorvoer van een Intel Cooper Lake CPU, en 237× sneller dan een vergelijkbare CPU op recommendation-system workloads. Paresh Kharya, Nvidia's senior director of product management, benadrukt dat een enkele DGX‑A100 de prestaties van een 1.000-node CPU-cluster voor recommendation-taken kan matchen, wat enorme waarde voor schaal biedt.

De enige non-CPU, non-GPU deelnemer in deze klasse was Mipsology's Zebra accelerator, draaiend op een Xilinx Alveo U250 FPGA. Zebra behaalde 4.096 ResNet queries per seconde in server-modus versus 5.563 voor een Nvidia T4, en 5.011 samples per seconde offline vergeleken met 6.112 voor de T4.

In de research-ontwikkelingscategorie presteerde het Taiwanese bedrijf Neuchips' RecAccel – een FPGA-gebaseerde accelerator voor DLRM – op par met of onder Intel's Cooper Lake CPU's en bleef achter Nvidia's resultaten. Deze vroege prototypes tonen de breedte van opkomende AI-hardware, zelfs als ze nog niet commercieel beschikbaar zijn.

Edge-Tier Resultaten

Edge-systemen werden grotendeels aangedreven door Nvidia's A100, T4, AGX Xavier, en Xavier NX chips. Centaur Technology's referentieontwerp, met zijn proprietaire x86-processor en een afzonderlijke AI-coprocessor, versloeg Nvidia's Tesla T4 in single-stream ResNet-latentie maar liep achter op doorvoer. Brits consultancy dividiti presenteerde een wijd scala aan scores – van Raspberry Pi tot Nvidia AGX Xavier – wat benadrukt hoe besturingssysteem-keuzes en het gebruik van on-chip accelerators resultaten kunnen beïnvloeden.

Nieuwe deelnemers uit de research-ontwikkelingspool zijn het Russische bedrijf IVA Technologies en de Koreaanse startup Mobilint. Hoewel geen van beide doorbraakprestaties behaalde, toont hun inschrijving dat prototype-accelerators een niveau van software-maturiteit bereiken dat benchmarking tegen commerciële oplossingen rechtvaardigt.

Mobile en Notebook Benchmarks

De mobile-klasse zag drie vergelijkbare inzendingen: MediaTek's Dimensity 820 (in de Xiaomi Redmi 10X 5G), Qualcomm's Snapdragon 865+ (getest op een Asus ROG Phone 3), en Samsung's Exynos 990 (gebruikt in de Galaxy Note 20 Ultra). Samsung leidde in image-classificatie en NLP, MediaTek blinkte uit in object-detectie, en Samsung presteerde weer beter in image-segmentatie. De resultaten illustreren dat geen enkele SoC over alle taken heerst, wat het belang van workload-specifieke optimalisatie benadrukt.

De notebook-categorie bevatte een enkele Intel-referentieontwerp met de komende Xe‑LP GPU. Hoewel de gelimiteerde dataset gedetailleerde vergelijking bemoeilijkt, bereikte de Xe‑LP 2,5× hogere doorvoer dan de beste mobile SoC op image-segmentatie (DeeplabV3) en 1,15× beter op object-detectie (SSD‑MobileNetv2).

Kijken naar de Toekomst

Kanri benadrukt MLCommons' toewijding aan diversiteit in het benchmark-ecosysteem. De organisatie moedigt non-Nvidia, non-Intel, en kleine-bedrijf participatie aan, met een open divisie die elk netwerk of model toestaat getest te worden. "We werken ook aan het toevoegen van een power-meetdimensie voor de volgende ronde," zegt Kanter, uitnodigend de community om de benodigde tooling te helpen ontwikkelen.

Voor een complete, gedetailleerde lijst van MLPerf Inference resultaten, klik hier.

Bron: EE Times

Edge-resultaten gedomineerd door Nvidia GPU's, inclusief de Jetson Xavier NX