Qualcomm onthult Cloud AI 100: Een stroom-efficiënte Edge AI accelerator voor 5G en verder

Bijna 18 maanden na de initiële onthulling in april 2019 heeft Qualcomm nu bevestigd dat de Cloud AI 100 silicon in productie is en in de eerste helft van 2021 zal worden geleverd. Het bedrijf onthulde ook de kaart-formfactoren en prestatiebenchmarks die de gereedheid voor edge-AI workloads benadrukken.

Terwijl Qualcomm lang de smartphone-markt heeft gedomineerd met de Snapdragon-lijn, werd de eerdere server-grade Centriq-lijn in 2018 gestaakt. De Cloud AI 100 markeert Qualcomm's strategische instap in de near-edge server-markt, wat high-throughput AI-inferentie levert met uitzonderlijke stroom-efficiëntie.

Qualcomm's Cloud AI 100 is ontworpen voor near-edge AI workloads zoals 5G-infrastructuur en enterprise datacenters.

Formfactoren en prestaties

Qualcomm zal de Cloud AI 100 initieel aanbieden in drie kaartformaten:

• Dual M.2 Edge (DM.2e) – meer dan 50 TOPS bij 15 W
• Dual M.2 (DM.2) – 200 TOPS bij 25 W
• PCIe – tot 400 TOPS bij 75 W

De cijfers vertegenwoordigen de theoretische "raw" TOPS en rekening niet met real-world applicatie-overhead. Niettemin tonen Qualcomm's eigen prestatiecurves dat de PCIe-versie veel leidende oplozingen overtreft terwijl slechts een fractie van de stroom wordt verbruikt.

ResNet-50 inferentie doorvoer versus stroomverbruik. Qualcomm's kaarten leiden in stroom-efficiëntie, met een batch size van 8 (behalve Nvidia A100).

"We brengen meer dan een decennium AI R&D van onze mobile platforms naar deze nieuwe core," aldus John Kehrli, Qualcomm's Senior Director of Product Management. "Hoewel de architectuur verschilt van Snapdragon, zijn de expertise en prestaties per watt duidelijk zichtbaar."

Chip Architectuur

De Cloud AI 100 is een inferentie-accelerator gebouwd op een 7 nm FinFET proces. Het bevat tot 16 AI-cores die INT8, INT16, FP16 en FP32 precisie ondersteunen. De die bevat 144 MB on-chip SRAM (128 MB gedeeld, 1 MB per core) en interfaceert met tot 32 GB LPDDR4x DRAM (4×64 LPDDR4x bij 2,1 GHz), wat hoge geheugenbandbreedte levert essentieel voor AI-workloads.

Doeltoepassingen

De accelerator is afgestemd op een breed scala aan edge use cases, inclusief computer vision, spraakherkenning, autonomous driving, taalvertaling en recommendation engines. Qualcomm positioneert de Cloud AI 100 voor vier primaire markten:

• Datacenters aan de rand van de cloud
• Advanced Driver Assistance Systems (ADAS)
• 5G edge boxen (on-premise, standalone apparaten voor smart city en enterprise gebruik)
• 5G infrastructuur (AI-aangedreven beam-forming en base-station optimalisatie)

In de autonomous driving ruimte aandrijft een derivaat van de Cloud AI 100 Qualcomm's Snapdragon Ride platform, wat dezelfde architectuur en software stack benut.

Referentieontwerp & Development Kit

Qualcomm introduceerde een nieuwe development kit met een referentieontwerp voor een 5G edge box aangedreven door de Cloud AI 100. De kit koppelt de accelerator aan een Snapdragon 865 host processor, wat volledige video-pijplijnen biedt die tot 24 streams full-HD video decode ondersteunen. Het bevat ook een pre-gecertificeerde Snapdragon X55 5G modem.

"Deze kit stelt klanten in staat om demo-applicaties direct te lanceren. Het komt pre-gecompileerd met ResNet-50, wat een snelle start biedt voor edge AI oplozingen," benadrukte Kehrli.

Implementatie-timeline

Qualcomm verwacht dat initiële commerciële implementaties zich richten op edge scenario's – slimme steden, retail analytics en manufacturing – vanwege kortere certificatiecycli. Sampling van de Cloud AI 100 is al gaande bij geselecteerde klanten, en de development kit zal volgende maand samplen voor een beperkte publiek.

Let op: Dit artikel is oorspronkelijk gepubliceerd op EE Times.