Qualcomm bereidt edge AI-aanbod voor

Bijna 18 maanden na de eerste aankondiging van de Cloud AI 100 AI-accelerator, heeft Qualcomm enkele verdere details vrijgegeven van de oplossingsvormfactoren waarin deze chip beschikbaar zal zijn, en een paar prestatiecijfers voor die kaarten. De mobiele siliciumgigant onthulde dat Cloud AI 100 definitief silicium in productie is en in de eerste helft van 2021 zal worden verzonden.

De Cloud AI 100 werd bijna 18 maanden geleden gelanceerd in april 2019. Terwijl Qualcomm de markt voor smartphoneprocessors domineert met zijn Snapdragon-lijn, was het aanbod van Qualcomm voor servers eerder niet van de grond gekomen - zijn op Arm gebaseerde Centriq-lijn werd in 2018 ingetrokken, slechts een jaar later launch. De maker van mobiele silicium ziet de Cloud AI 100 daarom als een manier om de edge-servermarkt te betreden.

Qualcomm's Cloud AI 100 is gericht op near-edge-applicaties, waaronder enterprise datacenters en 5G-infrastructuur (Afbeelding:Qualcomm)

Vormfactoren

Hoewel veel details van de Cloud AI 100-chip nog niet bekend zijn, weten we nu dat deze in eerste instantie op drie soorten kaarten beschikbaar zal zijn. Dit zijn een dubbele M.2 edge (DM.2e) vormfactor die meer dan 50 TOPS biedt bij 15 watt, een dubbele M.2 (DM.2) kaart die is geconfigureerd voor 200 TOPS bij 25 watt, en een PCIe-kaart die komt in ongeveer 400 TOPS bij 75 Watt. (Qualcomm merkte op dat dit "onbewerkte" TOPS-cijfers zijn, het theoretische maximum, en niet de berekening vertegenwoordigen die in een echte toepassing zou kunnen worden bereikt).

Qualcomm lijkt zijn vaardigheden op het gebied van low-power processorontwerp te hebben overgedragen van de mobiele ruimte naar de edge AI-acceleratormarkt. Hoewel het ontwerp van de Cloud AI 100 niet is gebaseerd op de AI-versnellingsblokken in Snapdragon-processors, lijken de prestaties per Watt indrukwekkend. Dia's die Qualcomm tijdens de mediabriefing liet zien, bevatten een grafiek waarin de PCIe-kaartversie van de Cloud AI 100 beter presteerde dan veel van de meest populaire oplossingen in de branche, terwijl slechts een fractie van het vermogen werd gebruikt. Dit zijn gemeten prestatiecijfers in vergelijking met publiekelijk genoteerde cijfers van andere leveranciers, volgens Qualcomm.

klik voor grotere afbeelding

Resnet-50 AI-inferenties per seconde voor populaire AI-inferentiehardware versus stroomverbruik, volgens de cijfers van Qualcomm. De kaarten van Qualcomm lijken bijzonder goed te presteren als het gaat om energie-efficiëntie. Batchgrootte is 8 voor alle punten in de grafiek behalve Nvidia A100. (Afbeelding:Qualcomm)

"Bij Qualcomm hebben we een lange traditie van AI R&D", zegt John Kehrli, senior director productmanagement bij Qualcomm. "We zitten eigenlijk in onze vijfde generatie oplossing van de mobiele kant, we hebben meer dan 11 jaar zeer actieve R&D. Dus we maken gebruik van die kennis, die branche-expertise, maar dit is een andere AI-kern, het is niet hetzelfde als mobiel, maar we maken gebruik van die ruimte."

De Cloud AI 100 is een inferentieversneller met maximaal 16 AI-processorcores die INT8, INT16, FP16 en FP32 ondersteunen. Het is gebouwd op een 7nm FinFET-procestechnologie. Er is tot 144 MB on-die SRAM - 128 MB wordt gedeeld over de kernen, waarbij elke kern een extra 1 MB heeft. De kaart ondersteunt tot 32 GB DRAM op kaartniveau met een geheugenbandbreedte van 4x 64 LPDDR4x met een snelheid tot 2,1 GHz.

Edge-applicaties

De Cloud AI 100 kan worden gebruikt voor computervisie, spraak, autonoom rijden, taalvertaling en aanbevelingssystemen. Vandaag positioneert Qualcomm zijn Cloud AI 100-silicium voor AI-inferentie in vier belangrijke markten. Het zijn datacenters buiten de cloud, ADAS, 5G edge boxes en 5G-infrastructuur.

AI-inferentie in datacenters aan de rand van de cloud drijft alles aan, van aanbevelingsengines die worden gebruikt om advertenties weer te geven en nieuwsfeeds te personaliseren tot meer toepassingsspecifieke rekenintensieve AI-berekeningen.

Wat Qualcomm '5G edge boxes' noemt, lijken meer op on-premise embedded stand-alone apparaten. Deze kunnen worden ingezet als onderdeel van smart city-infrastructuur op telegraafpalen of in ondernemingen, en worden gebruikt om smart city-, openbare veiligheid- en verkeersbeheertoepassingen aan te sturen.

Een afgeleide van de Cloud AI 100 wordt gebruikt om AI-verwerking voor autonoom rijden aan te sturen in het Qualcomm Snapdragon Ride-platform (dit derivaat deelt een gemeenschappelijke architectuur en softwaretoolketen, zei Kehrli).

De toepassing van de Cloud AI 100 in de 5G-infrastructuur zou zijn om complexe algoritmen te versnellen, zoals beam-forming, die nu AI gebruiken om 5G-basisstations efficiënt te beheren.

Referentieontwerp

Qualcomm kondigde ook zijn nieuwe Cloud AI 100-ontwikkelingskit aan. Dit omvat een referentieontwerp voor een 5G edge-box aangedreven door de Cloud AI 100 naast een Snapdragon 865-applicatie en videoprocessor als hostprocessor (die een volledige videopijplijn biedt die maximaal 24 streams van full HD-videodecodering ondersteunt, met ruimte voor klant app-ontwikkeling). Het referentieontwerp maakt ook gebruik van een vooraf gecertificeerde 5G-module op basis van een Snapdragon X55 5G-modem.

"Dit is echt een nieuwe kans voor ons waar we erg enthousiast over zijn", zei Kehrli. "Het doel [voor de ontwikkelkit] is dat klanten die geïnteresseerd zijn in deze ruimte snel en eenvoudig een demo-app direct uit de doos kunnen gebruiken - deze wordt zelfs geleverd met een vooraf gecompileerde ResNet-50 als demo."

Een 5G edge-box zoals deze kan on-premise analyses uitvoeren voor beveiligingsvideostreaming in een winkelcentrum of een veiligheidstoepassing in een productiefaciliteit, zei Kehrli.

Planning

De eerste klanten die de Cloud AI 100 gebruiken, bevinden zich waarschijnlijk aan de rand, in smart city, retail en productie, zei Kehrli.

"Ik verwacht dat onze eerste commerciële implementaties meer aan de edge-kant zullen zijn dan aan de datacenter-kant, waar er een veel, veel langere cyclus is om het in productie te krijgen", zei hij. “Dat wil niet zeggen dat we daar geen significante tractie en kansen hebben, maar ik verwacht meer dat 5G edge-implementaties veel sneller zullen zijn en dingen als onze vooraf gecertificeerde 5G-module maken dat veel gemakkelijker. Veel van deze klanten waarmee we werken, zijn niet uw traditionele mobiele klanten. Dus door hen een oplossing te bieden die al vooraf is gecertificeerd, kunnen ze snel op de markt komen. Dus [applicaties] in die ruimte zullen sneller verschijnen."

Het definitieve silicium voor de Qualcomm Cloud AI 100 is in productie gegaan, wordt nu gesampled naar meerdere klanten en zal in de eerste helft van 2021 worden verzonden. De edge-ontwikkelingskit zal volgende maand worden getest, maar alleen voor geselecteerde klanten.

>> Dit artikel is oorspronkelijk gepubliceerd op onze zustersite, EE Times.