Edge AI-chips: De toekomst van on-device intelligentie drijven

In 2020 projecteerde Deloitte dat meer dan 750 miljoen edge AI-chips – complete of gedeeltelijke processoren die machine learning direct op apparaten uitvoeren of versnellen – verkocht zouden worden, wat US$2,6 miljard aan opbrengst genereerde. Het edge-AI chipsegment staat zich te voordoen om de bredere semiconductormarkt te overstijgen; tot 2024 worden unit sales verwacht te overschrijden 1,5 miljard, wat vertaalt naar een compound annual growth rate van minstens 20% – meer dan het dubbele van de langetermijn 9% CAGR voorspelling voor de industrie als geheel.

Edge-AI chips staan zich te voordoen om te verschijnen in een uitbreidende reeks consumer hardware – high-end smartphones, tablets, smart speakers, en wearables – alsook in enterprise apparaten zoals robotica, beveiligingscamera's, en industriële sensoren. Het consumer-segment domineert, doch de groeisnelheid is matig, met een 18% CAGR geprojecteerd van 2020 tot 2024. In contras, de enterprise markt wordt verwacht om te stijgen met een 50% CAGR over dezelfde periode.

Zelfs in 2024 wordt de consumermarkt verwacht om meer dan 90% van edge-AI chipverkopen te vertegenwoordigen, zowel in volume als in opbrengst. High-end smartphones zullen voor meer dan 70% van alle consumer edge-AI chips in gebruik zorgen, met de komende paar jaar grotendeels gedreven door smartphone-adoptie. Ruim een derde van de 1,56 miljard smartphone units die dit jaar verkocht worden, zou al edge-AI capaciteiten kunnen incorporeren.

Traditioneel werden AI-workloads behandeld in datacenters, enterprise cores, of telecom edge-processoren vanwege hun zware computationele eisen. Edge-AI chips veranderen dat paradigma: ze zijn compact, kosteneffectief, stroom-efficiënt, en genereren minimale hitte, wat lokale verwerking op handheld en industriële apparaten haalbaar maakt. Deze shift reduceert – of elimineert – de noodzaak om grote datavolumes naar remote servers te transmisseren, wat snellere responstijden en sterkere privacy-garanties levert.

Lokale verwerking beschermt gevoelige data; informatie die een apparaat nooit verlaat, kan niet geintercepteerd of misbruikt worden. Bovendien kan een edge-AI chip ingesloten in een telefoon geavanceerde taken uitvoeren zelfs zonder netwerkconnectiviteit.

Dat gezegd zijnde, niet elke AI-taak is het best lokaal af te handelen. Voor workloads die een apparaat's capaciteit overschrijden, blijft offloading naar cloud of edge-arrays passend. In de praktijk adopteert de meeste applicaties een hybride model – deels on-device, deels in de cloud – met de optimale split bepaald door het specifieke use case.

De economie van edge AI in smartphones

Behalve smartphones, integreren tablets, wearables, en smart speakers ook edge-AI chips, maar hun marktimpact is momenteel beperkt. Tablet-verkopen zijn relatief plat, en smart speakers en wearables samen worden geprojecteerd om slechts 125 miljoen units te bereiken in 2020. Ondanks hun bescheiden omvang, zijn de penetratiepercentages voor edge-AI chips in deze categorieën hoog.

Op dit moment zijn edge-AI chips voornamelijk te vinden in premium smartphones – het bovenste derde van het priesspectrum. Echter, het toevoegen van een AI-accelerator verhoogt niet noodzakelijkerwijs consumentenprijzen.

Door die-shots van Samsung, Apple, en Huawei te onderzoeken, kunnen we de kostendraag van de AI-kern benaderen. Samsung's Exynos 9820 wijst bijvoorbeeld ongeveer 5% van zijn die-oppervlakte toe aan AI-verwerking. Met de gehele SoC geprijsd op US$70,50, vertegenwoordigt het AI-deel ruwweg 5% van die kost, of US$3,50 per chip.

Apple's A12 Bionic wijst ruwweg 7% van zijn die-oppervlakte toe aan machine learning. Met een totale processorkost van US$72, vertaalt dit naar een geschatte US$5,10 voor de AI-kern. Huawei's Kirin 970, kostend US$52,50, wijst 2,1% van zijn oppervlakte toe aan de NPU, wat een kost van ongeveer US$1,10 suggereert (Huawei noteert 150 miljoen van 5,5 miljard transistors voor de NPU, of 2,7% van het totaal, wat de kost nabij US$1,42 zou plaatsen).

Hoewel de kostenschattingen variëren, is een gemiddelde van US$3,50 per NPU redelijk. Toegepast op een half miljard smartphones – en nog meer bij rekening houdend met tablets, speakers, en wearables – is de totale marktomvang substantieel. Met een fabricatiekost van US$1-3 per chip, resulteert de toevoeging van een edge-AI NPU in slechts een US$1-US$2 toename op het consumentenprijspunt, een verwaarloosbare stijging van onder 1% voor een US$250 telefoon.

AI-chips sourcen: In-house of third-party?

Apparaatfabrikanten kiezen verschillende paden om edge-AI chips te verkrijgen, geleid door producttier en soms geografie. Velen kopen application processor/modem SoCs van third-party vendors zoals Qualcomm en MediaTek, die samen ruwweg 60% van de smartphone SoC-markt in 2018 veroverden. Hoewel niet al hun aanbiedingen een AI-kern omvatten, doen hogere modellen zoals Qualcomm's Snapdragon 845/855 en MediaTek's Helio P60 dat wel.

Apple, in contras, ontwerpt en produceert zijn eigen SoCs – A11, A12, A13 Bionic – elk edge-AI functionaliteit incorporerend. Samsung en Hanwei emploeren hybride strategieën, sourcen sommige SoCs van de merchant markt terwijl ze ook hun eigen chips (bijv. Samsung's Exynos 9820, Huawei's Kirin 970/980) voor andere modellen gebruiken.

> Lees verder op pagina twee van dit artikel oorspronkelijk gepubliceerd op onze zustersite, EE Times Europe.