Waarom edge AI een no-brainer is

In 2020 voorspelt Deloitte dat meer dan 750 miljoen edge AI-chips - volledige chips of delen van chips die machine learning-taken op het apparaat uitvoeren of versnellen, in plaats van in een extern datacenter - zullen worden verkocht, wat neerkomt op een omzet van US $ 2,6 miljard. Bovendien zal de edge AI-chipmarkt veel sneller groeien dan de algehele chipmarkt. Tegen 2024 verwachten we dat de verkoop per eenheid van edge AI-chips meer dan 1,5 miljard zal bedragen, mogelijk veel. Dat vertegenwoordigt een samengestelde jaarlijkse groei van de verkoop per eenheid van ten minste 20%, meer dan het dubbele van de langetermijnprognose van 9% CAGR voor de algehele halfgeleiderindustrie.

Figuur 1:Locaties waarin intelligentie kan worden ingebed (Afbeelding:Deloitte Insights)

Deze edge AI-chips zullen waarschijnlijk hun weg vinden naar een toenemend aantal consumentenapparaten, zoals high-end smartphones, tablets, slimme luidsprekers en wearables. Ze zullen ook worden gebruikt in meerdere zakelijke markten:robots, camera's, sensoren en andere apparaten voor het internet der dingen. De consumentenmarkt voor edge AI-chips is veel groter dan de enterprise-markt, maar zal waarschijnlijk langzamer groeien, met een CAGR van 18% verwacht tussen 2020 en 2024. De enterprise edge AI-chipmarkt groeit veel sneller, met een voorspelde CAGR van 50% over hetzelfde tijdsbestek.

Afbeelding 2:De edge AI-chipmarkt (Afbeelding:Deloitte Insights)

Desalniettemin zal de markt voor consumentenapparatuur dit jaar waarschijnlijk meer dan 90% van de edge AI-chipmarkt vertegenwoordigen, zowel wat betreft de verkochte aantallen als hun waarde in dollars. De overgrote meerderheid van deze edge AI-chips gaat naar high-end smartphones, die goed zijn voor meer dan 70% van alle consumenten edge AI-chips die momenteel in gebruik zijn. Inderdaad, niet alleen in 2020, maar de komende jaren zal de groei van AI-chips voornamelijk worden aangedreven door smartphones. We zijn van mening dat meer dan een derde van de smartphonemarkt van 1,56 miljard stuks dit jaar edge AI-chips kan bevatten.

Vanwege de extreem processorintensieve vereisten zijn AI-berekeningen bijna allemaal op afstand uitgevoerd in datacenters, op enterprise core-appliances of op telecom edge-processors - niet lokaal op apparaten. Edge AI-chips brengen daar verandering in. Ze zijn fysiek kleiner, relatief goedkoop, verbruiken veel minder stroom en genereren veel minder warmte, waardoor ze zowel in draagbare apparaten als in niet-consumentenapparaten zoals robots kunnen worden geïntegreerd. Door deze apparaten in staat te stellen lokaal processorintensieve AI-berekeningen uit te voeren, verminderen of elimineren edge AI-chips de noodzaak om grote hoeveelheden gegevens naar een externe locatie te verzenden, wat voordelen oplevert op het gebied van bruikbaarheid, snelheid en gegevensbeveiliging en privacy.

De verwerking op het apparaat houden is beter in termen van privacy en veiligheid; persoonlijke informatie die nooit een telefoon verlaat, kan niet worden onderschept of misbruikt. En als de edge AI-chip op de telefoon zit, kan hij al deze dingen doen, zelfs als hij niet is verbonden met een netwerk.

Natuurlijk hoeven niet alle AI-berekeningen lokaal plaats te vinden. Voor sommige toepassingen, bijvoorbeeld wanneer er simpelweg te veel gegevens zijn voor de edge AI-chip van een apparaat om te verwerken, kan het verzenden van gegevens voor verwerking door een AI-array op afstand voldoende zijn of zelfs de voorkeur hebben. In feite zal AI meestal op een hybride manier worden gedaan:een deel op het apparaat en een deel in de cloud. De gewenste mix in een bepaalde situatie is afhankelijk van het soort AI-verwerking dat precies moet worden uitgevoerd.

De economie van edge AI in smartphones

Smartphones zijn niet de enige apparaten die edge AI-chips gebruiken; andere apparaatcategorieën - tablets, wearables, slimme luidsprekers - bevatten ze ook. Op korte termijn zullen deze niet-smartphone-apparaten waarschijnlijk veel minder invloed hebben op de verkoop van edge AI-chips dan smartphones, hetzij omdat de markt niet groeit (zoals voor tablets) of omdat deze te klein is om een ​​wezenlijk verschil te maken ( zo zullen slimme luidsprekers en wearables samen naar verwachting slechts 125 miljoen stuks verkopen in 2020). Veel wearables en slimme luidsprekers zijn echter afhankelijk van edge AI-chips, dus de penetratie is al hoog.

Momenteel zullen waarschijnlijk alleen de duurste smartphones - die in het bovenste derde deel van de prijsverdeling - edge AI-chips gebruiken. Maar een AI-chip in een smartphone plaatsen hoeft voor de consument niet onbetaalbaar te zijn.

Het is mogelijk om tot een redelijk goede schatting te komen van de edge AI-chipinhoud van een smartphone. Tot op heden tonen afbeeldingen van telefoonprocessors in Samsung, Apple en Huawei de naakte siliciummatrijs met al zijn kenmerken zichtbaar, waardoor kan worden vastgesteld welke delen van de chips voor welke functies worden gebruikt. Een die-shot van de chip voor Samsung's Exynos 9820 laat zien dat ongeveer 5% van het totale chipgebied is gewijd aan AI-processors. De kosten van Samsung voor de volledige SoC-toepassingsprocessor worden geschat op $ 70,50, wat het op één na duurste onderdeel van de telefoon is (na het scherm), wat neerkomt op ongeveer 17% van de totale materiaallijst van het apparaat. Ervan uitgaande dat het AI-gedeelte hetzelfde kost als de rest van de componenten, vertegenwoordigt de edge AI neurale verwerkingseenheid (NPU) van de Exynos ongeveer 5% van de totale kosten van de chip. Dat komt neer op ongeveer US $ 3,50 per stuk.

Afbeelding 3:Een die-shot van de chip voor de Exynos 9820 van Samsung laat zien dat ongeveer 5% van het totale chipoppervlak is bestemd voor AI-processors. (Afbeelding:ChipRebel; Annotatie:AnandTech)

Evenzo wijdt Apple's A12 Bionic-chip ongeveer 7% van het matrijsgebied aan machine learning. Met een geschatte US $ 72 voor de hele processor, suggereert dat percentage een kostprijs van US $ 5,10 voor het edge AI-gedeelte. De Huawei Kirin 970-chip, die de fabrikant naar schatting 52,50 dollar kost, besteedt 2,1% van de dobbelsteen aan de NPU, wat wijst op een kostprijs van 1,10 dollar. (Die oppervlakte is echter niet de enige manier om te meten welk percentage van de totale kosten van een chip naar AI gaat. Volgens Huawei heeft de NPU van de Kirin 970 150 miljoen transistors, wat neerkomt op 2,7% van het totaal van 5,5 miljard transistors van de chip. Dat zou suggereren een iets hogere NPU-prijs van US $ 1,42).

Afbeelding 4:Apple's A12 Bionic-chip wijdt ongeveer 7% van het matrijsgebied aan machine learning. (Afbeelding:TechInsights/AnandTech)

Hoewel het genoemde kostenbereik breed is, is het redelijk om aan te nemen dat NPU's gemiddeld US $ 3,50 per chip kosten. Vermenigvuldigd met een half miljard smartphones (om nog maar te zwijgen van tablets, speakers en wearables), levert dat een grote markt op, ondanks de lage prijs per chip. Met een gemiddelde kostprijs van US $ 3,50 voor de fabrikant, en een waarschijnlijk minimum van US $ 1, begint het toevoegen van een speciale edge AI NPU aan smartphone-verwerkingschips als een no-brainer te lijken. Uitgaande van een normale prijsverhoging, betekent het toevoegen van $ 1 aan de fabricagekosten slechts $ 2 meer voor de eindklant. Dat betekent dat NPU's en de bijbehorende voordelen - een betere camera, offline spraakondersteuning, enzovoort - zelfs in een smartphone van $ 250 kunnen worden gestopt voor een prijsverhoging van minder dan 1%.

Inkoop van AI-chips:intern of van derden?

Bedrijven die smartphones en andere apparaten produceren, verschillen in hun benadering van het verkrijgen van edge AI-chips, waarbij de beslissing wordt bepaald door factoren zoals het telefoonmodel en, in sommige gevallen, de geografie. Sommigen kopen applicatieprocessor-/modemchips van externe providers, zoals Qualcomm en MediaTek, die samen in 2018 ongeveer 60% van de smartphone-SoC-markt veroverden.

Zowel Qualcomm als MediaTek bieden een reeks SoC's tegen verschillende prijzen; hoewel ze niet allemaal een edge AI-chip bevatten, doen de duurdere aanbiedingen (inclusief Qualcomm's Snapdragon 845 en 855 en MediaTek's Helio P60) dat meestal wel. Aan de andere kant van de schaal gebruikt Apple helemaal geen externe AP-chips:het ontwerpt en gebruikt zijn eigen SoC-processors, zoals de A11-, A12- en A13 Bionic-chips, die allemaal edge-AI hebben.

Andere apparaatfabrikanten, zoals Samsung en Huawei, gebruiken een hybride strategie, kopen sommige SoC's van siliciumleveranciers op de handelsmarkt en gebruiken hun eigen chips (zoals Samsung's Exynos 9820 en Huawei's Kirin 970/980) voor de rest.

>> Lees pagina twee hiervan verder artikel oorspronkelijk gepubliceerd op onze zustersite, EE Times Europe.