Wat drijft AI tot het uiterste

In 2020 voorspellen we dat meer dan 750 miljoen edge AI-chips - chips of delen van chips die machine learning-taken op het apparaat uitvoeren of versnellen, in plaats van in een extern datacenter - zullen worden verkocht, wat neerkomt op een omzet van US $ 2,6 miljard. Bovendien zal de edge AI-chipmarkt veel sneller groeien dan de algehele chipmarkt. Tegen 2024 verwachten we dat de verkoop van edge AI-chips meer dan 1,5 miljard zal bedragen, mogelijk veel. Dit vertegenwoordigt een jaarlijkse groei van de verkoop per eenheid van ten minste 20%, meer dan het dubbele van de langetermijnprognose van 9% CAGR voor de algehele halfgeleiderindustrie.

Deze edge AI-chips zullen waarschijnlijk hun weg vinden naar een toenemend aantal consumentenapparaten, zoals high-end smartphones, tablets, slimme luidsprekers en wearables. Ze zullen ook worden gebruikt in meerdere zakelijke markten:robots, camera's, sensoren en andere IoT-apparaten (internet of things) in het algemeen.

De consumentenmarkt voor AI-chips is veel groter dan de zakelijke markt, maar zal waarschijnlijk langzamer groeien, met een CAGR van 18% verwacht tussen 2020 en 2024. De markt voor enterprise edge AI-chips groeit veel sneller, met een voorspelde CAGR van 50% over hetzelfde tijdsbestek.

Niettemin, op dit moment, in 2020, zal de markt voor consumentenapparatuur waarschijnlijk meer dan 90 procent van de edge AI-chipmarkt vertegenwoordigen, zowel wat betreft de verkochte aantallen als hun waarde in dollars. De overgrote meerderheid van deze edge AI-chips gaat naar high-end smartphones, die meer dan 70 procent uitmaken van alle consumenten edge AI-chips die momenteel in gebruik zijn. Daarom zal de groei van AI-chips in 2020 en de komende jaren voornamelijk worden aangedreven door smartphones. We denken dat meer dan een derde van de smartphonemarkt van 1,56 miljard apparaten in 2020 edge AI-chips kan hebben.

Vanwege de extreem processorintensieve vereisten zijn AI-berekeningen bijna allemaal op afstand uitgevoerd in datacenters, op enterprise core-appliances of op telecom edge-processors - niet lokaal op apparaten. Edge AI-chips brengen daar verandering in. Ze zijn fysiek kleiner, relatief goedkoop, verbruiken veel minder stroom en genereren veel minder warmte, waardoor ze zowel in draagbare apparaten als in niet-consumentenapparaten zoals robots kunnen worden geïntegreerd. Door deze apparaten in staat te stellen om processorintensieve AI-berekeningen lokaal uit te voeren, verminderen of elimineren edge AI-chips de noodzaak om grote hoeveelheden gegevens naar een externe locatie te verzenden, wat voordelen oplevert op het gebied van bruikbaarheid, snelheid en gegevensbeveiliging en privacy.

De verwerking op het apparaat houden is beter in termen van privacy en veiligheid; persoonlijke informatie die nooit een telefoon verlaat, kan niet worden onderschept of misbruikt. En als de edge AI-chip op de telefoon zit, kan hij al deze dingen doen, zelfs als hij niet is verbonden met een netwerk.

Natuurlijk hoeven niet alle AI-berekeningen lokaal plaats te vinden. Voor sommige toepassingen kan het verzenden van gegevens om te worden verwerkt door een AI-array op afstand voldoende of zelfs de voorkeur hebben, bijvoorbeeld wanneer er simpelweg te veel gegevens zijn voor de edge AI-chip van een apparaat. In feite zal AI meestal op een hybride manier worden uitgevoerd:een deel op het apparaat en een deel in de cloud. De gewenste mix in een bepaalde situatie is afhankelijk van het soort AI-verwerking dat precies moet worden uitgevoerd.

Figuur 1:Locaties waar intelligentie kan worden ingebed (Afbeelding:Deloitte Insights)

De economie van edge AI in smartphones

Smartphones zijn niet de enige apparaten die edge AI-chips gebruiken; andere apparaatcategorieën - tablets, wearables, slimme luidsprekers - bevatten ze ook. Op korte termijn zullen deze niet-smartphone-apparaten waarschijnlijk veel minder invloed hebben op de verkoop van edge AI-chips dan smartphones, hetzij omdat de markt niet groeit (zoals voor tablets) of omdat deze te klein is om een ​​wezenlijk verschil te maken ( zo zullen slimme luidsprekers en wearables samen naar verwachting slechts 125 miljoen stuks verkopen in 2020). Veel wearables en slimme luidsprekers zijn echter afhankelijk van edge AI-chips, dus de penetratie is al hoog.

Figuur 2:De Edge AI-chipmarkt (Afbeelding:Deloitte Insights)

Momenteel zullen waarschijnlijk alleen de duurste smartphones - die in het bovenste derde deel van de prijsverdeling - edge AI-chips gebruiken. Een AI-chip in een smartphone plaatsen hoeft voor de consument niet onbetaalbaar te zijn.

Het is mogelijk om tot een redelijk goede schatting te komen van de edge AI-chip van een smartphone. Tot op heden tonen afbeeldingen van telefoonprocessors in Samsung, Apple en Huawei de naakte siliciummatrijs met al zijn kenmerken zichtbaar, waardoor kan worden vastgesteld welke delen van de chips voor welke functies worden gebruikt. Een die-shot van de chip voor Samsung's Exynos 9820 laat zien dat ongeveer 5% van het totale chipgebied is gewijd aan AI-processors. De kosten van Samsung voor de volledige SoC-toepassingsprocessor worden geschat op $ 70,50, het op één na duurste onderdeel van de telefoon (na het scherm), wat neerkomt op ongeveer 17% van de totale materiaallijst van het apparaat. Ervan uitgaande dat het AI-gedeelte hetzelfde kost als de rest van de componenten, vertegenwoordigt de edge AI neural processing unit (NPU) van de Exynos ongeveer 5% van de totale kosten van de chip. Dit komt neer op ongeveer $ 3,50 per stuk.

Afbeelding 3:Een die-shot van de chip voor de Exynos 9820 van Samsung laat zien dat ongeveer 5% van het totale chipoppervlak is bestemd voor AI-processors. (Afbeelding:ChipRebel, Annotatie:AnandTech)

Evenzo wijdt Apple's A12 Bionic-chip ongeveer 7% van het matrijsgebied aan machine learning. Met een geschatte $ 72 voor de hele processor, suggereert dit een kostprijs van $ 5,10 voor het edge AI-gedeelte. De Huawei Kirin 970-chip, die de fabrikant naar schatting $ 52,50 kost, besteedt 2,1% van de chip aan de NPU, wat wijst op een kostprijs van $ 1,10. (Die oppervlakte is echter niet de enige manier om te meten welk percentage van de totale kosten van een chip naar AI gaat. Volgens Huawei heeft de NPU van de Kirin 970 150 miljoen transistors, wat neerkomt op 2,7% van het totaal van 5,5 miljard transistors van de chip. suggereren een iets hogere NPU-kost van $1,42).

Figuur 4:Apple's A12 Bionic-chip wijdt ongeveer 7% van het matrijsgebied aan machine learning. (Afbeelding:TechInsights / AnandTech)

Hoewel dit kostenbereik breed is, kan het redelijk zijn om aan te nemen dat NPU's gemiddeld $ 3,50 per chip kosten. Vermenigvuldigd met een half miljard smartphones (om nog maar te zwijgen van tablets, speakers en wearables), levert dat een grote markt op, ondanks de lage prijs per chip. Wat nog belangrijker is, tegen een gemiddelde kostprijs van $ 3,50 voor de fabrikant, en een waarschijnlijk minimum van $ 1, begint het toevoegen van een speciale edge AI NPU aan smartphoneverwerkingschips als een no-brainer te lijken. Uitgaande van een normale prijsverhoging, vertaalt het toevoegen van $ 1 aan de fabricagekosten zich in slechts $ 2 meer voor de eindklant. Dit betekent dat NPU's en de bijbehorende voordelen - een betere camera, offline spraakondersteuning, enzovoort - zelfs in een smartphone van $ 250 kunnen worden gestopt voor een prijsstijging van minder dan 1 procent.

Sourcing AI-chips:intern of van derden?

Bedrijven die smartphones en andere apparaattypen maken, hanteren verschillende benaderingen voor het verkrijgen van edge AI-chips, waarbij de beslissing wordt bepaald door factoren zoals het telefoonmodel en (soms) geografie. Sommigen kopen applicatieprocessor-/modemchips van externe bedrijven die gespecialiseerd zijn in het maken en verkopen ervan aan telefoonfabrikanten, maar maken geen eigen telefoons. Qualcomm en MediaTek zijn twee prominente voorbeelden; samen veroverden deze twee bedrijven in 2018 ongeveer 60 procent van de smartphone-SoC-chipmarkt.

Zowel Qualcomm als MediaTek bieden een reeks SoC's tegen verschillende prijzen; hoewel ze niet allemaal een edge AI-chip bevatten, doen de duurdere aanbiedingen (inclusief Qualcomm's Snapdragon 845 en 855 en MediaTek's Helio P60) dat meestal wel. Aan de andere kant van de schaal gebruikt Apple helemaal geen externe AP-chips:het ontwerpt en gebruikt zijn eigen SoC-processors, zoals de A11-, A12- en A13 Bionic-chips, die allemaal edge-AI hebben.

Andere apparaatfabrikanten, zoals Samsung en Huawei, gebruiken een hybride strategie, kopen sommige SoC's van siliciumleveranciers op de handelsmarkt en gebruiken hun eigen chips (zoals Samsung's Exynos 9820 en Huawei's Kirin 970/980) voor de rest.

Meer dan 50 AI-acceleratorbedrijven strijden om edge AI in ondernemingen en industrie

Als edge AI-processors die in smartphones en andere apparaten worden gebruikt zo geweldig zijn, waarom zouden ze dan niet ook voor bedrijfstoepassingen worden gebruikt? Dit is in feite al gebeurd voor sommige use-cases, zoals voor sommige autonome drones. Uitgerust met een SoC-toepassingsprocessor voor smartphones, kan een drone in realtime en volledig op het apparaat navigeren en obstakels vermijden, zonder enige netwerkverbinding.

Een voor een smartphone of tablet geoptimaliseerde chip is echter niet de juiste keuze voor veel zakelijke of industriële toepassingen. Zoals eerder besproken, is het edge AI-gedeelte van een smartphone-SoC slechts ongeveer 5% van het totale gebied, ongeveer $ 3,50 van de totale kosten, en zou het ongeveer 95 procent minder stroom verbruiken dan de hele SoC. Wat als iemand een chip bouwde die alleen . had het edge AI-gedeelte (samen met een paar andere vereiste functies zoals geheugen) dat minder kostte, minder elektriciteit gebruikte en kleiner was?

Nou, dat hebben ze. In totaal zouden maar liefst 50 verschillende bedrijven werken aan verschillende soorten AI-versnellers. De stand-alone edge AI-chips die in 2019 beschikbaar waren, waren gericht op ontwikkelaars, die ze één voor één zouden kopen voor ongeveer $ 80 per stuk. In volumes van duizenden of miljoenen zullen deze chips fabrikanten van apparaten waarschijnlijk veel minder kosten om te kopen:sommige slechts $ 1 (of mogelijk zelfs minder), sommige in de tientallen dollars. We gaan voorlopig uit van een gemiddelde kostprijs van ongeveer $ 3,50, waarbij we de edge AI-chip van de smartphone als proxy gebruiken.

Behalve dat ze relatief goedkoop zijn, hebben standalone edge AI-processors het voordeel dat ze klein zijn. Ze hebben ook een relatief laag vermogen en verbruiken tussen de 1 en 10 watt. Ter vergelijking:een datacentercluster (zij het een zeer krachtige) van 16 GPU's en twee CPU's kost $ 400.000, weegt 350 pond en verbruikt 10.000 watt aan stroom.

Met chips zoals deze in de maak, kan edge AI veel nieuwe mogelijkheden voor ondernemingen openen, met name met betrekking tot IoT-toepassingen. Met behulp van edge AI-chips kunnen bedrijven hun vermogen om gegevens van verbonden apparaten te analyseren, niet alleen te verzamelen, aanzienlijk vergroten en deze analyse omzetten in actie, terwijl ze de kosten, complexiteit en beveiligingsuitdagingen vermijden die gepaard gaan met het verzenden van enorme hoeveelheden gegevens naar de cloud. Problemen die AI-chips kunnen helpen oplossen zijn onder meer:

Gegevensbeveiliging en privacy. Het verzamelen, opslaan en verplaatsen van gegevens naar de cloud stelt een organisatie onvermijdelijk bloot aan cyberbeveiligings- en privacybedreigingen, zelfs wanneer bedrijven waakzaam zijn over gegevensbescherming. Dit enorm belangrijke risico wordt in de loop van de tijd nog belangrijker om aan te pakken. Regelgeving over persoonlijk identificeerbare informatie is in opkomst in alle rechtsgebieden en consumenten worden zich steeds meer bewust van de gegevens die ondernemingen verzamelen, waarbij 80 procent van hen zegt dat ze niet het gevoel hebben dat bedrijven alles doen wat ze kunnen om de privacy van consumenten te beschermen. Sommige apparaten, zoals slimme luidsprekers, beginnen te worden gebruikt in instellingen zoals ziekenhuizen, waar de privacy van patiënten nog strenger wordt gereguleerd.

Door toe te staan ​​dat grote hoeveelheden gegevens lokaal worden verwerkt, kunnen edge AI-chips het risico verkleinen dat persoonlijke of bedrijfsgegevens worden onderschept of misbruikt. Beveiligingscamera's met machine learning-verwerking kunnen bijvoorbeeld privacyrisico's verminderen door de video te analyseren om te bepalen welke segmenten van de video relevant zijn en alleen die naar de cloud te sturen. Machine learning-chips kunnen ook een breder scala aan spraakopdrachten herkennen, zodat er minder audio in de cloud hoeft te worden geanalyseerd. Nauwkeurigere spraakherkenning kan het extra voordeel opleveren dat slimme luidsprekers het 'wake woord' nauwkeuriger kunnen detecteren, waardoor het niet naar niet-gerelateerde gesprekken kan luisteren.

Lage connectiviteit. Er moet een apparaat zijn aangesloten om gegevens in de cloud te kunnen verwerken. In sommige gevallen is het echter onpraktisch om het apparaat aan te sluiten. Neem als voorbeeld drones. Het onderhouden van connectiviteit met een drone kan moeilijk zijn, afhankelijk van waar ze opereren, en zowel de verbinding zelf als het uploaden van gegevens naar de cloud kan de levensduur van de batterij verkorten. In New South Wales, Australië patrouilleren drones met ingebouwde machine learning op stranden om zwemmers veilig te houden. Ze kunnen zwemmers identificeren die zijn meegenomen door vloedgolven, of zwemmers waarschuwen voor haaien en krokodillen voor een aanval, allemaal zonder internetverbinding.

(Te) big data. IoT-apparaten kunnen enorme hoeveelheden data genereren. Een Airbus A-350-jet heeft bijvoorbeeld meer dan 6.000 sensoren en genereert elke dag dat het vliegt 2,5 terabyte aan data. Wereldwijd creëren beveiligingscamera's ongeveer 2500 petabyte aan data per dag. Het verzenden van al deze gegevens naar de cloud voor opslag en analyse is kostbaar en complex. Het plaatsen van machine learning-processors op de eindpunten, of het nu sensoren of camera's zijn, kan dit probleem oplossen. Camera's zouden bijvoorbeeld kunnen worden uitgerust met vision processing units (VPU's), low-power SoC-processors die gespecialiseerd zijn voor het analyseren of voorbewerken van digitale beelden. Met ingebedde edge AI-chips kan een apparaat gegevens in realtime analyseren, alleen datgene verzenden wat relevant is voor verdere analyse in de cloud en de rest "vergeten", waardoor de kosten van opslag en bandbreedte worden verlaagd.

Voedingsbeperkingen. Met low-power machine learning-chips kunnen zelfs apparaten met kleine batterijen AI-berekeningen uitvoeren zonder onnodig stroomverbruik. Zo worden armchips ingebed in ademhalingsinhalatoren om gegevens te analyseren, zoals de inademing van de longcapaciteit en de stroom van medicijnen in de longen. De AI-analyse wordt uitgevoerd op de inhalator en de resultaten worden vervolgens naar een smartphone-app gestuurd, waardoor zorgprofessionals gepersonaliseerde zorg voor astmapatiënten kunnen ontwikkelen. Naast de low-power edge AI NPU's die momenteel beschikbaar zijn, werken bedrijven aan de ontwikkeling van "tiny machine learning":diep leren op apparaten zo klein als microcontroller-eenheden. Google ontwikkelt bijvoorbeeld een versie van TensorFlow Lite waarmee microcontrollers gegevens kunnen analyseren en wat off-chip moet worden verzonden in een paar bytes.

Vereisten voor lage latentie. Of het nu gaat om een ​​bekabeld of draadloos netwerk, het uitvoeren van AI-berekeningen in een extern datacenter betekent een retourlatentie van minimaal 1-2 milliseconden in het beste geval, en tientallen of zelfs honderden milliseconden in het slechtste geval. Het uitvoeren van AI op het apparaat met behulp van een edge AI-chip zou dat reduceren tot nanoseconden - van cruciaal belang voor gebruik waarbij het apparaat vrijwel onmiddellijk gegevens moet verzamelen, verwerken en erop reageren. Autonome voertuigen moeten bijvoorbeeld enorme hoeveelheden gegevens verzamelen en verwerken van computervisiesystemen om objecten te identificeren, evenals van de sensoren die de functies van het voertuig besturen. Ze moeten deze gegevens vervolgens onmiddellijk omzetten in beslissingen - wanneer ze moeten afslaan, remmen of versnellen - om veilig te kunnen werken. Om dit te doen, moeten autonome voertuigen veel van de gegevens die ze verzamelen in het voertuig zelf verwerken. Lage latentie is ook belangrijk voor robots, en dit zal nog belangrijker worden naarmate robots uit de fabrieksinstellingen tevoorschijn komen om naast mensen te werken.

Waar het op neerkomt:edge AI zal van vitaal belang zijn voor data-intensieve applicaties

De verspreiding van edge AI-chips zal waarschijnlijk leiden tot aanzienlijke veranderingen voor zowel consumenten als ondernemingen. Voor consumenten kunnen edge AI-chips een overvloed aan functies mogelijk maken - van het ontgrendelen van hun telefoon tot een gesprek met de stemassistent tot het maken van verbluffende foto's onder extreem moeilijke omstandigheden en zonder dat een internetverbinding nodig is.

Maar op de lange termijn kan de grotere impact van edge AI-chips komen van hun gebruik in ondernemingen, waar ze bedrijven in staat kunnen stellen hun IoT-toepassingen naar een geheel nieuw niveau te tillen. Slimme machines aangedreven door AI-chips kunnen helpen bestaande markten uit te breiden, gevestigde bedrijven te bedreigen en de manier waarop winst wordt verdeeld in sectoren zoals productie, bouw, logistiek, landbouw en energie te veranderen. Het vermogen om grote hoeveelheden gegevens te verzamelen, te interpreteren en er onmiddellijk op te reageren, is van cruciaal belang voor veel van de data-zware toepassingen die futuristen als wijdverbreid beschouwen:videobewaking, virtual reality, autonome drones en voertuigen, en meer. Die toekomst hangt voor een groot deel af van wat edge AI-chips mogelijk maken:de intelligentie naar het apparaat brengen.

Duncan Stewart en Jeff Loucks werken bij Deloitte's Center for Technology, Media and Telecommunications. Dit artikel is gebaseerd op een artikel dat oorspronkelijk door Deloitte is gepubliceerd voor haar TMT Predictions 2020-rapport.