Edge AI: Versnellen van on-device intelligentie en transformerende consumenten- en enterprisemarkten

In 2020 voorspelden analisten dat meer dan 750 miljoen edge AI-chips – apparaten die machine learning direct op de hardware uitvoeren of versnellen – verkocht zouden worden, wat ongeveer VS$2,6 miljard aan opbrengst genereerde. Het edge-AI-segment wordt verwacht de bredere semiconductormarkte te overstijgen, met unit-verkoop die naar verwachting 1,5 miljard zal overschrijden tot 2024, wat een jaargroei van ten minste 20% impliceert versus een 9% CAGR voor de algehele markt.

Deze chips zijn steeds vaker te vinden in high-end smartphones, tablets, slimme speakers, wearables en een groeiende reeks enterprise-apparatuur, inclusief robots, camera's, sensoren en algemene IoT-apparaten.

Hoewel het consumentensegment groter blijft, wordt verwacht dat het groeit met een CAGR van 18% van 2020 tot 2024, terwijl het enterprise-segment verwacht wordt te versnellen met 50% over dezelfde periode.

In 2020 vertegenwoordigten consumentenapparaten meer dan 90% van de edge-AI-chipmarkt naar volume en waarde. High-end smartphones stonden voor meer dan 70% van de consumenten-units in gebruik, en meer dan een derde van de 1,56 miljard smartphone-uitzendingen die jaar waarschijnlijk een edge-AI-chip bevatten.

Historisch werden AI-workloads afgehandeld in datacenters vanwege hun computationele intensiteit. Edge-AI-chips zijn echter kleiner, goedkoper, consumeren veel minder stroom en produceren minimaal warmte – wat hun integratie in handheld-apparaten en robots mogelijk maakt. Door data lokaal te verwerken, verminderen ze latentie, verbeteren bruikbaarheid en verbeteren privacy en beveiliging door persoonlijke informatie op het apparaat te houden.

Wanneer apparaatbronnen onvoldoende zijn, kan een hybride benadering – combineren van on-device en cloud-verwerking – worden gebruikt. De optimale mix hangt af van de specifieke AI-workload.

Figuur 1: Locaties waar intelligentie kan worden ingesloten (Afbeelding: Deloitte Insights)

De economie van edge AI in smartphones

Hoewel smartphones de markt domineren, incorporeren andere categorieën – tablets, wearables en slimme speakers – ook edge-AI-chips. In 2020 waren tablets grotendeels stagnant, terwijl slimme speakers en wearables samen verwacht werden slechts 125 miljoen units te shippen, wat hun impact op de totale verkoop beperkt. Toch zijn de penetratiepercentages voor deze apparaten al hoog.

Figuur 2: De Edge AI-chipmarkt (Afbeelding: Deloitte Insights)

Op dit moment zijn alleen de duurste smartphones – die in het top derde van het prijsspectrum vallen – geneigd edge-AI-chips te hebben, toch is de incrementele kost minimaal.

Door silicium-die-shots van Samsung, Apple en Huawei te onderzoeken, kunnen we de aandeel van een SoC gewijd aan AI benaderen. Samsung's Exynos 9820 wijst bijvoorbeeld ongeveer 5% van zijn die-oppervlakte toe aan een NPU. Met een totale SoC-kost van ongeveer VS$70,50, vertegenwoordigt het AI-deel ruwweg 5% van die kost, of ongeveer VS$3,50 per chip.

Figuur 3: Een die-shot van Samsung's Exynos 9820 met ~5% AI-oppervlakte (Afbeelding: ChipRebel, Annotatie: AnandTech)

Apple's A12 Bionic reserveert ongeveer 7% van zijn die voor machine-learning, wat vertaalt naar een geschatte kost van VS$5,10. Huawei's Kirin 970 wijst 2,1% van zijn oppervlakte toe aan de NPU, wat een kost tussen VS$1,10 en VS$1,42 suggereert, afhankelijk van of oppervlakte of transistor-telling als maatstaf wordt gebruikt.

Figuur 4: Apple's A12 Bionic wijst ~7% van zijn die toe aan machine-learning (Afbeelding: TechInsights / AnandTech)

Zelfs met een wijd kostbereik, is een gemiddelde van VS$3,50 per NPU een redelijke schatting. Vermenigvuldigd over een half miljard smartphones – plus tablets, speakers en wearables – is het marktvolume substantieel. Belangrijk is dat het toevoegen van een $1 productiekost typisch vertaalt naar een $2 prijsstijging voor consumenten, wat edge-AI NPU's toestaat in telefoons geprijsd zo laag als VS$250 zonder significante marge-impact.

AI-chips sourcen: in-house of derde-partij?

Apparaatfabrikanten kiezen sourcing-strategieën gebaseerd op product-tier en geografie. Bedrijven zoals Qualcomm en MediaTek leveren SoCs aan veel fabrikanten, en vangen ongeveer 60% van de smartphone-SoC-markt in 2018. Hun high-end lijnen – Snapdragon 845, 855, en MediaTek's Helio P60 – incorporeren meestal edge-AI-mogelijkheden.

Apple, tegenover, ontwerpt zijn eigen SoCs (A11–A13 Bionic) en integreert AI doorheen. Samsung en Huawei adopteren een hybride model, kopen sommige SoCs van derden terwijl ze hun eigen Exynos en Kirin-chips implementeren voor hogere-tier apparaten.

Meer dan 50 AI-accelerator-bedrijven werven om edge AI in enterprise en industrie

Hoewel smartphone-grade chips goed presteren voor consumentengebruik, vereisen veel enterprise- en industriële toepassingen meer gefocuste, energie-efficiënte oplossingen. Een NPU die slechts het AI-deel van een SoC inneemt, gebruikt 95% minder stroom en is significant goedkoper dan de volledige SoC.

Vandaag ontwikkelen meer dan 50 bedrijven standalone edge-AI-accelerators. In 2019 konden ontwikkelaars single chips kopen voor ongeveer VS$80 elk. In bulk kunnen fabrikanten ze verkrijgen voor zo laag als VS$1 tot een paar dollars. Gebruikmakend van de smartphone-NPU als proxy, nemen we een gemiddelde kost van VS$3,50 aan.

Standalone chips zijn niet alleen goedkoop, maar ook klein en laagstroom, trekkend tussen 1 en 10 W. In contras kost een 16-GPU datacenter-cluster VS$400k, weegt 350 lb en verbruikt 10 kW.

Edge AI stelt enterprises in staat om data lokaal te verwerken, wat de noodzaak vermindert om enorme datasets naar de cloud te verplaatsen, kosten snijdt, architectuur vereenvoudigt en beveiligingsrisico's mitigateert.

Databeveiliging en privacy

Lokale verwerking minimaliseert blootstelling aan cyber-dreigingen en regulatorische toezicht. Bijvoorbeeld, slimme camera's kunnen footage on-device analyseren, alleen relevante segmenten naar de cloud sturen, terwijl slimme speakers wake-word-detectie kunnen verfijnen om onnodige audio-opname te reduceren.

Lage connectiviteit

Apparaten die werken in netwerk-arme omgevingen – zoals autonoom drones – profiteren van on-device AI, wat realtime besluitvorming mogelijk maakt zonder te vertrouwen op connectiviteit.

Massieve datavolumes

IoT-implementaties kunnen terabytes data per dag genereren. Edge AI kan deze data filteren en pre-verwerken, alleen actionable insights transmissie, wat opslag- en bandbreedtekosten verlaagt.

Stroombeperkingen

Laagstroom-accelerators maken kleine-batterij-apparaten mogelijk, zoals inhalators die gebruikspatronen lokaal analyseren en knappe metrics naar een smartphone sturen. Inspanningen zoals Google's TensorFlow Lite voor microcontrollers duwen deep learning in microcontrollers, wat „tiny machine learning” mogelijk maakt.

Lage latentie-eisen

On-device inferentie elimineert round-trip latentie naar datacenters, wat kritiek kan zijn voor autonoom voertuigen, robotica en andere veiligheidskritieke toepassingen.

De kern: edge AI zal vitale zijn voor data-zware toepassingen

Consumenten zullen profiteren van functies zoals veilige device-ontgrendeling, offline stemassistenten en hoge-kwaliteit fotografie zonder constante connectiviteit. Voor enterprises kan edge AI nieuwe bedrijfsmodellen ontgrendelen, operationele efficiëntie verbeteren en industrieën zoals productie, logistiek, landbouw en energie transformeren door realtime, on-device analytics mogelijk te maken.

Duncan Stewart en Jeff Loucks zijn verbonden aan Deloitte's Center for Technology, Media and Telecommunications. Dit artikel is gebaseerd op een artikel oorspronkelijk gepubliceerd door Deloitte voor het TMT Predictions 2020-rapport.