Trends blijven de verwerking tot het uiterste pushen voor AI

• Apparaatproliferatie en gegevensvolumes geven nu de voorkeur aan gedistribueerde computermodellen vanwege snelheid, prestaties en gegevensbeveiliging
• Recente stappen van leveranciers door NVIDIA en VMware bieden ondersteuning voor data-intensieve verwerking, zoals AI en machine learning, aan de rand.
• Veel processen en industrieën zullen profiteren van het pushen van verwerking naar de edge, inclusief het industriële IoT en op de consument gebaseerde IoT.

Naarmate er steeds meer verbonden apparaten zijn, zijn er nieuwe manieren van verwerking op de voorgrond gekomen om de explosie van apparaten en gegevens op te vangen.

Jarenlang zijn organisaties overgestapt op een gecentraliseerde, off-site verwerkingsarchitectuur in de cloud en weg van on-premises datacenters. Cloudcomputing stelde startups in staat om te innoveren en hun bedrijf uit te breiden zonder enorme kapitaaluitgaven voor datacenterinfrastructuur of lopende kosten voor IT-beheer. Het stelde grote organisaties in staat snel te schalen en flexibel te blijven door on-demand resources te gebruiken.

Maar naarmate bedrijven meer op afstand modellen, video-intensieve communicatie en andere processen gaan gebruiken, hebben ze een edge computing-architectuur nodig om data-hogging-taken aan te kunnen.

Deze data-intensieve processen moeten binnen een fractie van een seconde plaatsvinden:denk aan zelfrijdende auto's, videostreaming of het in realtime volgen van vrachtwagens op hun route. Het verzenden van gegevens op een retour naar de cloud en terug naar het apparaat kost te veel tijd. Het kan ook kosten toevoegen en gegevens tijdens het transport compromitteren.

"Klanten realiseren zich dat ze niet veel verwerking aan de cloud willen doorgeven, dus denken ze dat de edge het echte doelwit is", aldus Markus Levy, hoofd AI-technologieën bij NXP Semiconductors, in een artikel over de opkomst van embedded AI.

In de afgelopen jaren is de edge computing-architectuur op de voorgrond getreden, om tegemoet te komen aan de wildgroei aan gegevens en apparaten en aan de snelheid waarmee deze gegevens zich verplaatsen.

Volgens gegevens van MarketsandMarkets zal de markt voor edge computing naar verwachting groeien van $ 3,6 miljard in 2020 tot $ 15,7 miljard in 2025.

Marktbewegingen blijven de verwerking tot het uiterste pushen:NVIDIA

Recente stappen van NVIDIA, een gigant op de markt voor grafische verwerkingseenheden (GPU), en VMware, de leverancier van virtualisatie, ondersteunen deze nieuwe gedistribueerde verwerkingsarchitecturen en maken duidelijk de weg vrij voor bliksemsnelle verwerking aan de rand.

Ten eerste kondigde NVIDIA in september aan dat het voornemens was $ 40 miljard te betalen voor Arm - deels om AI dichter bij de rand te blijven brengen. Terwijl NVIDIA domineert in het datacenter met zijn GPU's, heeft Arm een ​​sterke positie op de mobiele markt en levert hij chips aan Apple, Qualcomm en anderen.

"Als je gelooft dat AI de toekomst is, en je gelooft dat die wordt aangedreven door GPU's en CPU's, dan is NVIDIA's vermogen om deze end-to-end-systemen te maken gewoon enorm toegenomen", zei Zeus Kerravala in een video-interview op de NVIDIA -Arm deal en vooruitzichten voor AI aan de rand. "Vooral in de edge computing-markt - [NVIDIA] zal dat allemaal zijn."

Er zijn zorgen over de NVIDIA-Arm-deal, waaronder de vraag of deze de succesvolle licentieactiviteiten van Arm in gevaar kan brengen. Arm heeft honderden licenties bij zijn partners, waaronder naast concurrenten AMD en Intel ook giganten als Apple, Qualcomm en Broadcom. Er zijn ook ernstige zorgen over de antitrustwetgeving over NVIDIA's hernieuwde controle over de markt voor mobiele CPU's.

SmartNIC's:verwerking naar de rand verplaatsen

Ten tweede heeft VMware tijdens de virtuele VMworld 2020-conferentie eind september aangekondigd dat Project Monterey verbeterde AI-prestaties zal leveren met SmartNIC-technologie (of slimme netwerkinterfacekaart) en NVIDIA's dataverwerkingseenheden (DPU's). Project Monterey omvat samenwerking met verschillende bedrijven, waaronder NVIDIA, om de infrastructuur te versterken om AI-applicaties aan de rand te ondersteunen.

Monterey verplaatst hypervisor-, netwerk-, beveiligings- en opslagtaken van een host-CPU naar NVIDIA's BlueField DPU. Door deze verwerking naar DPU's en SmartNics te verplaatsen, kunnen AI, machine learning en andere datacentrische toepassingen worden doorgestuurd.

Een SmartNIC voert niet-toepassingstaken uit vanaf een server-CPU, zodat de server meer toepassingen sneller kan uitvoeren.

"Er is een algemene golf van interesse om de berekening dichter bij de gegevens te brengen", zegt Alexander Harrowell, senior analist bij Omdia.

"Het verplaatst de abstractie van de hypervisor van de host naar het netwerk ... en verplaatst een deel van het werk dat de hypervisor zelf doet naar die kaart", zei Harrowell. “Het maakt meer rekenkracht beschikbaar waar je voor betaald hebt. Er is hier dus een verhaal over een verschuiving van het klassieke Intel x86-model naar het zogenaamde Harvard Computing Model.”

Deze trend naar gedistribueerd computergebruik, merkte Harrowell op, zal zich snel voortzetten en complexere verwerking mogelijk maken, zoals AI-verwerking.

"Door veel van dat I/O-werk naar de Arm-core te verplaatsen en te profiteren van hardware-offloads in die SmartNIC's", zegt Greg Lavender, senior vice president en chief technology officer bij VMware, "kun je die verwerking overdragen en zelfs maar liefst 30% van de CPU ... en geef dat terug aan de applicatie zodat [het]  het voordeel krijgt van die extra reken- en geheugenbronnen.

Voor de connected-things-markt zal het een grote zegen zijn voor data-intensieve processen die snelle responstijden nodig hebben, wanneer de verwerking van de stapel naar deze gedistribueerde edge-architecturen wordt verplaatst.

"Nu je AI aan de rand kunt doen, kun je het IoT veranderen in iets met echte mogelijkheden", zegt Levy van NXP.

>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>

Neem in december deel aan Industrial IoT World voor meer berichtgeving over Industrial IoT.