Actionable Edge-inzichten Ontgrendelen met AI & ML

De explosieve groei in Edge-apparaten en -applicaties vereist nieuw denken over waar en hoe data geanalyseerd wordt, en inzichten worden afgeleid. Nieuwe Edge-computing-opties, gekoppeld aan meer eisende snelheid-naar-inzicht-vereisten in veel use cases, drijven het gebruik van kunstmatige intelligentie (AI) en machine learning (ML) in Edge-applicaties op.

Waar AI en ML worden toegepast (aan de Edge of in een datacenter of cloud-faciliteit) is een complex kwestie. Om wat inzichten te krijgen in huidige strategieën en best practices, spraken we onlangs met Said Tabet, Chief Architect, AI/ML & Edge; en Calvin Smith, CTO, Emerging Technology Solutions; beiden in het Office of the Global CTO bij Dell Technologies.

We bespraken de groeiende behoefte aan AI en ML om zin te geven aan de grote hoeveelheid Edge-data die vandaag gegenereerd wordt, de rekenvereisten voor AI/ML in Edge-applicaties, en of dergelijke berekeningen aan de Edge of in een datacenter of cloud-faciliteit gedaan moeten worden.

Opkomende Trends

RTInsights: Wat zijn de opkomende trends van vandaag, en hoe passen AI en ML in de Edge-discussie?

Tabet: Vandaag, wanneer mensen over opkomende trends praten, noemen ze vaak veel dingen zoals Edge, IoT, AI/ML, augmented reality, virtual reality, blockchain en 5G. We positioneren Edge als het volgende ding in termen van waar we heen gaan met deze technologieën — niet alleen trends, maar echte adoptie. Ik denk dat vanuit het perspectief van de data en de gebruikerservaring, er een behoefte is aan inzicht en, dankzij onze ongeduld als mensen, gekoppeld aan real-world latentieproblemen, om dat inzicht zo snel mogelijk te krijgen. Ook het idee dat als de data begint aan de Edge, waarom kunnen we dan niet zoveel mogelijk recht daar doen vanuit een AI-oogpunt?

Ontkennend, AI, en met name ML, is hebberig in termen van de hoeveelheid data die het nodig heeft. Het moet snel leren. Wat is het dat we echt aan de Edge kunnen doen? Ik denk dat dat is waar deze discussie begint. Blockchain of gedistribueerde ledgers zijn andere overwegingen hier. Typisch ga je een grote behoefte zien aan vertrouwen, met name vanuit een data-oogpunt. Er moet ook vertrouwen zijn in de inzichten die we genereren, hoe we reageren, en de actionable items die uit deze bevindingen komen. Dat brengt een paar additionele behoeften vanuit het overal beveiliging, privacy en governance perspectief. Je moet al dit in rekening brengen binnen die ervaring, of je nu een zakelijk persoon bent, of een individu, of een vloot voertuigen.

Smith: Als we een algemene schatting nemen van er, laten we zeggen tussen de 20 en 30 miljard IoT-apparaten die vandaag verbonden zijn. Teruggaand, Said, ik denk dat het terug in 2014 was dat het aantal verbonden mobiele apparaten het aantal mensen in de wereld overstijgde, toch? Dan in 2017, IoT-apparaten ook de wereldbevolking overstegen.

Tabet: Ja. Dat klopt.

Smith: Het is een grote sprong geweest, en het gaat doorgaan met springen. Ga je 27 miljard mensen inhuren om uit te gaan en deze Edge-apparaten te onderhouden? Dan, gaand door de stack van de infrastructuur, duidelijk is het geen 1:1 mapping, maar het is fysiek onmogelijk om genoeg databaseadministrators, data scientists, architecten en ingenieurs in te huren. In plaats daarvan gaat het allemaal om het drijven van automatisering en optimalisatie aan de Edge. Gewoon het pure volume van data, en, zoals Dr. Tabet noemde, de hebberigheid van applicaties en functies, specifiek in AI. Je moet in staat zijn een grote hoeveelheid informatie te verwerken voor meerdere redenen, een van de kosten. Je wilt analyseren wat eigenlijk waardevolle data is aan de Edge voordat je het begint naar het datacenter of de cloud te sturen.

De Rol van AI/ML met Edge

RTInsights: Waarom hebben we AI/ML nodig wanneer we over Edge praten?

Tabet: Er zijn verschillende redenen. Eerst, het waarom. Vanuit het perspectief van automatisering, zijn AI en ML een manier om meer te automatiseren en er een beetje gedisciplineerder over te zijn, en je doet dat aan de Edge. Je ziet dat vandaag. Het moet geforceerd worden door dit gezichtspunt van het bouwen van dit continuum van de cloud naar de Edge, inclusief het datavlak, of het controlevlak, en de ontwikkelkits, enz., die de ontwikkelaars laten voelen dat als ik voor de Edge schrijf, het hetzelfde is als de cloud.

Vanuit het AI-perspectief, is automatisering een groot ding. Aan de Edge, zul je de echt diepe verwerking niet doen (d.w.z. Deep Learning – DL), tenminste meestal niet. Het andere aspect dat ik denk dat echt belangrijk is, is het feit dat de inzichten die je heel snel aan de Edge krijgt, vaak verschillend zullen zijn van die die je naar je datacenters of naar je cloud brengt, verbindend met andere soorten informatie. Op dat punt, verlies je een grote hoeveelheid intelligentie-momentum, in termen van de inzichten die je krijgt, of de besluitvorming die je gaat doen als je dat aan de Edge doet. Toch heeft de Edge AI nodig. Ze gaan hand in hand.

Smith: Ik denk dat de andere reden een zakelijke is. Al deze "dingen, sensoren, actuatoren, apparaten," ze kunnen zo groot zijn als een verbonden huis, of een verbonden cruiseschip, of een verbonden auto. Of ze kunnen in of op een fabriek, een tractor, of een pomp zijn. Kort verhaal, alle industrieën worden nu gecommoditiseerd, toch? Er is de optie om dingen over de hele wereld te bouwen en te kopen. De manieren waarop bedrijven proberen zich te differentiëren is via diensten in associatie met de producten en assets die ze verkopen. Hoe meer je waarde kunt afleiden, veel bedrijven schakelen van een product naar een dienst. Het heet product-naar-dienst-transformatie.

Ze proberen hun assets als diensten te verkopen. Soms is het zelfs een switch in het bedrijfsmodel en gaat van CapEx naar OpEx. Soms zijn ze nog steeds alleen van plan om als CapEx te verkopen, maar ze kunnen een additionele set diensten verkopen of het gewoon gebruiken als differentiator wanneer hun producten slim en verbonden zijn. Weer, zoals Said noemde, optimaliseren en automatiseren en in staat zijn om de juiste data op het juiste moment en de juiste plek binnen te halen, stelt bedrijven in staat om te concurreren. Gewoon een item fabriceren levert niet altijd meer waarde op.

Tabet: Nog één ding dat ik wil toevoegen is dat aan de Edge, als we kijken naar die tientallen of honderdduizenden apparaten van een enkel bedrijf of organisatie, of het nu in autonoom rijden zit, je kijkt naar de auto's als instanties, elk van die auto's kan zich anders gedragen onder verschillende omgevingen. Leren daaruit is heel belangrijk als je het samenbrengt. Het is hetzelfde in industriële automatisering. Je kunt kijken naar windturbines, motoren in vliegtuigen, of gezondheidszorg. In veel van deze verschillende omgevingen, heb je een veel meer precieze, veel meer efficiënte, betere prestaties van deze AI-modules, of AI-algoritmen als je die informatie terugbrengt naar het datacenter of de cloud. Met andere woorden, hoewel er zeker waarde is in data van één asset, begin je echte inzichten te verkrijgen uit verbonden vloeten van assets en hun interacties in verschillende omgevingen.

Beslissen Waar Edge AI/ML Moet Worden Gedaan

RTInsights: Waar wordt de AI/ML-rekenwerk voor Edge-applicaties gedaan?

Tabet: Dit gaat terug naar het vorige punt waar in veel van deze gevallen, de AI-algoritmen een grote hoeveelheid data nodig hebben om te trainen. Je doet dat (en er is oneenigheid) in het datacenter of in de cloud, in een gecentraliseerde omgeving waar je deze high-powered rekencapaciteiten kunt hebben. Aan de Edge, zou je deze algoritmes deployen, en ze kunnen veel meer efficiënt zijn om te gebruiken voor beïnvloedingsdoeleinden aan de Edge. Er is duidelijk praat, waar op een gegeven moment, we in staat zullen zijn om een bepaald niveau van training aan de Edge te doen, ook. Dit zal aanvankelijk beperkt zijn door de zware beperkingen van de meeste Edge-omgevingen.

Overwegingen voor Edge Computing

RTInsights: Wat zijn de vereisten voor compute-oplossingen aan de Edge?

Tabet: Nou, dit is heel lastig, omdat er verschillende definities zijn van wat Edge is. Je praat met een autofabrikant, en ze zeggen mijn auto is de Edge. Als je praat met een turbinefabrikant, zijn de windturbines hun Edge. Productieapparaten in een fabriek zijn ook Edge. Ze gaan verschillende omgevingen hebben. Sommige van hen zullen heel hard zijn. Bij Dell hebben we veel ervaring met compute in omgevingen die die harde omstandigheden kunnen omvatten met sterke trillingen en extrem hoge of extreem lage temperaturen. Het ene ding dat ik zou zeggen is het nummer-een vereiste [voor compute-oplossingen aan de Edge] is stroomverbruik. Het moet laag stroomverbruik zijn. Dit gaat tegen alles wat we weten, met name in HPC, toch? Je gebruikt veel GPU's, je hebt hitte, en je hebt stroom nodig. Dat is niet mogelijk in deze [Edge] omgevingen. We zullen dat [de rekencomponenten] naar een andere vormfactor moeten brengen, of we kunnen misschien zelfs denken in termen van verschillende soorten versnellers, zoals een nieuwe generatie AI-specifieke typen versnellers die in de komende jaren opkomen.

Smith: Het coole en interessante is dat we continu in een ruggedized-manier kunnen werken voor harde omgevingen en in staat zijn om te werken in, zeg, min vijf, soms 10 graden Celsius en dan tot 55-plus graden Celsius. Zoals Dr. Tabet noemde, voor gevaarlijke of harde omgevingen, moet je in staat zijn om problemen geassocieerd met trilling, schok, en al die jazz te voorkomen. Toch zijn we continu in staat om de vormfactoren kleiner en kleiner te maken. Duidelijk, we doen dit met de hulp van onze partners en chipontwikkelaars.

Wat interessant is, is dit concept van het maken van de vormfactoren kleiner en meer ruggedized, en dan tegelijkertijd ze zo simpel mogelijk te maken om te opereren en te gebruiken. Vanuit een applicatie-standpunt, gaat het niet om de cloud die aan de Edge wordt uitgevoerd, per se, hoewel dat ook kan gebeuren. Het gaat meer om cloud-native principes die naar de Edge worden gebracht. De eenvoud en gemak waarmee je kunt porten, of het nu containers of VMs [virtuele machines] zijn, naar verschillende typen infrastructuur, en verschillende typen omgevingen, en een single-pane-of-glass zicht hebt. Dat kan dan ook potentiëel een multi-cloud-omgeving mogelijk maken. De Edge kan je nieuwe controlepunt zijn, je nieuwe pane-of-glass zichtbaarheid in wat er gebeurt dat de kloof overbrugt tussen de OT, of operationele technologie-kant, en de IT-kant. Het is fascinerend. Het is een nieuwe grens voor exploratie, en het drijft een groot deel van de productroadmaps voor de toekomst, zou ik zeggen.

Edge AI/ML Use Cases

RTInsights: Kun je enkele voorbeelden geven van AI/ML Edge-applicaties?

Tabet: Een waar ik een paar jaar aan gewerkt heb, is rond de uitdagingen gerelateerd aan mobiliteitsapplicaties [zoals autonoom voertuigen]. Samenwerkend met verschillende organisaties en met onze klanten direct, kijken we naar hoe we verschillende capaciteiten naar deze markt kunnen brengen. Ik abstraheer dat een beetje en geef je de voorbeelden ook die dit soort Edge-deployment kunnen faciliteren. Er zijn use cases voor Edge in wat we de RSU noemen, de wegkant-eenheden, de voertuigen zelf, of met de sensing die ze doen. Sommige van deze voorbeelden zijn uitgebreide versies van wat we de HD maps noemen, high-definition maps, waar de maps semantisch rijk, context-gedreven zijn, en near real-time geüpdatet worden.

Dat is een voorbeeld waar AI wordt gebruikt om de hoeveelheid en de kosten van de data die getransporteerd wordt te reduceren. Je deal alleen met wat je nodig hebt voor die specifieke diensten. Bijvoorbeeld, video's kunnen gereduceerd worden. Je kunt de hoeveelheid data reduceren. Je kunt je richten op heel specifieke objecten die je wilt detecteren. Dat zijn de soort voorbeelden op dat niveau die kunnen helpen.

Andere zijn gerelateerd aan de gezondheid van die Edge-apparaten, waar je een specifiek apparaat, een motor, een volle auto, enz. monitoren, en je probeert zoveel mogelijk analyse te doen op het voertuig- of apparaatniveau, met name om veiligheidsredenen (d.w.z. condition-based monitoring in veel IoT-use-cases).

Er zijn andere voorbeelden in het retail-domein, ook, waar je veel meer Edge-deployment ziet, maar op een andere manier. In de zin dat je die verbinding hebt van de Edge naar de cloud naar het datacenter, in de Edge-cloud, zoals we het noemen, waar je zoveel mogelijk doet aan de Edge. [De Edge is waar] je de data verzamelt en alle analyse doet die nodig is. Je biedt een betere ervaring aan de eindgebruiker, in het geval van retail, bijvoorbeeld. Je probeert die ervaring te personaliseren voor hen zodat je de kosten kunt minimaliseren, maar ook de diensten kunt optimaliseren.

Nu, met name in de situatie waarin we zitten, zijn er veel gevallen die gerelateerd zijn aan gezondheidszorg. Hoeveel data kunnen we verzamelen en zo snel mogelijk reageren aan de Edge? Normaal gesproken praten we over een gedistribueerde omgeving in de schaal van de honderdduizenden of miljoenen apparaten, zoals Calvin zei. Dit is een gebied waar AI en ML een veel grotere rol kunnen spelen. We praten over de data verandert de hele tijd, en met de AI-capaciteiten, zouden sommige van deze applicaties zichzelf aanpassen. Het leren gaat door, en de training gaat door op dat niveau.

In al deze gebieden — gezondheidszorg, retail, autonoom voertuigen, mobiliteit in het algemeen, en veel andere gebieden — verlaag je de kosten door voorspellende of conditionele onderhoud. Edge geeft je ook de mogelijkheid om remote controle van apparaten te doen, dus als je experts niet veilig naar de plek kunnen gaan waar de data wordt verzameld, kunnen ze die capaciteit remote bieden, en zelfs dingen als AR of VR includeren. Maar je doet ook het meeste van het werk van tevoren aan de Edge, zodat je hun aanwezigheid, indien nodig, in persoon kunt minimaliseren. Dat zijn slechts enkele voorbeelden.

Smith: Ik zou er twee meer aan toevoegen die belangrijk zijn. Een is dat we een groot bedrijf hebben in en rond veiligheid en beveiliging. Zoals Said noemde, je mag de heel grote algoritmes draaien, en de data verwerken voor dingen als … nou, laat me je een voorbeeld geven. Stel je hebt een scenario waar er een schot is in een publiek plek, zeg het is buiten een tankstation. Je moet veel geautomatiseerde en directe beslissingen nemen om uit te zoeken welke actie te ondernemen. Een ding is, denk aan schotherkenning vanuit een audio-oogpunt, maar correleer het met objectherkenning vanuit een computervisie-oogpunt om daadwerkelijk aan te tonen dat het een wapen was, en niet alleen een auto die terugknalt.

Dan, als je een dader hebt die dit deed, kun je ook hebben wat nu eigenlijk vrij eenvoudige algoritmes zijn die aan de Edge kunnen worden uitgevoerd, maar waarschijnlijk in het datacenter georigineerd zijn, voor dingen als kentekenherkenning. Dan kun je het kenteken van de vluchtende verdachte identificeren. Het is allemaal geautomatiseerd en uitgevoerd aan de Edge. Er zijn veel use cases in dat gebied met camera's, surveillance, beveiliging, en algemene veiligheid voor burgers.

Het andere grote use-case-gebied, wat ik denk dat we schuldig zouden zijn om niet te noemen, is Deep Learning voor Slimme Faciliteiten, wat een testbed is in het Industrial Internet Consortium dat we destijds begonnen met Toshiba. Sinds de intrede hebben we ook SAS en Wipro toegevoegd, met verschillende bedrijven die verschillende waarden aan tafel brengen.

Het oorspronkelijke concept was om een enorme faciliteit te bouwen ontworpen als state-of-the-art. Als ik me niet vergis, geloof ik dat het in 2011 gebouwd was, en het had al, hoeveel sensoren, Said? Als 20.000 sensoren of zo?

Tabet: Meer dan dat, zou ik zeggen. Het was waarschijnlijk 35.000 toen het in 2011 gebouwd werd.

Smith: 35.000, goed. Het was een gloednieuwe, state-of-the-art faciliteit, maar de ontwerpers wilden de envelop opduwen en leren en meer doen. Een neurale netwerk werd geïmplementeerd door een reeks servers die verbonden waren met een parameter-server, wat het gebouw in essentie liet zelf-leren in associatie met zijn kritieke systemen. We praten over dingen zoals liften, en roltrappen, en natuurlijk hoge-kost dingen zoals HVAC-systemen. Het idee was om, tenminste aanvankelijk, anomaliedetectie te doen en te kijken naar correlaties tussen dingen die een persoon (zonder AI) moeilijk zou vinden.

Bijvoorbeeld, er waren een paar heel fascinerende bevindingen over dingen die in de keuken gebeurden. Data bepaald dat die gebeurtenissen de kosten verhoogden, en vanwege die acties, specifieke secties van ventilatie werden dichtgezet. Het is ongelooflijk wat je kunt beginnen te vinden wanneer het de data is in plaats van mensen die dingen onderzoeken. We praten over een echte, diepe neurale net waar het zelf-lerend is — zichzelf leert wat te vinden, op zoek naar cross-correlaties die mensen normaal niet zelf zouden bepalen. Wanneer je er echt over nadenkt, was al dit aan de "Edge." Dit wordt allemaal uitgevoerd binnen het gebouw. Dan, was een deel van de core-verwerking, natuurlijk, terug in het datacenter.

Tabet: In een meer recent use case voor een project, voegden we een aantal apparaten toe, vergelijkbaar met al deze assets die te maken hebben met HVAC en andere dingen binnen het gebouw. Elk van hen was uitgerust met zijn eigen machine learning-algoritmes of AI-algoritmes in sommige gevallen, en dat stelde ze in staat om zelf-onderhoudend te zijn, maar tegelijkertijd te leren van elkaar. Terug naar Calvins verhaal, dit wordt op zo'n manier gedaan dat we meer en meer van dit soort autonoom AI gaan zien, als ik die term mag gebruiken. Echt, het idee dat we het niet voeden met richting, maar over tijd zal het zich zelf nivelleren en zelf leren in termen van zijn parameters en de optimalisatie van de productiviteit die vereist is.