AI en ML gebruiken om bruikbare inzichten in edge-applicaties te extraheren

De explosieve groei van Edge-apparaten en -applicaties vereist een nieuwe manier van denken over waar en hoe gegevens worden geanalyseerd en inzichten worden afgeleid. Nieuwe Edge-computingopties, in combinatie met veeleisendere vereisten voor snelheid tot inzicht in veel gebruikssituaties, stimuleren het gebruik van kunstmatige intelligentie (AI) en machine learning (ML) in Edge-toepassingen.

Waar AI enML worden toegepast (aan de Edge of in een datacenter of cloudfaciliteit) is een complexe aangelegenheid. Om inzicht te krijgen in de huidige strategieën en best practices, gingen we eens aan tafel met Said Tabet, Chief Architect, AI/ML &Edge; en Calvin Smith, CTO, Emerging Technology Solutions; beide in het kantoor van de Global CTO bij Dell Technologies.

We bespraken de groeiende behoefte aan AI en ML om betekenis te geven aan de grote hoeveelheid Edge-gegevens die tegenwoordig wordt gegenereerd, de rekenvereisten voor AI/ML in Edge-applicaties en of dergelijke berekeningen moeten worden uitgevoerd in de Edge of in een datacenter of cloudfaciliteit.

Opkomende trends

RTinsights: Wat zijn de opkomende trends van vandaag en hoe passen AI en ML in de Edge-discussie?

Tabet: Wanneer mensen het tegenwoordig hebben over opkomende trends, noemen ze vaak veel dingen zoals Edge, IoT, AI/ML, augmented reality, virtual reality, blockchain en 5G. We positioneren Edge als de volgende stap in termen van waar we naartoe gaan met deze technologieën - niet alleen trends, maar echte acceptatie. Ik denk dat er vanuit het perspectief van de data en de gebruikerservaring behoefte is aan inzicht en, dankzij ons ongeduld als mens, gekoppeld aan real-world latentieproblemen, om dat inzicht zo snel mogelijk te krijgen. Ook het idee dat als de gegevens bij de Edge beginnen, waarom kunnen we daar vanuit AI-oogpunt niet zoveel mogelijk doen?

Het is duidelijk dat AI, en met name ML, hebzuchtig is in termen van de hoeveelheid gegevens die het nodig heeft. Het moet snel leren. Wat kunnen we echt doen bij de Edge? Ik denk dat daar deze discussie begint. Blockchain of gedistribueerde grootboeken zijn andere aandachtspunten hier. Meestal zul je zien dat er veel vertrouwen nodig is, vooral vanuit het oogpunt van gegevens. Er moet ook vertrouwen zijn in de inzichten die we genereren, hoe we reageren en de bruikbare items die uit deze bevindingen voortkomen. Dat brengt een extra behoefte met zich mee vanuit het algemene perspectief van beveiliging, privacy en governance. Binnen die ervaring moet je met dit alles rekening houden, of je nu een zakenman, een particulier of een wagenpark bent.

Smith: Als we een algemene schatting maken van het aantal aangesloten apparaten, laten we zeggen dat er vandaag tussen de 20 en 30 miljard IoT-apparaten zijn. Teruggaand, Said, ik denk dat het in 2014 of zo was dat het aantal verbonden mobiele apparaten het aantal mensen in de wereld overtrof, toch? In 2017 overtroffen IoT-apparaten ook de wereldbevolking.

Tabet: Ja. Dat klopt.

Smith: Het is een grote sprong geweest en het zal blijven springen. Gaat u 27 miljard mensen inhuren om deze Edge-apparaten te onderhouden? Als je vervolgens door de stapel van de infrastructuur gaat, is het natuurlijk geen 1:1-mapping, maar het is fysiek onmogelijk om genoeg databasebeheerders, datawetenschappers, architecten en ingenieurs in te huren. In plaats daarvan draait het allemaal om rijautomatisering en optimalisatie bij de Edge. Alleen de enorme hoeveelheid gegevens, en, zoals Dr. Tabet noemde de hebzucht van applicaties en functies, met name in AI. U moet om meerdere redenen veel informatie kunnen verwerken, waaronder de kosten. U wilt analyseren wat daadwerkelijk waardevolle gegevens zijn in de Edge voordat u deze naar het datacenter of de cloud gaat verzenden.

De rol van AI/ML met Edge

RTinsights: Waarom hebben we AI/ML nodig als we het over Edge hebben?

Tabet: Er zijn verschillende redenen. Ten eerste is er het waarom. Vanuit het perspectief van automatisering zijn AI en ML een manier om meer te automatiseren en er een beetje meer gedisciplineerd in te zijn, en dat doe je bij de Edge. Dat zie je vandaag. Het moet worden afgedwongen door deze visie van het bouwen van dit continuüm van de cloud naar de Edge, inclusief het datavlak, of het controlevlak, en de ontwikkelingskits, enzovoort, dat de ontwikkelaars vinden dat als ik voor de Edge schrijf, het hetzelfde als de wolk.

Vanuit het AI-perspectief is automatisering een groot goed. Aan de rand doe je daar niet de echt diepe verwerking (d.w.z. Deep Learning - DL), althans niet meestal. Een ander aspect dat volgens mij heel belangrijk is, is het feit dat de inzichten die je heel snel bij de Edge krijgt, vaak anders zullen zijn dan de inzichten die je naar je datacenters of naar je cloud gaat brengen, door dat te verbinden met andere soorten informatie. Op dat moment verlies je een groot deel van het intelligentiemomentum, in termen van de inzichten die je krijgt, of de besluitvorming die je gaat doen als je dat bij theEdge doet. Toch heeft de Edge AI nodig. Ze gaan hand in hand.

Smith: Ik denk dat de andere reden een zakelijke is. Al deze "dingen, sensoren, actuatoren, apparaten", ze kunnen zo groot zijn als een verbonden huis, of een verbonden cruiseschip, of een verbonden auto. Of ze staan ​​in of op een fabriek, een tractor of een pomp. Om een ​​lang verhaal kort te maken, alle industrieën worden nu gecommoditiseerd, toch? Er is de mogelijkheid om over de hele wereld dingen te bouwen en te kopen. De manieren waarop bedrijven zich proberen te onderscheiden, zijn door middel van diensten in verband met de producten en activa die ze verkopen. Hoe meer u waarde toevoegt, veel bedrijven schakelen over van een product naar een dienst. Het is een product-naar-service-transformatie.

Ze proberen hun activa opnieuw als diensten te verkopen. Soms is het zelfs een switch in het businessmodel en gaat van CapEx naar OpEx. Soms gaan ze nog steeds alleen verkopen als CapEx, maar ze kunnen misschien een extra set services verkopen of het gewoon gebruiken als een onderscheidend kenmerk wanneer hun producten slim en verbonden zijn. Nogmaals, zoals Said al zei, optimaliseren en automatiseren en kunnen trek de juiste gegevens op het juiste moment binnen, en de juiste plaats stelt bedrijven in staat om te concurreren. Het simpelweg vervaardigen van een artikel leidt niet altijd meer tot waarde.

Tabet: Nog iets dat ik wil toevoegen is dat aan de Edge, als we kijken naar deze tientallen of honderdduizenden apparaten van een enkele onderneming of organisatie, of het nu in autonome voertuigen is, je kijkt naar de auto's als instanties, elk van die auto's kunnen zich in verschillende omgevingen anders gedragen. Daarvan leren is heel belangrijk als je het samenbrengt. Zo is het ook in industriële automatisering. Je kunt kijken naar windturbines, motoren in vliegtuigen of de zorg. In veel van deze verschillende omgevingen heb je veel preciezere, veel efficiëntere, betere prestaties van deze AI-modules, of AI-algoritmen wanneer je die informatie terugbrengt naar het datacenter of de cloud. Met andere woorden, hoewel data van één asset zeker waarde heeft, begin je echte inzichten te krijgen uit verbonden vloten van assets en hun interacties in verschillende omgevingen.

Beslissen waar Edge AI/ML moet worden gedaan

RTinsights: Waar wordt het AI/ML-rekenwerk gedaan voor Edge-toepassingen?

Tabet: Dit gaat terug naar het vorige punt, waar in veel van deze gevallen de AI-algoritmen veel gegevens hebben gebruikt om te trainen. Dat doe je (en er is onenigheid) in het datacenter of in de cloud, in een gecentraliseerde omgeving waar je over deze krachtige rekenmogelijkheden kunt beschikken. Bij de Edge zou je deze algoritmen inzetten, en ze kunnen veel efficiënter zijn om te gebruiken voor beïnvloedingsdoeleinden aan de Edge. Er is duidelijk sprake van dat we op een gegeven moment ook in de Edge een bepaald niveau van training kunnen doen. Dit zal in eerste instantie beperkt zijn vanwege de zware beperkingen van de meeste Edge-omgevingen.

Overwegingen voor edge computing

RTinsights: Wat zijn de vereisten voor computeroplossingen in de Edge?

Tabet: Nou, dit is erg lastig, omdat er verschillende definities zijn van wat Edge is. Je praat met een autofabrikant en ze zeggen dat mijn auto de Edge is. Als je met een turbinefabrikant praat, zijn de windturbines hun Edge. Productieapparaten in een fabriek zijn ook Edge. Ze zullen andere omgevingen hebben. Sommigen van hen zullen erg hard zijn. Bij Dell hebben we veel ervaring met computergebruik in omgevingen die zware omstandigheden met sterke trillingen en extreem hoge of extreem lage temperaturen kunnen omvatten. Het enige wat ik zou willen zeggen is de belangrijkste vereiste [voor computeroplossingen aan de rand] is het stroomverbruik. Het moet een laag vermogen zijn. Dit druist in tegen alles wat we weten, vooral in HPC, toch? Je gebruikt veel GPU's, je hebt warmte en je hebt stroom nodig. Dat is niet mogelijk in deze [Edge]-omgevingen. We zullen die [de computercomponenten] naar een andere vormfactor moeten brengen, of misschien denken we zelfs in termen van verschillende soorten versnellers, zoals een nieuwe generatie AI-specifieke soorten versnellers die de komende jaren op de markt komen.

Smith: Het leuke en interessante is dat we voortdurend in een robuuste omgeving kunnen werken voor ruwe omgevingen en kunnen werken in, laten we zeggen, min vijf, soms 10 graden Celsius en dan tot 55-plus graden Celsius. Zoals Dr.Tabet al zei, moet je voor gevaarlijke of ruwe omgevingen problemen kunnen voorkomen die verband houden met trillingen, schokken en al dat soort jazz. Toch zijn we voortdurend in staat om de vormfactoren steeds kleiner te maken. , doen we dit met de hulp van onze partners en chipontwikkelaars.

Wat interessant is, is het idee om de vormfactoren kleiner en robuuster te maken en ze tegelijkertijd zo eenvoudig mogelijk te bedienen en te gebruiken. Vanuit een applicatiestandpunt gaat het er niet per se om dat de cloud aan de Edge wordt uitgevoerd, hoewel dat ook kan gebeuren. Het gaat meer om cloud-native principes die naar de Edge worden gebracht. De eenvoud en het gemak waarmee u kunt porten, of het nu containers of VM's [virtuele machines] zijn, naar verschillende soorten infrastructuur en verschillende soorten omgevingen, en een enkelvoudig overzicht hebben. Dat kan dan in potentie ook een multi-cloudomgeving mogelijk maken. De Edge kan uw nieuwe controlepunt zijn, uw nieuwe glasheldere zicht op wat er gebeurt dat de kloof overbrugt tussen de OT- of operationele technologie-kant en de IT-kant. Het is fascinerend. Het is een nieuwe grens voor verkenning, en het is de drijvende kracht achter een groot deel van de productroutekaarten voor de toekomst, zou ik zeggen.

Edge AI/ML-gebruiksscenario's

RTinsights: Kunt u enkele voorbeelden geven van AI/ML Edge-toepassingen?

Tabet: Een waar ik nu al een paar jaar aan werk, betreft de uitdagingen met betrekking tot mobiliteitstoepassingen [zoals autonome voertuigen]. In samenwerking met verschillende organisaties en rechtstreeks met onze klanten, bekijken we hoe we verschillende mogelijkheden naar deze markt kunnen brengen. Ik zal dat een beetje abstraheren en u ook de voorbeelden geven die dit soort Edge-implementatie zouden kunnen vergemakkelijken. Er zijn use-cases voor Edge in wat we de RSU noemen, de wegkantunits, de voertuigen zelf, of met het gevoel dat ze aan het doen zijn. Sommige van deze voorbeelden zijn uitgebreide versies van wat we de HD-kaarten noemen, high-definition kaarten, waarbij de kaarten semantisch rijk en contextgestuurd zijn en in bijna realtime worden bijgewerkt.

Dat is een voorbeeld waarbij AI wordt gebruikt om de hoeveelheid en de kosten van de gegevens die worden overgedragen te verminderen. U houdt zich alleen bezig met wat u voor die specifieke diensten nodig heeft. Video's kunnen bijvoorbeeld worden verkleind. U kunt de hoeveelheid gegevens verminderen. U kunt zich concentreren op zeer specifieke objecten die u wilt detecteren. Dat zijn het soort voorbeelden op dat niveau die kunnen helpen.

Andere houden verband met de gezondheid van die Edge-apparaten, waarbij je een specifiek apparaat, een motor, een volledige auto, enzovoort in de gaten houdt, en je probeert zoveel mogelijk analyses uit te voeren op voertuig- of apparaatniveau, met name voor de veiligheid redenen (d.w.z. condition-based monitoring in veel IoT-gebruiksgevallen).

Er zijn ook andere voorbeelden in het retaildomein, waar je veel meer Edge-implementatie zult zien, maar op een andere manier. In zekere zin dat je die verbinding hebt van de Edge naar de cloud naar het datacenter, in de Edge-cloud, zoals we dat noemen, waar je zoveel mogelijk doet aan de Edge. [The Edge is waar] u de gegevens verzamelt en alle benodigde analyses uitvoert. Je biedt de eindgebruiker een betere ervaring, bijvoorbeeld in het geval van retail. Je probeert die ervaring voor hen te personaliseren, zodat je de kosten kunt minimaliseren, maar ook de services kunt optimaliseren.

Op dit moment zijn er, zeker in de situatie waarin we ons bevinden, veel zaken die te maken hebben met gezondheidszorg. Hoeveel data kunnen we verzamelen en zo snel mogelijk reageren op de Edge? Normaal gesproken hebben we het over een gedistribueerde omgeving in de schaal van honderdduizenden of miljoenen apparaten, zoals Calvijn zei. Dit is een gebied waar AI en ML een veel grotere rol kunnen spelen. We praten voortdurend over de gegevensveranderingen, en met de AI-mogelijkheden zouden sommige van deze applicaties zichzelf aanpassen. Het leren gaat door en de training gaat door op dat niveau.

Op al deze gebieden - gezondheidszorg, detailhandel, autonome voertuigen, mobiliteit in het algemeen en vele andere gebieden - verlaagt u de kosten door middel van voorspellend of voorwaardelijk onderhoud. Edge geeft je ook de mogelijkheid om apparaten op afstand te bedienen, dus als je experts niet veilig naar de plaats kunnen gaan waar de gegevens worden verzameld, kunnen ze die mogelijkheid op afstand bieden en zelfs dingen als AR of VR opnemen. Maar u doet ook het meeste werk van tevoren bij de Edge, zodat u hun aanwezigheid, indien nodig, persoonlijk kunt minimaliseren. Dat zijn slechts enkele voorbeelden.

Smith: Ik zou er twee meer toevoegen dan belangrijk zijn. Een daarvan is dat we een groot bedrijf hebben in en rond veiligheid en beveiliging. Zoals Said al zei, kun je de zeer grote algoritmen gebruiken en de gegevens verwerken voor zaken als ... nou, laat me je een voorbeeld geven. Stel je voor dat je een scenario hebt waarin er een schot is op een openbare plaats, bijvoorbeeld buiten een tankstation. Je moet veel geautomatiseerde en onmiddellijke beslissingen nemen om erachter te komen welke actie je moet ondernemen. Een ding is, denk na over schotherkenning vanuit een audiostandpunt, maar correleer het met objectherkenning vanuit een computervisiestandpunt om daadwerkelijk te laten zien dat het een wapen was , en niet alleen een auto die achteruit gaat.

Dan, als je een dader hebt die dit heeft gedaan, kun je ook hebben wat nu eigenlijk vrij simplistische algoritmen zijn die kunnen worden uitgevoerd aan de Edge, maar waarschijnlijk afkomstig zijn uit het datacenter, voor zaken als kentekenherkenning. Vervolgens kunt u het kenteken van de vluchtende verdachte identificeren. Het is allemaal geautomatiseerd en uitgevoerd in de Edge. Er zijn veel use-cases op dat gebied met camera's, en bewaking, en beveiliging, en algemene veiligheid voor burgers.

Het andere biguse-gebied, waarvan ik denk dat we het niet zouden vermelden, is Deep Learning for Smart Facilities, een testbed in het Industrial Internet Consortium dat we een hele tijd geleden met Toshiba zijn begonnen. Sinds de oprichting hebben we ook SAS en Wipro toegevoegd, waarbij verschillende bedrijven verschillende waarden op tafel hebben gelegd.

Het oorspronkelijke idee was om een ​​enorme faciliteit te bouwen die was ontworpen als state-of-the-art. Als ik me niet vergis, geloof ik dat hij in 2011 is gebouwd en al had, hoeveel sensoren, zei Said? Zoals 20.000 sensoren of iets dergelijks?

Tabet: Meer dan dat, zou ik zeggen. Het was waarschijnlijk 35.000 toen het in 2011 werd gebouwd.

Smith: 35.000, goed. Het was een gloednieuwe, ultramoderne faciliteit, maar de ontwerpers wilden de grenzen verleggen en meer leren en doen. Een neuraal netwerk werd geïmplementeerd via een reeks servers die verbonden waren met een parameterserver, waardoor het gebouw in wezen zichzelf kon leren in combinatie met zijn kritieke systemen. We hebben het over dingen als liften en roltrappen, en natuurlijk over dure dingen zoals HVAC-systemen. Het idee was om, in ieder geval in eerste instantie, anomalie te detecteren en te zoeken naar correlaties tussen dingen die een persoon (zonder AI) moeilijk te vinden zou zijn.

Er waren bijvoorbeeld een aantal zeer fascinerende bevindingen over dingen die in de keuken gebeurden. Uit gegevens bleek dat die gebeurtenissen daadwerkelijk de kosten met zich meebrachten, en als gevolg van die acties werden bepaalde delen van de ventilatie gesloten. Het is ongelooflijk wat je kunt vinden als het de gegevens zijn in plaats van dat mensen dingen onderzoeken. We hebben het over een echt, diep neuraal netwerk waar het zelflerend is - zichzelf leert wat te vinden, op zoek naar kruiscorrelaties die mensen normaal niet alleen zouden bepalen. Als je er echt over nadenkt, was dit allemaal aan de "Edge". Dit wordt allemaal uitgevoerd in het gebouw. Daarna was een deel van de kernverwerking natuurlijk weer terug in het datacenter.

Tabet: In een recentere use-case voor een project hebben we een aantal apparaten toegevoegd, vergelijkbaar met al deze activa die te maken hebben met HVAC en andere dingen in het gebouw. ​​Elk van hen was in sommige gevallen uitgerust met zijn eigen machine learning-algoritmen of AI-algoritmen, en dat stelde hen in staat om zelfvoorzienend te zijn, maar tegelijkertijd van elkaar te leren. Terug naar het verhaal van Calvin, dit is zo gedaan dat we steeds meer van dit soort autonome AI gaan zien, als ik die term zou mogen gebruiken. Echt, het idee dat we het geen richting geven, maar na verloop van tijd zal het zichzelf nivelleren en zichzelf leren in termen van zijn parameters en de optimalisatie van de vereiste productiviteit.