Edge intelligence toevoegen:een interview met NXP

Een belangrijk onderwerp van vandaag en duidelijk besproken in veel gesprekken op embedded world 2021 is de wijdverbreide adoptie van edge computing om edge intelligence mogelijk te maken. Sommige prognoses verwachten dat 90% van alle edge-apparaten tegen 2025 een of andere vorm van machine learning of kunstmatige intelligentie zal gebruiken.

Wat zijn de problemen rond het inschakelen van deze edge intelligence, en hoe zorg je ervoor dat dit gebeurt? Dit is het onderwerp van gesprek in een recente podcast met Ron Martino, senior vice president en general manager van de edge processing business bij NXP Semiconductors. Hoewel je de volledige podcast hier kunt beluisteren, presenteren we enkele fragmenten uit de discussie in dit artikel.

Edge computing definiëren

In de kern is edge computing de mogelijkheid voor efficiënte verwerking dichter bij de gebruiker. We kunnen data sneller inzicht geven. Kun je edge computing definiëren in de context van hoe NXP het aanpakt?

Martino :Edge computing is simpelweg gedistribueerde lokale berekening en zintuiglijke mogelijkheden. Het interpreteert, analyseert en handelt effectief op de sensorgegevens om een ​​reeks zinvolle functies uit te voeren. Het probeert geen vervanging of alternatief voor de cloud te zijn, het wordt complementair. Klassiek, bijvoorbeeld bij spraakondersteuning, worden veel gegevens naar de cloud gestuurd, waar de hogere rekencapaciteit wordt gebruikt om de ervaring te verbeteren. Edge computing evolueert om slimmer en vervolgens intelligenter te worden. Smart edge computing balanceert het gebruik van lokaal computergebruik met centraal of cloud computing. Naarmate dit nog verder evolueert, is er meer intelligentie waar we willen dat de eindapparaten meer mogelijkheden hebben om de interpretatie, de analyse uit te voeren en vervolgens lokaal beslissingen te nemen.

Kun je enkele voorbeelden geven van hoe edge computing wordt gebruikt om een ​​betere productiviteit en veiligheid mogelijk te maken?

Martino :In het geval van productiviteit is een goed voorbeeld het verbeterde personeelsbestand:gebruikmakend van edge-verwerking of draagbare apparaten met vision en machine learning, waar een werknemer een probleem kan diagnosticeren en het sneller kan repareren, of het nu thuis of in een fabriek is .

Intelligente randapparatuur verbetert de veiligheid door verschillende gevaarlijke signalen te herkennen:door alarmen, een gevallen persoon of brekend glas te herkennen en vervolgens het probleem te bepalen met behulp van aanvullende sensorinformatie en berekeningen. Of het nu radarsensoren gebruikt die NXP aan het ontwikkelen is, of het vision-vermogen gebruikt, of alleen de interpretatie van audio-invoer in het apparaat.

Als we naar groener en energiebewustzijn gaan, is een concept dat moet worden aangepakt dat van vampierkracht, waarbij je apparaten aansluit en ze niets anders doen dan nog steeds stroom verbruiken.

We gaan ook over op een concept van 'aware edge', waarbij apparaten meer op een mensachtig gedrag reageren. Ze beginnen hun omgeving te begrijpen, ze verzamelen input en communiceren met andere apparaten om informatie te verzamelen en de context van de situatie te begrijpen, en nemen vervolgens dienovereenkomstig beslissingen. Een eenvoudig praktisch voorbeeld hiervan zijn verkeerspatronen met lokale capaciteit die drukte en verschillende congestiepunten kunnen interpreteren en de situatie lokaal kunnen optimaliseren, door het aantal auto's en de omstandigheden te observeren en te voelen om het rijden efficiënter te maken, zodat u geen tijd verspilt.

De technologiestukken die edge-intelligentie mogelijk maken

Vanuit een technologisch perspectief, wat zijn de onderdelen die die intelligente rand en bewuste rand vormen?

Martino :Laten we beginnen met de basis. U moet rekenplatforms hebben en ze moeten kunnen worden geschaald. Ze moeten energiezuinig zijn. In tegenstelling tot vroeger gaat het nu echt om meerdere onafhankelijke heterogene compute-subsystemen. Dat is eigenlijk een GPU, een CPU, een neurale netwerkverwerkingseenheid, een videoverwerkingseenheid en een DSP.

Hoe optimaliseert u deze verschillende hardwareversnellers en rekenapparaten en optimaliseert u deze voor een bepaalde eindtoepassing? Dat is waar NXP echt uitblinkt in het hebben van het schaalbare rekenbereik met al deze andere elementen. Dan is er de integratie van geoptimaliseerde hardwareversnellers of mogelijkheden gericht op spraaktoepassingen, mens-machine-interactie, waarbij zowel visie als spraak samen betrokken zijn, en dit vervolgens te doen op een manier waarbij het echt gaat om ultra-lage lekkage met operationele modi die kunnen worden aangepast aan het energieverbruik echt optimaliseren, zelfs met deze grote geheugens op de chip, die nodig zijn als je kijkt naar enkele van de werklasten.

Dit gaat verder met optimalisatie van machine learning-mogelijkheden, beveiligingsintegratie met de hoogste dekkingsniveaus voor veel verschillende aanvalsoppervlakken, efficiënte connectiviteit, efficiënt energieverbruik en open standaarden. Het kan ook profiteren van de technologie die NXP aanbiedt, zoals afstandsmeting met hoge nauwkeurigheid, of het nu onze UWB-technologie gebruikt om op een zeer nauwkeurige manier de fysieke locatie van een bepaalde persoon of een bepaald volgapparaat te lokaliseren.

Het laatste is dat dit alles wordt verpakt in een naadloze gebruikerservaring, want als het niet gemakkelijk te gebruiken is, en het is niet natuurlijk om te gebruiken, dan zal het niet worden gebruikt. Het is dus absoluut essentieel om een ​​naadloze, comfortabele ervaring te krijgen.

Hoe kan een gebruiker dergelijke oplossingen bouwen?

Martino :We bieden alles, van slechts een basisaanbod van een processor of een microcontroller tot een referentieplatform dat vooraf is geoptimaliseerd voor lokale spraak, voor zicht-, detectie- en inferentiemogelijkheden, of de combinatie daarvan. We stellen referentieplatforms samen die een klant kan kopen, zoals onze RT-familie van apparaten. We hebben een gezichtsherkenningsaanbod dat kan worden gekocht, en dat is een volledig ingeschakeld en ontworpen systeem dat een klant als uitgangspunt kan nemen bij het aanpassen aan hun behoeften waar ze zich willen specialiseren of waar ze het willen brandmerken.

Technologische verschillen in consumenten- en industriële toepassingen

De meeste bedrijven in de industrie zullen het erover eens zijn dat intelligente apparaten en systemen in onze huizen en op ons werk aan populariteit winnen. Wat zijn enkele van de technologische verschillen tussen het gewone IoT, zoals je zou zeggen, en de industriële markten?

Martino :De connectiviteitsnormen, milieuvereisten, levensduurbehoeften (die meer dan 15 jaar kunnen zijn) en de veiligheidsvereisten zijn veel uitgebreider en veeleisender in de industriële ruimte als je het vergelijkt met de [consumenten] IoT-wereld. Een gebied waarin NXP investeert, is tijdgevoelig netwerken (TSN), en de integratie van zowel de Mac als de switch in een hele reeks apparaten die serieschakelingen van meerdere machines kunnen ondersteunen, werken en eindpuntfuncties ondersteunen, gebruikmakend van deze meer deterministische TSN-backbone, die ook veel hogere datasnelheden en doorvoer ondersteunt waar veel van de oude standaarden op convergeren.

Vergelijk dit met [consumenten] IoT-markten. Er is een veel bredere behoefte aan extreme energie-efficiëntie, een hoger gebruik van spraak-HMI, draadloze connectiviteit en een kortere levenscyclus voor toepassingen zoals slimme huizen en wearables. Aan het draagbare front wil je een geweldige gebruikerservaring, maar je wilt de langste batterijduur. De optimalisatie van deze edge-apparaten om hun functies uit te voeren, maar vervolgens uit te schakelen en de levensduur van de batterij te behouden, is erg belangrijk, en die echt rijke gebruikerservaring moet op de meest efficiënte manier worden gedaan, want dat is de tijd dat het de batterij verbrandt.

De interoperabiliteitsuitdaging

Op het gebied van smart home is het vaak moeilijk om een ​​product van het ene bedrijf te nemen en het ook met andere apparaten te laten werken. Hoe probeert NXP die uitdaging op het gebied van draadloze interoperabiliteit van slimme woningen te veranderen?

Martino :Kijkend naar slimme apparaten voor thuisgebruik als voorbeeld, zijn de standaarden en interoperabiliteitscapaciteit erg gefragmenteerd. We hebben een project genaamd CHIP, of "Connected Home over IP", standaardenproject. Het heeft NXP en een aantal andere industrieleiders die samenwerken om te proberen te consolideren, niet naar een eigen standaard, maar naar een open standaard die in de hele industrie gangbaar is, en stelt mensen in staat om op deze open standaard voort te bouwen.

De focus van dit project is om voort te bouwen op de vele jaren van werk dat NXP en anderen hebben gedaan rond ZigBee en Thread en de ZigBee Alliance, en daarop voort te bouwen met een hogere laagcapaciteit, gebruikmakend van de technologieën die de Amazone, de Apple, en de Google's zijn uitgerold om deze open standaard te bouwen die we CHIP noemen, en om deze gemeenschappelijke koppeling tussen apparaten tot stand te brengen. Als je iets aansluit, is het heel eenvoudig om aan te sluiten.

Het plan van NXP is om later dit jaar daadwerkelijke producten op de markt te brengen, met de eerste versies van de CHIP-standaard.

De complexiteit en kosten van het toevoegen van edge intelligence aanpakken

Wat betreft machine learning en AI aan de rand. Het klinkt allemaal nogal ingewikkeld en kostbaar toch?

Martino :Voor velen is het een zeer complex abstract concept als je het hebt over AI en ML. Er zijn prognoses dat 90% van alle edge-apparaten tegen 2025 een of andere vorm van machine learning of kunstmatige intelligentie zal gebruiken. We geloven echt dat dit het geval is en we rollen producten uit die hiervoor zijn geoptimaliseerd. Het is een combinatie van wat we doen om de gebruikte hardware, de processors en de microcontrollers te optimaliseren om deze mogelijkheid uit te voeren. Voor de eindgebruiker gaat het er meer om hoe complex het is om een ​​praktische ML te implementeren die zinvol is voor het eindgebruik.

Er zijn veel bedrijven die gegevens willen verzamelen en hun eigen modellen willen maken. Waar NXP zich op richt, is hoe we een cloud-agnostische mogelijkheid mogelijk maken die flexibiliteit mogelijk maakt in een eenvoudige gebruikersinterface of ontwikkelomgeving?

Dat is wat we onlangs hebben aangekondigd met onze investeringen met Au-Zone, en in 2021 zullen we een verbeterde ontwikkelomgeving uitrollen waar je het type inhoud kunt kiezen dat je inbrengt. Je eigen gegevens, modellen die je hebt of modellen die je hebben gekozen om te verwerven via uw favoriete bron of cloudprovider, en die te brengen, en vervolgens te optimaliseren, en te implementeren op het eindapparaat. Omdat het die optimalisatie is.

Hoe verhoogt machine learning de kosten van de eindoplossing?

Martino :Als u een zeer complex, zwaar machine learning-model of -vermogen heeft, zal dat veel hogere rekencapaciteit vereisen, en hoe hoger de rekencapaciteit, hoe duurder het zal zijn. U kunt ervoor kiezen om dat op een edge-processor te doen, of u kunt ervoor kiezen om dat in een cloud te implementeren. Wanneer we proberen deze use-cases of deze modellen af ​​te stemmen op een specifieke use-case, kunt u zeer efficiënt worden, en dan kunt u gebruik maken van traditionele technologie-scaling en de wet van Moore om echt hardwareversnelling toe te voegen die specifiek is voor ML, dat neemt niet veel tijd in beslag veel siliciumoppervlak.

Het wordt een kleine kostenopteller, maar een zeer optimaal vermogen om dat gegeven werk uit te voeren dat u wilt. Of het nu gaat om het detecteren van mensen en het identificeren van wie ze lokaal zijn, je kunt dat nu bijvoorbeeld heel efficiënt doen op een microcontroller, die is geoptimaliseerd met een zeer, zeer efficiënte siliciumimplementatie. Dan kun je het ook schaalbaar maken met een aantal van onze processors, waar je kunt schalen naar een externe, krachtigere neurale netwerkprocessor, of je werkt op een complementaire manier met de cloud. Nogmaals, ze hebben allemaal een prijs, en het hangt af van de complexiteit van de taak, maar het kan zeer efficiënte tot zeer complexe capaciteit zijn die u kunt uitrollen.

Ethische AI

Er is toenemende bezorgdheid over vooroordelen in ML-modellen en AI. Wat is de rol van de industrie bij het helpen waarborgen van ethische AI?

Martino :Het heeft duidelijke transparantie van de werking nodig, of het nu gaat om eenvoudige concepten rond:"Ik wil weten dat het naar me luistert of naar me kijkt", maar ook, hoe bepaalt het de conclusie om vervolgens een actie te ondernemen, wordt erg belangrijk. Beveiligingsnormen om ervoor te zorgen dat de systemen veilig zijn en geen achterdeurtoegang hebben of andere gevoeligheden of kwetsbaarheden in termen van hun aanvalsoppervlak, zodat iemand toegang kan krijgen tot een AI-systeem en het vervolgens kan beïnvloeden om bepaalde dingen te doen of bepaalde beslissingen te nemen die kan gunstig zijn voor de persoon die het systeem aanvalt.

Hoe implementeer je AI-systemen die geen vooringenomenheid hebben die, principieel gezien, verkeerd is? Bij NXP hebben we een AI-ethisch initiatief uitgerold, wat onze toewijding aan deze ethische ontwikkeling onderstreept. Daarbinnen praten we over goed zijn, we praten over het behoud van mensgerichte AI, wat in feite gaat over het vermijden van ondergeschiktheid aan of dwang door een AI-systeem, evenals deze transparantie, de hoge normen voor wetenschappelijke excellentie, evenals vertrouwen in AI-systemen.

Welke uitdagingen ziet u nog bij het implementeren van edge-technologie?

Martino :Dit is een doorlopende activiteit en er zijn veel gebieden voor voortdurende optimalisatie. Energie-efficiëntie, en het aansturen en benutten van concepten voor het oogsten van energie, en bijna-drempelwerking van apparaten is een voortdurende investering door velen in de industrie. Beveiliging en de noodzaak om gegevens te beschermen en dit te blijven bevorderen, is een voortdurende activiteit.

Investeringen in siliciumspecifieke handtekeningen en verschillende soorten cryptografie, en manieren om computergebruik op een beschermde manier uit te voeren, zoals homomorfe versleuteling, berekeningen uitvoeren in een versleutelde omgeving en nooit ontsleutelen. Vervolgens wordt dat uitgebreid rond de connectiviteit van de doorvoer in latentievereisten, evenals het stroomverbruik. Om dat te optimaliseren, blijven we de connectiviteit optimaliseren en brengen we dat op steeds efficiëntere manieren naar deze edge-apparaten.

Ten slotte, dit hele concept van bewuste eindintelligentie, we bevinden ons in een derde generatie van het ontwikkelen en implementeren van neurale netwerkprocessors of subsystemen die in onze processors gaan. Dat zorgt voor verbeteringen in efficiëntie en schaalbaarheid, maar er is voortdurend onderzoek op dit gebied in termen van het stimuleren van hogere efficiëntieniveaus met versnellers en verschillende technologieën rond het verbinden van neurale netwerken, evenals kwantum-AI. Op de korte termijn zullen we duidelijk een voortdurende evolutie zien rond meer traditionele versnellers en de integratie daarvan in deze schaalbare processors die NXP op de markt brengt.

Je kunt hier naar de volledige podcast van 27 minuten luisteren, 'Overal empowerment'.