Een ISP en Machine Learning Acceleration toevoegen aan de i.MX 8M-familie

Ontdek hoe de i.MX 8M Plus-toepassingsprocessor edge computing mogelijk maakt, waardoor machine learning voor een verscheidenheid aan toepassingen, waaronder industriële taken, wordt versneld.

Cloudcomputing, edge computing en op vision gebaseerde systemen hebben steeds meer industriële en consumentensystemen overgenomen. Veel moderne systemen maken bovendien gebruik van machine learning en kunstmatige intelligentie om de gebruikerservaring te verbeteren. Deze benadering vereist vaak dat ontwerpers van embedded systemen een verscheidenheid aan verschillende SoC's en gespecialiseerde processors gebruiken om al deze taken uit te voeren.

NXP koos echter voor een andere aanpak en combineerde een beeldsignaalprocessor (ISP), een neurale verwerkingseenheid (NPU) voor het versnellen van machine learning en een MPU alles in één apparaat:de geavanceerde i.MX 8M Plus applicatieprocessor.

Figuur 1. i.MX 8M Plus applicatieprocessor.

Cloud computing versus edge computing

Er is enige context nodig om te begrijpen waarom de i.MX 8M Plus-toepassingsprocessor krachtige oplossingen biedt voor edge computing.

Cloud computing verwijst naar de on-demand beschikbaarheid van computersysteembronnen buiten de grenzen van het netwerk van de gebruiker. Deze middelen kunnen van welke aard dan ook zijn. Ze worden echter meestal gebruikt om veeleisende taken uit te voeren en voor gegevensopslag.

Vaak zijn cloudgebaseerde datacenters niet exclusief voor één gebruiker of organisatie. In plaats daarvan worden de bronnen gedeeld tussen alle gebruikers. Meestal maken openbare cloudservices gebruik van een pay-as-you-go-model, wat betekent dat de kosten snel kunnen oplopen als onnodige of lawaaierige gegevens worden geüpload voor verwerking in de cloud.

Dat is waar edge computing van pas kan komen. Edge computing plaatst sommige bronnen tussen de gebruikers en de cloud binnen de grenzen van hun netwerk. Meestal worden echter niet alle berekeningen aan de rand uitgevoerd. In plaats daarvan worden de bronnen aan de rand gebruikt om gegevens te filteren en ongewenste elementen te verwijderen voordat ze naar de cloud worden geüpload en onnodige kosten veroorzaken. Vaak worden machine learning en AI gebruikt om de resultaten automatisch te categoriseren en alleen relevante informatie naar de cloud te uploaden.

Het is echter ook mogelijk om de cloud volledig weg te laten en alle machine learning-inferentie lokaal uit te voeren op een edge-processor, bijvoorbeeld de i.MX 8M Plus-toepassingsprocessor, die een aantal voordelen biedt.

Potentiële voordelen van het gebruik van edge computing via cloud computing

Edge-computing (zoals de i.MX 8M Plus) biedt een groot aantal mogelijke voordelen ten opzichte van cloud-computing die de moeite waard zijn om nader te bekijken.

Afgezien van de kostenfactor, zal de vermindering van gegevens die naar de cloud worden geüpload, ook het algehele netwerkverkeer verminderen, wat andere applicaties die afhankelijk zijn van het netwerk kan versnellen. Dit verhoogt niet alleen de efficiëntie met de taken waaraan de processor specifiek is gewijd, maar het maakt ook kritieke middelen vrij voor andere, ondersteunende activiteiten en prioriteiten.

Vervolgens betekent het lokaal uitvoeren van de inferentie dat de applicatie kan blijven functioneren, zelfs wanneer de cloudservice offline is of wanneer de netwerkverbinding wordt onderbroken. Dit kan een belangrijke factor zijn, vooral voor veiligheidskritieke gebruikssituaties, maar ook voor andere verbonden toepassingen, zoals apparaten voor thuisbeveiliging.

Bovendien zorgt deze oplossing voor een betere latency en kortere responstijden in vergelijking met het gebruik van een cloudservice. Lage latentie is bijvoorbeeld belangrijk bij het uitvoeren van visuele inspecties op de fabrieksvloer en andere tijdkritische toepassingen.

Ten slotte is gebruikersprivacy een andere factor om te overwegen. Elke externe dienst vormt een potentieel veiligheidsrisico bij het omgaan met vertrouwelijke gegevens. Daarom kan het binnen de grenzen van het netwerk van de gebruiker houden van belangrijke informatie de beveiliging van de hele applicatie verhogen. Dit is niet alleen belangrijk voor industriële gebruikers, maar ook van cruciaal belang voor zowel particuliere gebruikers als klanten, bijvoorbeeld bij het gebruik van een spraakassistent of bij het werken met persoonlijke video- en afbeeldingsbestanden.

Hoeveel machine learning-prestaties zijn nodig?

Met cloud computing zijn de prestaties van machine learning meestal geen probleem of een beperkende factor. Bij het uitvoeren van deze bewerkingen aan de rand wordt echter de vraag hoeveel stroom nodig is. Een populaire manier om de prestaties van machine learning te meten is TOPS, wat een acroniem is voor biljoen (tera) bewerkingen per seconde, en het verwijst, zoals de naam al aangeeft, naar het aantal (meestal 8-bit integer vermenigvuldigen of accumulatie) bewerkingen per seconde . De algehele systeemprestaties zijn echter van veel meer factoren afhankelijk. TOPS wordt echter nog steeds vaak gebruikt om snel de prestaties van machine learning-systemen te vergelijken.

Volledige spraakherkenning (niet alleen het spotten van trefwoorden) aan de rand blijkt een systeemprestatie van ongeveer één tot twee TOPS te vereisen. De echte vereiste hangt sterk af van het gebruikte algoritme en van of het van vitaal belang is om te begrijpen wat de gebruiker zegt. Objectdetectie met 60 frames per seconde, als een ander voorbeeld, kost ongeveer twee tot drie TOPS bij gebruik van een algoritme zoals Yolov3.

Omdat processing en machine learning aan de edge steeds relevanter worden, heeft NXP een machine learning accelerator met een performance van ongeveer 2,3 TOPS toegevoegd aan de i.MX 8M Plus applicatieprocessor, waardoor deze goed is uitgerust voor verschillende industriële taken en vele andere applicaties zonder de noodzaak om externe cloudgebaseerde services te gebruiken.

Figuur 2. De i.MX 8M Plus-toepassingsprocessor is goed uitgerust voor verschillende industriële taken die gebruikmaken van externe cloudgebaseerde services.

De i.MX 8M Plus is klaar voor embedded vision-based systemen

Tot dusverre noemde dit artikel verschillende voorbeelden van toepassingen waarvoor een camera nodig is om te functioneren. Een daarvan was een vision-gebaseerd systeem dat defecte onderdelen aan het einde van een productielijn weggooit na een geautomatiseerde optische inspectie. Al dergelijke systemen vereisen visuele input, bijvoorbeeld beelden van een camera. ISP-functionaliteit bestaat in elk op camera's gebaseerd systeem. Vaak is de beeldsignaalprocessor aanwezig in een extern apparaat, zoals de camera zelf, en verborgen voor de gebruiker. Dergelijke ISP's zorgen meestal voor een paar verschillende beeldoptimalisatie- en filtertaken.

In veel gevallen kan men wegkomen zonder een speciale ISP te gebruiken, bijvoorbeeld bij gebruik van een eenvoudige USB-webcam. Dan is de ISP meestal al in de camera ingebouwd, die alle benodigde conversies uitvoert zonder dat de gebruiker het merkt.

Dergelijke ISP's hebben echter hun beperkingen en werken doorgaans goed voor resoluties tot twee Megapixels. Bovendien kunnen de ontbrekende controle over de ISP, de extra complexiteit en het extra stroomverbruik in sommige gevallen problematisch zijn.

Wanneer een hogere beeldresolutie dan 2 MP (1080p) vereist is, kan de ontwerper van embedded systemen een externe ISP gebruiken, wat op zijn beurt de algehele complexiteit en het stroomverbruik van het systeem zou verhogen. Als alternatief kan de ontwerper een applicatieprocessor gebruiken met een ingebouwde ISP, zoals de i.MX 8M Plus. Deze aanpak biedt een geoptimaliseerde beeldoplossing, met name bij 2 Megapixel en hogere resoluties, zonder de complexiteit van het systeem te vergroten.

Samenvatting

Edge-computing heeft een aantal aantrekkelijke voordelen ten opzichte van cloud-computing en kan de manier waarop we in de toekomst werken, leven en vrije tijd besteden, veranderen. Enkele van de voordelen zijn verhoogde betrouwbaarheid, schaalbaarheid en beveiliging, en verminderde latentie.

Met de i.MX 8M Plus applicatieprocessor heeft NXP twee factoren gecombineerd die moderne applicaties aan de rand mogelijk maken. Deze nieuwe MPU zal de ontwikkeling van tal van innovatieve industriële apparaten en producten op consumentenniveau stimuleren. Het bevat een ISP voor het bouwen van moderne vision-gebaseerde systemen die invoergegevens met een hoge resolutie vereisen.

De beeldinformatie van de ISP kan direct worden ingevoerd in de ingebouwde NPU om snelle toepassingen mogelijk te maken die afhankelijk zijn van beeldgegevens, terwijl de CPU vrij blijft voor andere taken. Bovendien biedt de i.MX 8M Plus-toepassingsprocessor een paar andere functies die het bekijken waard zijn, bijvoorbeeld een Ethernet-controller met Time-Sensitive Networking, een DRAM-controller die ECC ondersteunt en een verscheidenheid aan verschillende cores voor een reeks van toepassingen.

Met de i.MX 8M Plus-toepassingsprocessor zijn de mogelijkheden voor krachtige vision-gebaseerde toepassingen aan de rand bijna eindeloos, of het nu gaat om een ​​slimme thuishub, intelligente gebouwbesturingen of industriële toepassingen.

Industrieartikelen zijn een vorm van inhoud waarmee branchepartners nuttig nieuws, berichten en technologie kunnen delen met lezers van All About Circuits op een manier waarop redactionele inhoud niet goed geschikt is. Alle brancheartikelen zijn onderworpen aan strikte redactionele richtlijnen met de bedoeling de lezers nuttig nieuws, technische expertise of verhalen te bieden. De standpunten en meningen in brancheartikelen zijn die van de partner en niet noodzakelijk die van All About Circuits of zijn schrijvers.