De toegankelijkheid van machine learning aan de rand vergroten

'Edge intelligence' wordt toegankelijker, zelfs voor ontwerpers zonder formele datawetenschapsopleiding, nu er nieuwe hardware beschikbaar komt.

In de afgelopen jaren zijn verbonden apparaten en het Internet of Things (IoT) alomtegenwoordig geworden in ons dagelijks leven, of het nu in onze huizen en auto's is of op onze werkplek. Veel van deze kleine apparaten zijn verbonden met een cloudservice - bijna iedereen met een smartphone of laptop gebruikt tegenwoordig cloudgebaseerde services, bijvoorbeeld actief of via een geautomatiseerde back-upservice.

Een nieuw paradigma dat bekend staat als 'edge intelligence' wint echter snel terrein in het snel veranderende landschap van technologie. Dit artikel introduceert cloudgebaseerde intelligentie, edge-intelligentie en mogelijke gebruiksscenario's voor professionele gebruikers om machine learning voor iedereen toegankelijk te maken.

Figuur 1. Overschakelen van cloudcomputing naar edge computing opent de mogelijkheid om miljarden apparaten te bouwen met ML-compatibele software. Afbeelding met dank aan NXP.

Belangrijke termen voor machine learning

Cloud computing

Cloud computing, simpel gezegd, is de beschikbaarheid van externe computerbronnen wanneer een klant ze nodig heeft.

Voor openbare cloudservices is de cloudserviceprovider verantwoordelijk voor het beheer van de hardware en ervoor te zorgen dat de beschikbaarheid van de service voldoet aan een bepaalde norm en aan de verwachtingen van de klant. De klanten van cloudservices betalen voor wat ze gebruiken, en het gebruik van dergelijke services is over het algemeen alleen haalbaar voor grootschalige operaties.

Edge-computing

Aan de andere kant vindt edge computing plaats ergens tussen de cloud en het netwerk van de klant.

Hoewel de definitie van waar edge-knooppunten zich precies bevinden van toepassing tot toepassing kan verschillen, bevinden ze zich over het algemeen dicht bij het lokale netwerk. Deze rekenknooppunten bieden services zoals het filteren en bufferen van gegevens, en ze helpen de privacy te vergroten, de betrouwbaarheid te vergroten en de kosten en latentie van cloudservices te verminderen.

Onlangs is het gebruikelijker geworden dat AI en machine learning een aanvulling vormen op edge-computing-knooppunten en helpen beslissen welke gegevens relevant zijn en naar de cloud moeten worden geüpload voor een diepere analyse.

Machineleren (ML)

Machine learning (ML) is een breed wetenschappelijk veld, maar de laatste tijd hebben neurale netwerken (vaak afgekort tot NN) de meeste aandacht gekregen bij het bespreken van algoritmen voor machine learning.

Multiclass of complexe ML-toepassingen, zoals het volgen en bewaken van objecten, automatische spraakherkenning en detectie van meerdere gezichten, vereisen doorgaans NN's. Veel wetenschappers hebben de afgelopen tien jaar hard gewerkt om NN-algoritmen te verbeteren en te optimaliseren, zodat ze kunnen worden uitgevoerd op apparaten met beperkte rekenkracht, wat heeft bijgedragen aan het versnellen van de populariteit en uitvoerbaarheid van het edge-computing-paradigma.

Een zo'n algoritme is MobileNet, een algoritme voor beeldclassificatie dat is ontwikkeld door Google. Dit project toont aan dat zeer nauwkeurige neurale netwerken inderdaad kunnen draaien op apparaten met aanzienlijk beperkte rekenkracht.

Machineleren voor meer dan alleen experts

Tot voor kort was machine learning vooral bedoeld voor datascience-experts met een diep begrip van ML en deep learning-toepassingen. Doorgaans waren de ontwikkeltools en softwaresuites onvolwassen en uitdagend om te gebruiken.

Machine learning en edge computing breiden zich snel uit en de belangstelling voor deze gebieden groeit elk jaar gestaag. Volgens huidig ​​onderzoek zal 98% van de edge-apparaten tegen 2025 gebruikmaken van machine learning. Dit percentage vertaalt zich naar ongeveer 18-25 miljard apparaten waarvan de onderzoekers verwachten dat ze over machine learning-mogelijkheden beschikken.

Over het algemeen opent machine learning aan de rand deuren voor een breed spectrum aan toepassingen, variërend van computervisie, spraakanalyse en videoverwerking tot sequentieanalyse.

Enkele concrete voorbeelden voor mogelijke toepassingen zijn intelligente deursloten in combinatie met een camera. Deze apparaten kunnen automatisch een persoon detecteren die toegang wil tot een kamer en de persoon toegang geven indien nodig.

Moderne hardwareoplossingen maken ML-verwerking aan de rand mogelijk

Vanwege de eerder besproken optimalisaties en prestatieverbeteringen van neurale netwerkalgoritmen, kunnen veel ML-applicaties nu draaien op embedded apparaten die worden aangedreven door crossover-MCU's zoals de i.MX RT1170. Met zijn twee verwerkingskernen (een 1GHz Arm Cortex M7 en een 400 MHz Arm Cortex-M4-kern), kunnen ontwikkelaars ervoor kiezen om compatibele NN-implementaties uit te voeren met realtime beperkingen in gedachten.

Dankzij het dual-core ontwerp maakt de i.MX RT1170 ook de uitvoering van meerdere ML-modellen tegelijk mogelijk. De extra ingebouwde crypto-engines, geavanceerde beveiligingsfuncties en grafische en multimediamogelijkheden maken de i.MX RT1170 geschikt voor een breed scala aan toepassingen. Enkele voorbeelden zijn detectie van afleiding door de bestuurder, slimme lichtschakelaars, intelligente sloten, wagenparkbeheer en nog veel meer.

Figuur 2. Een blokschema van de i.MX RT1170 crossover MCU-familie. Afbeelding met dank aan NXP. Klik om te vergroten.

De i.MX 8M Plus is een familie van applicatieprocessors die zich met hoge betrouwbaarheid richt op ML, computer vision, geavanceerde multimediatoepassingen en industriële automatisering. Deze apparaten zijn ontworpen met de behoeften van slimme apparaten en Industrie 4.0-toepassingen in het achterhoofd en zijn uitgerust met een speciale NPU (neural processing unit) die werkt op maximaal 2,3 TOPS en maximaal vier Arm Cortex A53-processorcores.

Figuur 3. Het i.MX 8M Plus blokschema. Afbeelding met dank aan NXP. Klik om te vergroten.

Dankzij ingebouwde beeldsignaalprocessors kunnen ontwikkelaars ofwel twee HD-camerasensoren of een enkele 4K-camera gebruiken. Deze functies maken de i.MX 8M Plus-familie van apparaten geschikt voor toepassingen zoals gezichtsherkenning, objectdetectie en andere ML-taken. Daarnaast worden apparaten van de i.MX 8M Plus-familie geleverd met geavanceerde 2D- en 3D grafische versnellingscapaciteiten, multimediafuncties zoals ondersteuning voor videocodering en -decodering, inclusief H.265), en 8 PDM-microfooningangen.

Een extra low-power 800 MHz Arm Cortex M7-kern completeert het pakket. Deze speciale kern bedient realtime industriële toepassingen die robuuste netwerkfuncties vereisen, zoals CAN FD-ondersteuning en Gigabit Ethernet-communicatie met TSN-mogelijkheden.

De eIQ Tools-omgeving

Met nieuwe apparaten komt de behoefte aan een gebruiksvriendelijk, efficiënt en capabel ontwikkelingsecosysteem waarmee ontwikkelaars moderne ML-systemen kunnen bouwen. De uitgebreide eIQ ML-softwareontwikkelingsomgeving van NXP is ontworpen om ontwikkelaars te helpen bij het maken van op ML gebaseerde applicaties.

De omgeving van eIQ-tools omvat inferentie-engines, neurale netwerkcompilers en geoptimaliseerde bibliotheken om het werken met ML-algoritmen op NXP-microcontrollers, i.MX RT crossover MCU's en de i.MX-familie van SoC's mogelijk te maken. De benodigde ML-technologieën zijn toegankelijk voor ontwikkelaars via de SDK's van NXP voor de MCUXpresso IDE en Yocto BSP.

De aanstaande eIQ Toolkit voegt een toegankelijke GUI toe; eIQ Portal en workflow, waardoor ontwikkelaars van alle ervaringsniveaus ML-applicaties kunnen maken.

Figuur 4. eIQ Toolkit en eIQ Portal met BYOD- en BYOM-workflows en keuze uit eIQ-inferentie-engines. De eIQ Toolkit helpt ontwikkelaars van alle ervaringsniveaus bij het implementeren van ML-applicaties op NXP-apparaten. Afbeelding met dank aan NXP.

Ontwikkelaars kunnen ervoor kiezen om een ​​proces te volgen genaamd BYOM (bring your own model), waarbij ontwikkelaars hun getrainde modellen bouwen met behulp van cloudgebaseerde tools en deze vervolgens importeren in de eIQ Toolkit-softwareomgeving. Vervolgens hoeft u alleen nog maar de juiste inferentie-engine in eIQ te selecteren. Of de ontwikkelaar kan de eIQ Portal GUI-gebaseerde tools of opdrachtregelinterface gebruiken om datasets te importeren en beheren en de BYOD-workflow (bring your own data) gebruiken om hun model binnen de eIQ Toolkit te trainen.

Machineleren aan de rand voor iedereen

De meeste hedendaagse consumenten zijn bekend met cloud computing. De laatste jaren is er echter een toenemende belangstelling voor een nieuw paradigma dat bekend staat als edge computing.

Met dit paradigma worden niet alle gegevens geüpload naar de cloud. In plaats daarvan bieden edge-knooppunten, die zich ergens tussen de eindgebruiker en de cloud bevinden, extra verwerkingskracht. Dit paradigma heeft veel voordelen, zoals verhoogde veiligheid en privacy, verminderde gegevensoverdracht naar de cloud en lagere latentie.

Meer recentelijk verbeteren ontwikkelaars deze edge-nodes vaak met machine learning-mogelijkheden. Dit helpt om de verzamelde gegevens te categoriseren en ongewenste resultaten en irrelevante informatie uit te filteren. Door ML aan de edge toe te voegen, zijn veel toepassingen mogelijk, zoals detectie van afleiding door de bestuurder, slimme lichtschakelaars, intelligente sloten, wagenparkbeheer, bewaking en categorisering, en nog veel meer.

ML-applicaties zijn traditioneel exclusief ontworpen door datawetenschapsexperts met een diep begrip van ML en deep learning-applicaties. NXP biedt een reeks goedkope maar krachtige apparaten, zoals de i.MX RT1170 en de i.MX 8M Plus, en de eIQ ML-softwareontwikkelingsomgeving om ML toegankelijk te maken voor elke ontwerper. Deze hardware en software is bedoeld om ontwikkelaars in staat te stellen toekomstbestendige ML-applicaties te bouwen op elk ervaringsniveau, ongeacht hoe klein of groot het project ook zal zijn.

Industrieartikelen zijn een vorm van inhoud waarmee branchepartners nuttig nieuws, berichten en technologie kunnen delen met lezers van All About Circuits op een manier waarop redactionele inhoud niet goed geschikt is. Alle brancheartikelen zijn onderworpen aan strikte redactionele richtlijnen met de bedoeling de lezers nuttig nieuws, technische expertise of verhalen te bieden. De standpunten en meningen in brancheartikelen zijn die van de partner en niet noodzakelijk die van All About Circuits of zijn schrijvers.