Cloudproviders noemen de rol naarmate AI-inferentie naar de rand gaat

Het uitvoeren van AI-inferentie op embedded edge-apparaten is aantrekkelijk in situaties waar een lage latentie vereist is, of waar de hoeveelheden data die aan de edge worden verzameld te veel zouden kosten om naar de cloud te sturen. Vooruitgang in speciale versnellers voor machine learning, ultramoderne microcontrollers en AI-modellen en -software betekent dat er meer AI-inferentie kan worden gedaan bij edge-power-budgetten dan ooit tevoren. Maar zelfs als alle gevolgtrekkingen aan de rand worden gedaan, is de cloud nog steeds een handig hulpmiddel voor het beheren van apparaten in het veld, zeggen cloudproviders.

AWS IoT

Op Embedded World Digital 2021 presenteerden cloudproviders AWS en Microsoft hun ecosysteemoplossingen voor edge AI-apparaten.

"Het uitvoeren van TensorFlow Light- of machine learning-modellen op de apparaten zelf is één mogelijkheid", zegt Rajeev Muralidhar, principal specialist solutions architect bij AWS. “Maar de mogelijkheid om op een veilige manier een volledige pijplijn voor de levenscyclus van apparaten te bouwen, ze op schaal te beheren, de mogelijkheid om formele upgrades op de apparaten uit te rollen, zodat u de versies die erop draaien kunt beheren, veiligere, meer functies bieden, en ook de mogelijkheid om de ML-modellen die daar draaien te updaten – dit is een andere belangrijke mogelijkheid.”

AWS biedt hiervoor een infrastructuur aan via haar AWS IoT-platform. Dit platform, zei Muralidhar, bestaat uit drie belangrijke onderdelen:apparaatsoftware (FreeRTOS of AWS Greengrass), besturings- en connectiviteitscomponenten (AWS IoT Core) en analyseservices.

AWS biedt ondersteuning voor edge AI-apparaten via zijn IoT-platform (Afbeelding:AWS)

FreeRTOS is een veelgebruikt open-source besturingssysteem voor apparaten op microcontroller-niveau. Het wordt geleverd met langetermijnondersteuning (RTS), die twee jaar lang beveiligingsupdates, functie-upgrades en bugfixes garandeert. Het wordt ook geleverd met mogelijkheden om veilig over-the-air updates uit te voeren en firmware op grote schaal uit te rollen naar de apparaten die in het veld zijn geïmplementeerd. De FreeRTOS-kernel kan rechtstreeks communiceren met een apparaatgateway waarop AWS Greengrass mogelijk draait.

AWS IoT Core is het toegangspunt voor gegevens in de cloud. Het bevat een berichtenmakelaar die regels voor de gegevens kan invoeren, of dat nu is om ze op te slaan, of ze naar een database of een dashboard te verplaatsen voor analyse, zoals SageMaker voor analyse van machine learning.

Het AWS IoT-platform heeft ook componenten voor grootschalig wagenparkbeheer, apparaatbeheer en IoT-analyse, evenals een mogelijkheid voor gebeurtenisbeheer waarmee detectie en reactie op gebeurtenissen die afkomstig zijn van uw IoT-apparaten, kan worden geautomatiseerd.

"End-to-end levenscyclusbeheer van apparaten is cruciaal als je op schaal nadenkt over apparaten, en de mogelijkheid om het onderliggende besturingssysteem van die apparaten te updaten is ook cruciaal", aldus Muralidhar. "Je wilt het veilig kunnen doen, je wilt de beveiligingsreferenties kunnen rouleren, zodat je geen concessies doet aan de beveiliging van je apparatenvloot."

De ideale situatie is om de binnenkomende gegevens naar de cloud te sturen, zodat er continue evaluatie en training kan zijn, zei Muralidhar.

"[Dan] wanneer je nieuwere modellen hebt bijgewerkt die nauwkeuriger zijn, kun je ze naar beneden trekken in het apparaat en dat uitrollen naar je hele vloot van apparaten op de industriële werkvloer, of je geconnecteerde wagenpark," zei hij. "Op die manier zijn de apparaten in uw voertuigen beter in staat en kunnen ze sneller en nauwkeuriger reageren."

Azure Percept

Op de beurs gaf Microsoft ook presentaties over haar gloednieuwe Azure Percept-concept. Azure Percept is een hardware- en softwareplatform voor edge AI dat profiteert van enkele van Azure's cloudaanbiedingen, waaronder apparaatbeheer, AI-modelontwikkeling en analyse. Azure-cloudtools worden gebruikt om apparaten te beheren en toegang te krijgen tot open-source AI-modellen of om nieuwe te maken.

Het Azure Percept-platform van Microsoft is zowel hardware als software. Hardware omvat een Trusted Platform Module (midden), Azure Percept Audio-module (links) en Azure Percept Vision-module (rechts) (Afbeelding:Microsoft)

Het bedrijf lanceerde ook een hardware-ontwikkelingskit met twee modules. De Azure Percept Vision-module voor computervisie aan de rand is gebaseerd op Intel's Movidius Myriad X AI-accelerator. Er is ook een Azure Percept Audio-module, maar er waren geen details over die module beschikbaar.

Met dit nieuwe aanbod wil Microsoft een end-to-end oplossing bieden die de toegangsdrempel voor niet-specialisten verlaagt. Het idee is om het ontwikkelen, trainen en inzetten van edge AI te vereenvoudigen.

Azure Percept maakt ook verbinding met Azure IoT Hub, ontworpen om veilige communicatie tussen IoT-apparaten en de Azure-cloud te vergemakkelijken.

In de toekomst is Microsoft van plan om het aantal Azure Percept-apparaten van derden uit te breiden. Ontwikkelaars die de huidige hardware-ontwikkelingskit gebruiken, kunnen hun oplossing vervolgens implementeren op Percept-gecertificeerde apparaten die op de markt verkrijgbaar zijn.

>> Dit artikel is oorspronkelijk gepubliceerd op onze zustersite, EE Times Europe.