Edge AI wint momentum: Cloud-leiders AWS en Microsoft tonen geïntegreerde inferentie & beheeroplossingen

Het deployen van AI direct op edge-apparaten levert directe respons en verlaagt de kosten van het sturen van grote datastromen naar de cloud. Recente hardware-vooruitgang – toegewijde ML-accelerators, krachtige microcontrollers en verfijnde modellen – enable rijker inferentie binnen strakke energiebudgetten. Toch profiteert zelfs een volledig lokale pipeline nog van cloud-gebaseerd apparaatbeheer, continue modeltraining en veilige update-mechanismen.

AWS IoT

Op Embedded World Digital 2021 lichtten AWS en Microsoft toe hoe hun ecosystemen edge AI ondersteunen. AWS Principal Specialist Solutions Architect Rajeev Muralidhar legde uit dat het draaien van TensorFlow Lite of andere ML-modellen op het apparaat wel een capaciteit is, maar het echte voordeel ligt in het veilig en op schaal beheren van de gehele apparaatlevenscyclus. Hij benadrukte het belang van het uitrollen van firmware- en model-upgrades die vlootjes zowel up-to-date als veilig houden.

AWS levert deze capaciteit via het AWS IoT-platform, dat samengesteld is uit drie kerncomponenten: device-side software (FreeRTOS of AWS Greengrass), controle- en connectiviteitsservices (AWS IoT Core), en analytics en event-gedreven services.

AWS biedt uitgebreide ondersteuning voor edge AI-apparaten via zijn IoT-platform (Afbeelding: AWS)

FreeRTOS is een open-source OS ontworpen voor microcontrollers en wordt ondersteund door een tweejaarlijks long-term support (LTS) programma dat beveiligingspatches, feature-upgrades en bugfixes garandeert. Het OTA-updateframework laat operators firmware-wijzigingen veilig en op schaal naar duizenden apparaten pushen. De FreeRTOS-kernel kan direct communiceren met een gateway die AWS Greengrass draait, wat een naadloze brug creëert tussen lokale inferentie en cloud-services.

AWS IoT Core fungeert als toegangspunt voor data die naar de cloud stroomt. Het biedt een message broker die regels kan afdwingen op binnenkomende data – opslaan, routeren naar een database, of sturen naar analytics-tools zoals SageMaker voor machine learning. Het platform biedt ook vlootbeheertools, apparaatbeheermogelijkheden en event-gedreven automatisering die anomalieën detecteren en reacties triggeren over een groot netwerk van IoT-eindpunten.

Muralidhar benadrukte dat veilige, end-to-end apparaatlevenscyclusbeheer essentieel is bij opereren op schaal. Het roteren van beveiligingsreferenties en het toepassen van besturingssysteem-updates zonder vlootintegriteit te compromitteren, zijn sleutel tot het behouden van een betrouwbaar ecosysteem.

Hij ziet een continue lus waar data naar de cloud gestuurd wordt voor modelverfijning, waarna nieuwere, nauwkeurigere modellen terug naar apparaten worden getrokken. "Op die manier zijn de apparaten die in je voertuigen of op de shopfloor draaien, meer capabel en kunnen ze sneller en nauwkeuriger reageren," zei hij.

Azure Percept

Microsoft's Azure Percept is een hardware-en-software platform ontworpen om edge AI toegankelijk te maken voor ontwikkelaars zonder diepe specialisatie. Het systeem benut Azure's cloud-services voor apparaatbeheer, modelontwikkeling en analytics, terwijl het voorgebouwde hardwaremodules biede die cutting-edge AI-accelerators incorporeren.

Microsoft's Azure Percept platform combineert hardwaremodules – inclusief een Trusted Platform Module, een audio module en een vision module – met Azure's cloud-gebaseerde services (Afbeelding: Microsoft)

De huidige hardware development kit bevat de Azure Percept Vision module, die Intel's Movidius Myriad X accelerator gebruikt voor computer-vision workloads, en een Azure Percept Audio module, details waarvan nog volgen. De vision module is ontworpen om training, deployment en beheer van AI-modellen direct op de edge te vereenvoudigen.

Microsoft koppelt het platform ook aan Azure IoT Hub, wat veilige, bidirectionele communicatie tussen apparaten en de cloud garandeert. Toekomstige plannen omvatten het uitbreiden van de reeks third-party Percept-gecertificeerde apparaten, zodat ontwikkelaars oplossingen van de development kit naar productie-klaar hardware kunnen portes.

>> Dit artikel is oorspronkelijk gepubliceerd op onze zusje-site, EE Times Europe.