AI-modellen optimaliseren voor efficiënte embedded-implementatie

Naarmate de vraag naar AI-gedreven interfaces groeit, voelt het integreren van functies zoals gezichtsherkenning in machines niet meer als een monumentale sprong. Met een overvloed aan AI-platforms, trainings-tools en open-source-projecten – zoals het face-ID-voorbeeld – kunnen ontwikkelaars snel prototypen op een PC.

(Bron: CEVA)

Beperkingen

Het migreren van een netwerk getraind op een PC of cloud naar een embedded-systeem presenteert distincte uitdagingen. Modellen gebouwd voor high-end hardware negeren vaak geheugenbeperkingen, vertrouwen op floating-point-aritmetiek en zijn afhankelijk van off-chip geheugen voor sliding-window inferentie. Terwijl een prototype op een krachtige PC deze inefficiënties kan betalen, moet een embedded-applicatie aanzienlijk zuiniger zijn – maar moet prestaties behouden.

De essenties van optimalisatie

De eerste pijler van optimalisatie is quantisatie. Het converteren van gewichten van 32-bit floating-point naar 8-bit integers krimpt zowel de modelgrootte als intermediaire waarden, wat een aanzienlijke geheugenbesparing oplevert met verwaarloosbare impact op nauwkeurigheid voor de meeste vision-taken.

Het benutten van gewichts-sparsiteit kan compute verder reduceren. Door coëfficiënten die dicht bij nul liggen op nul te zetten – terwijl de nauwkeurigheidsimpact wordt gemonitord – elimineer je onnodige vermenigvuldigingen, wat zowel geheugenverkeer als stroomverbruik inknipt.

In de praktijk verwerken vision-modellen afbeeldingen incrementeel, dus gewichten worden bijgewerkt als het berekeningsvenster over het frame glijdt. Een groot deel van de gewichtsmatrix op nul dwingen stelt de array in staat om gecomprimeerd te worden en opgeslagen in on-chip SRAM, wat off-chip-verkeer vermindert en doorvoer boost.

Neurale nets zijn ook afhankelijk van volwassen bibliotheken. Een microcontroller-vriendelijke runtime – zoals TensorFlow Lite of een vendor-specifieke accelerator-bibliotheek – is essentieel voor efficiënte inferentie. Voor volledige exploitatie van een microcontroller is een custom-afgestemde oplossing meestal vereist.

Het kiezen van het juiste platform is daarom cruciaal. Je hebt een flow nodig die een model getraind in je gekozen framework (bijv. TensorFlow) rechtstreeks op je embedded-target compileert, met minimale handmatige aanpassing, terwijl nog steeds fijnmazige controle over quantisatie-niveaus, gewichts-drempels en geheugen-mapping wordt toegestaan.

Hoe maak ik dit een easy-to-use flow?

Wat je wilt is een naadloze pipeline die een getraind netwerk pakt en het verpakt voor implementatie – compleet met quantisatie, sparsiteit-pruning en runtime-codegeneratie – zodat je je kunt richten op de applicatie in plaats van low-level-optimalisaties.

CEVA's CDNN is gebouwd voor dit exacte doel. Het biedt een offline-toolchain voor quantisatie, pruning en runtime-generatie, en levert bibliotheken die strak gekoppeld zijn aan CEVA DSP's en klant-accelerators. CDNN ondersteunt alle grote modelformaten, inclusief TensorFlow Lite, ONNX en Caffe.

Gerelateerde Inhoud:

• Embedded AI meesteren
• AI-modellen in microcontrollers knijpen
• Machine learning toepassen in embedded-systemen
• Microcontroller-architecturen evolueren voor AI
• AI-modellen trainen op de edge
• Microcontroller-architecturen evolueren voor AI
• Big data omzetten in slimme data met embedded AI

Voor meer Embedded, abonneer je op Embedded's wekelijkse e-mailnieuwsbrief.