Renesas & Syntiant lanceren low-power voice-controlled vision AI voor embedded IoT-systemen

Renesas Electronics Corporation en Syntiant Corp. hebben samengewerkt om een low-power, voice-controlled multimodale AI-platform te creëren dat contactloze beeldverwerking levert voor embedded vision-AI IoT- en edge-toepassingen.

De integratie van Renesas' RZ/V-serie vision-AI microprocessor unit (MPU) met Syntiant's ultra-low-power NDP120 neural decision processor levert geavanceerde stem- en beeldverwerking voor use cases variërend van self-checkout-kiosks en beveiligingscamera's tot videoconferentiesystemen en slimme apparaten zoals robotstofzuigers.

Door stemherkenning op een toegewijde, power-efficiënte chip te scheiden, reduceert de architectuur standby-stroomverbruik en versnelt ontwikkeling. Ontwikkelaars kunnen stem- en visie-componenten onafhankelijk programmeren, wat integratie vereenvoudigt.

De Renesas RZ/V-serie MPU bevat de DRP‑AI (dynamically reconfigurable processor‑AI) accelerator, die high-precision-inferentie combineert met stroom-efficiëntie die Renesas claimt onder de beste in de industrie te zijn. Deze prestatie elimineert de noodzaak voor heatsinks of koelventilatoren, wat BOM-kosten verlaagt en vision-AI-integratie over een breed scala aan embedded-toepassingen mogelijk maakt. DRP‑AI is opgebouwd uit AI‑MAC en DRP-kernen, die efficiënt convolutionele en fully-connected-lagen hanteren door dataflow te optimaliseren met interne switches. De DRP kan dynamisch herconfigureren om complexe taken zoals image-pre-processing en AI-model-pooling-lagen snel te verwerken. Een DRP‑AI-translator mapt automatisch AI-model-operaties naar de juiste hardware, wat ontwikkelaars in staat stelt DRP‑AI te gebruiken zonder gedetailleerde hardware-kennis. Meerdere executables kunnen in extern geheugen residieren, wat dynamisch switchen tussen AI-modellen tijdens runtime mogelijk maakt, en de translator kan geüpdatet worden om nieuwe modellen te ondersteunen zonder hardware-wijzigingen.

De Syntiant NDP120-chip bevat gesofisticeerde AI-capabilities die high-precision, hands-free stemfuncties ondersteunen, inclusief sprekerherkenning, keyword-detectie, meerdere wake-words, en lokale-commando-herkenning. Gepaard met de Syntiant Core 2 neural-network-inferentie-engine, kan de NDP120 meerdere applicaties simultaan draaien terwijl het slechts 1 mW batterijvermogen verbruikt.

Namens Renesas, zei Hiroto Nitta, Senior Vice President en Head of SoC Business in de IoT- en Infrastructuur-unit: "We verwachten dat de vraag naar multimodale systemen die meerdere input-streams gebruiken – zowel beeld als stem – zal toenemen naarmate we vooruitgaan als een manier om zowel gemak-van-gebruik als veiligheid te verbeteren." Hij voegde toe: "Door de samenwerking tussen Renesas, een leider in low-power image AI-technologie, en Syntiant, een leider in voice AI-technologie, zullen we de adoptie van low-power, ultra-kleine slimme voice AI-technologie in embedded-systemen versnellen en nieuwe gecombineerde oplossingen wereldwijd aan klanten leveren."

Syntiant CEO Kurt Busch merkte op: "Stem-gebaseerde gebruikersinterfaces zullen het mogelijk maken voor klanten om nieuwe gebruikerservaringen te leveren die de volgende generatie innovatieve ideeën van concept naar realiteit brengen. We hebben al meer dan 15 miljoen van onze deep-learning NDP's wereldwijd verscheept om always-on voice in een breed scala aan consumer- en industriële IoT-toepassingen te ermöglichen. Onze samenwerking met Renesas levert een krachtige, low-power stem- en beeldoplossing die zeker de traction onder een mondiale klantenbasis in diverse apparaten en use-cases zal versnellen."

De nieuwe voice-controlled multimodale AI-oplossing trekt op meerdere compatibele apparaten uit Renesas' bredere portfolio, wat klanten een verhoogd prototyping-platform biedt voor snellere time-to-market en gereduceerd risico. Als onderdeel van Renesas' "winning combinations," die overtuigende analoge, power, en embedded-processing producten koppelen, helpt de oplossing klanten ontwerp te versnellen en nieuwe producten sneller te lanceren.

Een referentieontwerp voor de multimodale AI-oplossing, inclusief schakelingdiagrammen en BOM-lijsten, is nu beschikbaar.