Renesas en Syntiant bieden gezamenlijke spraakgestuurde vision AI-oplossing

Renesas Electronics Corporation en Syntiant Corp., een leverancier van energiezuinige intelligente spraak- en sensorverwerking in edge-apparaten, hebben gezamenlijk een spraakgestuurde multimodale kunstmatige intelligentie (AI)-oplossing ontwikkeld om contactloze bediening met laag vermogen mogelijk te maken voor beeldverwerking in embedded vision Op AI gebaseerd internet of things (IoT) en edge-systemen.

De nieuwe oplossing combineert de Renesas RZ/V-serie vision AI-microprocessoreenheid (MPU) en de energiezuinige multimodale, Syntiant NDP120 neurale beslissingsprocessor om geavanceerde spraak- en beeldverwerkingsmogelijkheden te leveren in toepassingen zoals self-checkout-machines, beveiligingscamera's, video conferentiesystemen en slimme apparaten zoals robotreinigingsapparaten.

De gezamenlijke oplossing biedt altijd-aan-functionaliteit met snelle spraakgestuurde activering vanuit de stand-bymodus om objectherkenning, gezichtsherkenning en andere op visie gebaseerde taken uit te voeren die kritieke functies zijn in beveiligingscamera's en andere systemen. Terwijl door de gebruiker gedefinieerde spraaksignalen bijvoorbeeld de activering en systeemwerking aansturen, volgt vision AI-herkenning het gedrag van de operator en regelt de bediening of geeft een waarschuwing wanneer verdachte acties worden gedetecteerd.

De multimodale architectuur maakt het gemakkelijker om contactloze gebruikerservaringen te creëren voor op vision gebaseerde systemen. Het gebruik van een speciale, energiezuinige chip voor spraakherkenning vermindert het energieverbruik in stand-by en versnelt de systeemontwikkeling omdat het mogelijk is om software te ontwikkelen onafhankelijk van de vision AI-functionaliteit.

De MPU van de Renesas RZ/V-serie bevat de DRP-AI-versneller (dynamisch herconfigureerbare processor-AI) van Renesas en combineert zeer nauwkeurige AI-inferentie met een energie-efficiëntie die volgens Renesas tot de beste in de branche behoort. Deze superieure stroomprestaties elimineert de noodzaak voor maatregelen voor warmteverspreiding, zoals koellichamen of koelventilatoren, waardoor de kosten van de stuklijst (BOM) worden verlaagd en het mogelijk wordt om vision AI te integreren in een breed scala aan embedded toepassingen. DRP-AI is samengesteld uit AI-MAC en DRP (dynamisch herconfigureerbare processor), die bewerkingen efficiënt kunnen verwerken in convolutionele en alles-combinerende lagen door de gegevensstroom te optimaliseren met interne schakelaars. De DRP kan complexe verwerkingen, zoals beeldvoorbewerking en AI-modelpoolinglagen, flexibel en snel verwerken door de hardwareconfiguratie dynamisch te wijzigen. De meegeleverde DRP-AI-vertaler wijst automatisch elk proces van het AI-model toe aan de AI-MAC en DRP, waardoor de gebruiker eenvoudig DRP-AI kan gebruiken zonder zich bewust te zijn van de hardware. Meerdere uitvoerbare bestanden die door de DRP-AI-vertaler worden uitgevoerd, kunnen in een extern geheugen worden geplaatst. Hierdoor is het mogelijk om als systeem dynamisch te schakelen tussen meerdere AI-modellen. Bovendien kan de DRP-AI-vertaler continu worden bijgewerkt om nieuw ontwikkelde AI-modellen te ondersteunen zonder hardwarewijzigingen.

De Syntiant NDP120-chip bevat geavanceerde AI-mogelijkheden die kunnen worden gebruikt om veel zeer nauwkeurige, handsfree spraakfuncties te implementeren, waaronder luidsprekerherkenning, trefwoorddetectie, meerdere wake-woorden en lokale opdrachtherkenning. Verpakt met de Syntiant Core 2 neurale netwerkinferentie-engine, kan de NDP120 ook meerdere applicaties tegelijkertijd uitvoeren terwijl het stroomverbruik wordt geminimaliseerd tot 1 mW batterijvermogen.

Namens Renesas zei Hiroto Nitta:"We verwachten dat de vraag naar multimodale systemen die meerdere stromen van invoerinformatie gebruiken - zowel beeld als spraak - in de toekomst zal toenemen als een manier om zowel het gebruiksgemak als de veiligheid te verbeteren." Nitta, een senior vice-president en hoofd van SoC-activiteiten in de IoT- en infrastructuurbedrijfseenheid, voegde toe:"Door de samenwerking tussen Renesas, een leider in low-power beeld-AI-technologie, en Syntiant, een leider in spraak-AI-technologie, zullen we versnel de adoptie van energiezuinige, ultrakleine slimme spraak-AI-technologie in embedded systemen en lever nieuwe gecombineerde oplossingen aan klanten wereldwijd.”

Kurt Busch, CEO van Syntiant, zei:"Op spraak gebaseerde gebruikersinterfaces zullen het voor klanten mogelijk maken om nieuwe gebruikerservaringen te leveren die de volgende generatie innovatieve ideeën van concept tot realiteit brengen. We hebben al meer dan 15 miljoen van onze deep learning NDP's wereldwijd verzonden om always-on voice mogelijk te maken in een breed scala aan consumenten- en industriële IoT-toepassingen. Onze samenwerking met Renesas levert een krachtige, energiezuinige spraak- en beeldoplossing op die zeker de tractie zal versnellen bij een wereldwijd klantenbestand in een verscheidenheid aan apparaten en gebruiksscenario's."

De nieuwe spraakgestuurde multimodale AI-oplossing maakt gebruik van meerdere onderling compatibele apparaten uit een breder Renesas-portfolio om klanten een verbeterd prototypeplatform te bieden voor een snellere time-to-market en minder risico. De nieuwe oplossing maakt deel uit van de 'winnende combinaties' van Renesas, die overtuigende combinaties van analoge, krachtige en embedded verwerkingsproducten bevatten die klanten helpen hun ontwerpen te versnellen en sneller op de markt te komen.

Het referentieontwerp voor de nieuwe multimodale AI-oplossing is nu beschikbaar, inclusief schakelschema's en stuklijstlijsten.