Low-power apparaten kunnen luisteren met een siliconen cochlea

Naarmate we evolueren naar meer alomtegenwoordige, always-on sensing en computing, wordt kracht steeds belangrijker. Er is misschien geen beter voorbeeld van waar dit belangrijk is dan de spraakgestuurde apparaten op onze bureaus, in onze zakken en verspreid over onze huizen. Zoals we vorig jaar zagen, is met name het spotten van zoekwoorden momenteel een doelwit voor allerlei neuromorfische technologieën.

Het siliconen slakkenhuis

De winnaar van de Misha Mahowald Prize for Neuromorphic Engineering in 2020 is prof. Shih-Chii Liu en haar team, die hebben gewerkt aan low-latency, low-power sensoren voor het detecteren van spraak. De dynamische audiosensoren die Shih-Chii Liu en haar team van het Institute of Neuroinformatics (INI) hebben ontwikkeld, zouden deze markt uiteindelijk kunnen aanspreken. De kern is een silicium slakkenhuis dat is ontworpen om de biologie na te bootsen. Eerst wordt het binnenkomende geluid gefilterd in frequentiekanalen met behulp van een set analoge banddoorlaatfilters, waarvan de uitvoer in een halve golf wordt gerectificeerd. Samen bootst dit de functie van haarcellen in het oor na.

In een conventioneel audiosysteem wordt het geluid eerst geconverteerd met behulp van een analoog-naar-digitaal-omzetter en vervolgens worden de functies geëxtraheerd met behulp van digitale snelle Fourier-transformatie (FFT) en banddoorlaatfiltering (BPF). Deze worden verwerkt door een digitale signaalprocessor (DSP) met spraakactiviteitdetectie (VAD) of automatische spraakherkenningsalgoritmen. B. In de INI-Zürich dynamische audiosensor wordt het signaal ontvangen als analoge audiobanden van de met functies en wijzigingen worden parallel gecodeerd in treinen van asynchrone pieken (gebeurtenissen), die vervolgens worden verwerkt.

Zoals in de biologie gebeurt, worden de verschillende kanalen vervolgens klaargemaakt voor verwerking in de hersenen. In het oor coderen ganglioncellen de signalen als een stroom van chemische ionen:in het siliciumslakkenhuis worden ze omgezet in elektrische pieken. Dit kan worden gedaan met behulp van een klassieke integreer-en-vuurfunctie of een asynchrone deltamodulator (ADM) die het signaal vergelijkt met twee drempelwaarden en de juiste gebeurtenissen verzendt wanneer deze worden doorgegeven, en dus fungeert als een functie-extractor. Omdat onveranderlijke signalen worden genegeerd, wordt de hoeveelheid overtollige informatie die wordt doorgegeven aan de volgende fase verminderd.

Vanuit het oogpunt van stroomverbruik, als er niets gebeurt, verbruikt het siliciumslakkenhuis nauwelijks energie, maar naarmate de activiteit toeneemt, neemt ook het aantal pieken toe. Afhankelijk van de toepassing kan dat een enorm voordeel zijn (als er veel wordt geluisterd maar weinig actie) of helemaal geen voordeel (als er altijd relevante dingen moeten worden gedecodeerd).

Als audiosensor die werkt in het regime van lage µW, zou de chip systeemontwerpers echter een waardevolle optie kunnen bieden om de energie-efficiëntie te verhogen. Het zorgt ook voor een zeer hoog dynamisch bereik, omdat er bijna oneindig veel mogelijkheden zijn voor spikes om ver uit elkaar of dicht bij elkaar te zijn omdat ze in continue tijd werken.

Spraakherkenning

Een cruciaal onderdeel van dit werk was het aantonen van nut . In het bijzonder kunnen de gebeurtenisstromen die door het siliciumslakkenhuis worden geproduceerd, worden gebruikt in echte toepassingen zoals detectie van spraakactiviteit, de eerste fase van trefwoordherkenning. Liu en haar team zijn hierin geslaagd door de event-output te gebruiken om 2D-gegevensframes te creëren:histogrammen van de aankomende pieken, op frequentie, gerangschikt over de 5 ms van het frame. Deze worden cochleagrammen genoemd en kunnen in een neuraal netwerk worden ingelezen en van daaruit kan hun betekenis worden gedecodeerd.

Volgens Liu:"Het gebruik van diepe netwerken op een sensor is van groot belang voor de IEEE ISSCC-gemeenschap en zeer actueel gezien de huidige enorme interesse in audio edge computing." Er zijn veel artikelen verschenen over low-power ASIC's voor het spotten van trefwoorden, zegt ze, maar deze gebruiken conventionele spectrogram-achtige functies. Een van haar doelen is "aan te tonen dat hybride oplossingen (ontwerpen met gemengd analoog signaal) kunnen leiden tot een nog energiezuinigere ontwerpoplossing met een lagere latentie."

Vorig jaar bracht INI een video uit waarin het systeem cijfers herkent (je kunt Liu zien vanaf ongeveer 2:06). Het is verre van onfeilbaar, maar het is ook nog relatief vroeg in de ontwikkeling van het systeem. Het team, dat door de jaren heen bestaat uit Minhao Yang, Chang Gao, Enea Ceolini, Adrian Huber, Jithendar Anumula, Ilya Kiselev en Daniel Neil, heeft ook geëxperimenteerd met sensorfusie:Liu en haar collega's combineerden audio en visuele informatie om classificatie te maken. betrouwbaarder [1]. Ze hebben aanvankelijke ontwerpregels gepubliceerd om te kiezen wanneer analoge sensoren voordelig zijn en wanneer het beter is om bij digitaal te blijven [2].

Misha Mahowald, een van de uitvinders van de address-event representatie, en naar wie de Neuromorphic Engineering Prize is vernoemd.

Een andere constante inspanning was het verbeteren van de energie-efficiëntie en prestaties van de DAS. Een deel hiervan was kijken naar de implementatie van de afzonderlijke functies, van de op bronvolgers gebaseerde banddoorlaatfilters tot het ontwerp van de analoge feature-extractors.

Het verminderen van het effect van de variabiliteit in de analoge elektronica is een ander belangrijk onderzoeksgebied geweest. Om hierbij te helpen, bouwden ze een hardware-emulator die ze konden gebruiken om deze problemen veel sneller te testen, zeggen ze, dan mogelijk zou zijn met commerciële software zoals Cadence Virtuoso. Door het binaire neurale net dat ze gebruiken voor classificatie te trainen vanuit de software in plaats van de hardware, waren ze in staat om de classificatieprestaties nauwkeurig te voorspellen op een reeks echte testchips [3]. Ze kijken nu naar het toevoegen van ruis aan het systeem als een proxy voor variabiliteit om het ontwerpproces nog robuuster te maken.

Mahowald-prijs

Liu was een van de eerste onderzoekers in neuromorfe engineering; ze werkte niet alleen mee in het laboratorium van Carver Mead in Caltech (waar Mahowald had gewerkt), maar was een van de oprichters van het Institute of Neuroinformatics toen veel van de groep Californië verlieten naar Zürich.

Bij het winnen van de prijs zei Liu:"Het is een grote eer voor ons om deze prijs te krijgen, vooral met zoveel goede onderzoekers in neuromorfische engineering. Het werk bouwde voort op decennia van vroege siliconen cochlea-ontwerpen van Dick Lyon, Carver Mead, Lloyd Watts, Rahul Sarpeshkar, Eric Vittoz en Andre van Schaik."

Over het belang van neuromorfische engineering zegt ze:"Zelfs aan het einde van de wet van Moore zal digitale berekening minstens een factor duizend achterblijven bij de energie-efficiëntie van de biologie. De potentiële efficiëntie van hybride analoge elektronische systemen zoals DAS wordt dus belangrijker dan ooit.”

Referenties

[1] D. Neil en S.C. Liu, "Effectieve sensorfusie met op gebeurtenissen gebaseerde sensoren en diepe netwerkarchitecturen", in Proceedings – IEEE International Symposium on Circuits and Systems , juli 2016, vol. 2016-juli, pp. 2282–2285, doi:10.1109/ISCAS.2016.7539039.

[2] S.C. Liu, B. Rueckauer, E. Ceolini, A. Huber en T. Delbruck, "Event-Driven Sensing for Efficient Perception:Vision and audition algorithms", IEEE Signal Process. Mag. , vol. 36, nee. 6, pp. 29–37, nov. 2019, doi:10.1109/MSP.2019.2928127.

[3] M. Yang, S.-C. Liu, M. Seok en C. Enz, "Ultra-Low-Power Intelligent Acoustic Sensing met behulp van Cochlea-geïnspireerde functie-extractie en DNN-classificatie."

[4] M. Yang, CH Chien, T. Delbruck en SC Liu, "Een 0,5 V 55 μW 64 × 2-kanaals binaurale siliciumcochlea voor gebeurtenisgestuurde stereo-audiodetectie", IEEE J. Solid-State Circuits , vol. 51, nee. 11, blz. 2554-2569, november 2016, doi:10.1109/JSSC.2016.2604285.

>> Dit artikel is oorspronkelijk gepubliceerd op onze zustersite, EE Times.