AI vertaalt neurale signalen naar natuurlijke spraak voor gelummeerde patiënten

Onderzoekers gebruiken een recurrent neuraal netwerk om mensen die gelummeerd zijn en niet kunnen communiceren te helpen. Het netwerk zet de neurale activiteit om in spraakoesthetiek. Het kan patiënten helpen onbeperkte vocabularia te communiceren met een natuurlijke spreeksnelheid.

Recurrent Neural Network

Veel neurologische aandoeningen resulteren in verlies van communicatie, waardoor patiënten volledig moeten vertrouwen op hulpmiddelen. Deze apparaten stellen hen in staat om zinnen karakter voor karakter te typen met maximaal 10 woorden per minuut. Deze snelheid is echter te langzaam vergeleken met alledaagse gesprekken die plaatsvinden op ongeveer 150 woorden per minuut.

Om ver hogere of zelfs natuurlijke communicatiesnelheden te mogelijk maken, hebben onderzoekers van de Universiteit van Californië San Francisco een biomimetische benadering gebruikt die de nadruk legt op stemwegbewegingen en de geluiden die ze produceren.

Ze hebben aangetoond dat het mogelijk is om gesynthetiseerde spraak direct vanuit hersensignalen te genereren. Deze signalen coördineren precies ongeveer 100 spieren om de lippen, tong, kaak en stembanden te bewegen, adem vormend tot geluiden die uiteindelijk woorden en zinnen vormen.

Het team registreerde hoog-dichtheid electrocorticografie-signalen van 5 deelnemers die behandeld werden voor epilepsie (een neurologische aandoening). Alle deelnemers werden gevraagd zinnen hardop te lezen terwijl elektroden op hun hersenoppervlak de resulterende signalen maatten.

Recurrent Neural Network

De onderzoekers ontwikkelden een recurrent neuraal netwerk om corticale signalen te decoderen met een expliciete intermediaire representatie van de articulatoire dynamica, en uiteindelijk hoorbare spraak te synthetiseren.

Referentie: Nature | DOI:10.1038/s41586-019-1119-1 | UC San Francisco

Het neurale netwerk is getraind op het geluid van de deelnemers die zinnen hardop spraken, samen met de corticale signalen. Ze gebruikten ADAM optimizer om het algoritme te trainen. Voor de eerste en tweede trainingsfas werd een batch-grootte van 256 en 25 gebruikt, respectievelijk.

De gestapelde diepe encoder-decoder netwerk incorporeerde expliciet de hersensignalen om de primaire fysiologische correlatie van neurale activiteit te decoderen en transformeerde het vervolgens in spraakoesthetiek. Het was geoptimaliseerd om akoestiek direct van de elektroden te decoderen.

Spraaksynthese van neuraal gedecodeerde gesproken zinnen | Met dank aan de onderzoekers

Deze statistische mapping maakt generalisatie mogelijk met beperkte trainingsdatasets. De onderzoekers bereikten voldoende prestaties met 25 minuten spraak, en de prestaties verbeterden continu naarmate ze meer data voerden.

Wat is de volgende stap?

De studie presenteert een geavanceerde methode voor het aanpakken van een groot obstakel gegeven door patiënten die lijden aan neurologische aandoeningen. Volgens de generalisatie-uitkomsten delen sprekers een vergelijkbare kinematische toestandsruimte-representatie, die onafhankelijk is van de spreker. De modelkennis — mapping van kinematica naar geluid over deelnemers — kan getransferd worden.

Het aanzappen van deze laag-dimensionale representatie van neurale activiteit van verschillende mensen kan brain-computer interface leren faciliteren. De bevindingen kunnen nieuwe deuren openen voor het realiseren van spraakherstel voor patiënten met verlamming.

Het neurale netwerk dat in deze studie ontwikkeld is, biedt de capaciteit om onbeperkte vocabularia te communiceren met een natuurlijke spreeksnelheid. Deze directe spraaksynthesebenadering vangt prosodische elementen van spraak, inclusief toonintonatie, die niet beschikbaar zijn met tekstoutput. Bovendien kan het makkelijker en intuïtiever zijn om te leren gebruiken voor patiënten in wie de corticale verwerking van articulatie nog intact is.