Google's nieuwe AI identificeert individuele stemmen in drukke omgevingen

Google ontwikkelt een nieuwe AI die kan focusseren op een specifieke stem in een drukke omgeving. Het gebruikt een combinatie van zowel visuele als auditieve signalen om de stemmen te scheiden. De technologie heeft ook potentieel om een betere video-ondertitelingssysteem voor overlappende sprekers te bieden, door spraakherkenning te pre-processen.

Hoe het gemaakt is

Ingenieurs verzamelden een enorme hoeveelheid kwalitatieve YouTube-video's van talkshows en lezingen om trainingsmonsters te produceren. Vervolgens filterden ze 2.000 uur clips uit deze video's. De gefilterde video's hadden een schone stem – geen publiekgeluid, gemengde muziek en achtergrondinterferentie.

Vervolgens gebruikten ze deze content om een combinatie van gezichtsvideo's met hun geassocieerde spraak en achtergrondgeluid van verschillende bronnen te creëren. Ze trainde een multi-stream convolutioneel neuraal netwerk om de stemmen van individuele sprekers te scheiden uit gemengde-spraakvideo.

Zowel spectrogram-weergave van de soundtrack als gezichts-thumbnails van sprekers in elk frame (geëxtraheerd uit video) worden in het neurale netwerk ingevoegd. Het netwerk leert geleidelijk (trainingsperiode) hoe auditieve en visuele signalen te coderen en te fuseren om een enkele audio-visuele content te creëren.

Tegelijkertijd leert het netwerk ook om tijd-frequentiemaskers voor individuele sprekers te leveren. Vervolgens vermenigvuldigt het de ruwe invoer-spectrogrammen met maskers, om een schone spraak uit te voeren, terwijl interferentie en ruis worden onderdrukt.

Implementatiedetails

Het netwerk is geïmplementeerd op TensorFlow (open source machine learning-framework), en de operaties worden gebruikt om golfvorm en short-time Fourier-transformatie uit te voeren. Alle netwerklagen, uitgezonderd maskerlaag, worden gevolgd door Rectified Linear Unit-activaties.

Batch-normalisatie wordt uitgevoerd voor alle convolutionele lagen. Hiervoor gebruikten ze een batch-grootte van 6 monsters en trainde voor 5 miljoen batches (stappen). Audio's worden geresampled naar 16 KHz, en stereo-audio wordt omgezet in mono om de short-time Fourier-transformatie te berekenen.

Alle gezichts-embeddings worden geresampled naar 25 frames per seconde vóór training, wat resulteerde in een invoer visuele stroom van 75 gezichts-embeddings. Ze gebruikten nul-vectoren wanneer ontbrekende frames in een specifiek monster werden aangetroffen.

Toepassingen

De technologie kan talloze toepassingen hebben, van audio-herkenning in video's tot spraakverbetering, vooral waar meerdere mensen spreken. Het zou de typen microfoons die in verschillende audio-omgevingen gebruikt kunnen worden, verbreden. Maar voor nu lijken YouTube en Hangouts twee gemakkelijke plekken om te beginnen. Uiteindelijk kan het toegepast worden op stemversterkende oordopjes en Google Glasses.

Ook heeft de techniek potentieel om een betere video-ondertitelingssysteem voor overlappende sprekers te bieden, door spraakherkenning te pre-processen. Deze functie zou het makkelijker maken voor doven om deel te nemen aan teleconferenties en filmvideo's te genieten.