Facebook onthult MelNet: AI die elke stem nauwkeurig naapt
Het nieuwe diep leer model genaamd MelNet menselijke intonatie met onnavolgbare nauwkeurigheid produceren.
Eenmaal getraind, kan het iemands stem over een paar seconden regenereren.
Onderzoekers demonstreren hoe precies het Bill Gates' stem kan klonen.
Er zijn enorme vooruitgang in machine learning technieken in de afgelopen jaren. Deze technieken hebben heel goed gewerkt in het herkennen van objecten, gezichten en het genereren van realistische afbeeldingen.
Echter, wanneer het om audio gaat, is kunstmatige intelligentie iets van een teleurstelling. Zelfs de beste text-to-speech systemen missen basiskenmerken, zoals veranderingen in intonatie. Heb u ooit de machine-gegenereerde stem van Stephen Hawking gehoord? Soms is het echt moeilijk om zijn zinnen te begrijpen.
Nu hebben wetenschappers van Facebook AI Research een methode ontwikkeld om de beperkingen van bestaande text-to-speech systemen te overwinnen. Ze hebben een generatief model gebouwd — genaamd MelNet — dat menselijke intonatie met onnavolgbare nauwkeurigheid kan produceren. Feitelijk kan het vloeiend spreken met ieders stem.
Hoe MelNet verschilt van bestaande machine spraak?
Meeste diep-leer algoritmes worden getraind op grote audio databases om echte spraakpatronen te regenereren. Het grote probleem met deze methodologie is het type data. Meestal worden deze algoritmes getraind op audio golfvormopnames, die complexe structuren hebben op drastisch variërende tijdschalen.
Deze opnames vertegenwoordigen hoe de amplitude van geluid varieert met de tijd: één seconde audio bevat tienduizenden tijdstappen. Dergelijke golfvormen weerspiegelen specifieke patronen op een aantal verschillende schalen.
Bestaande generatieve modellen van golfvormen (zoals SampleRNN en WaveNet) kunnen slechts backpropageren door een fractie van een seconde. Daarom kunnen ze de hoog-niveau structuur die op de schaal van verschillende seconden ontstaat, niet vastleggen.
MelNet, aan de andere kant, gebruikt spectrogrammen (in plaats van audio golfvormen) om diep-leer netwerken te trainen. Spectrogrammen zijn 2D tijd-frequentie representaties die het volledige spectrum van audiofrequenties tonen en hoe ze variëren met de tijd.
Spectrogram en golfvormpatronen van dezelfde 4-seconden audio-inhoud
Terwijl 1D tijd-domein golfvormen de verandering over de tijd van één variabele (amplitude) vastleggen, vangen spectrogrammen de verandering over verschillende frequenties. Dus is audio-informatie compacter verpakt in spectrogrammen.
Dit stelt MelNet in staat om onvoorwaardelijke spraak- en muzieksamples te produceren met consistentie over verschillende seconden. Het is ook capabel van voorwaardelijke spraakgeneratie en text-to-speech synthese, volledig end-to-end.
Referentie: arXiv:1906.01083 | GitHub
Om informatieverlies te verminderen en over-smoothing te beperken, modeleerden ze hoge-resolutie spectrogrammen en gebruikten ze een hooguitdrukkend autoregressief model, respectievelijk.
Resultaten zijn indrukwekkend
Onderzoekers trainde MelNet op talloze TED-talks, en het was toen in staat om de stem van de spreker te regenereren die willekeurige zinnen over een paar seconden zei. Hieronder zijn twee voorbeelden van MelNet die Bill Gates' stem gebruikt om willekeurige zinnen te zeggen.
"We fronsen wanneer gebeurtenissen een slechte wending nemen."
Meer voorbeelden zijn beschikbaar op GitHub.
Hoewel MelNet opmerkelijk levendige audio clips creëert, kan het geen langere zinnen of alinea's genereren. Niettemin kan het systeem de computer-mens interactie verbeteren.
Veel klantenservice-gesprekken omvatten korte zinnen. MelNet kan gebruikt worden om dergelijke interacties te automatiseren of het huidige geautomatiseerde stem systeem te vervangen om de bellerervaring te verbeteren.
Lees: Facebook AI Converteert Muziek Van Eene Stijl Naar Een Andere
Op een negatief noot, de technologie wekt het schimmen van een nieuw tijdperk van nep audio-inhoud. En zoals andere vooruitgang in kunstmatige intelligentie, rijst het meer ethische vragen dan het antwoorden geeft.
