Facebook AI transformeert muziek tussen genres en instrumenten

Het Facebook AI-onderzoeksteam bouwt een universele muziekvertaling-netwerk. Het repliceert de audio die het hoort en speelt het af in verschillende stijlen, genres en instrumenten. Het kan ongehore muzikale bronnen verwerken, zoals klappen of fluiten, en high-quality audio produceren.

Hoe deden ze het?

Dit AI-systeem is gebaseerd op 2 nieuwste technologieën:

1. Syntheseren van high-quality audio door auto-regressieve modellen
2. Transformeren tussen domeinen op een ongesuperviseerde manier

De auto-regressieve modellen zijn getraind als decoders en kunnen high-quality en realistische audio produceren. De 2e technologie is verantwoordelijk voor het praktischer maken, aangezien het managen van leerproblemen in gesuperviseerde omgevingen een grote dataset van tal van muzikale instrumenten zou vereisen.

Onderzoekers ontwikkelden en pasten een universele encoder toe op elke invoer. Dit verwijderde de last van het trainen van het hele netwerk, en maakte conversie van ongehore muzikale domeinen naar elk ander aangetroffen domein mogelijk.

Ze trainde de universele encoder [via domain confusion netwerk] terwijl ze ervoor zorgen dat domeinspecifieke data niet gecodeerd wordt. De universele encoder memoriseert de invoerdata niet, maar codeert het op een semantische manier. Om dit te doen, vervormden de onderzoekers het invoersignaal (audioformaat) door willekeurige lokale pitch-modulatie.

Omdat het netwerk getraind is als een denoising auto-encoder, is het in staat om de onvervormde vorm van het oorspronkelijke invoersignaal te herstellen. Het systeem leert geleidelijk om out-of-domein invoersignalen te projecteren naar het juiste uitvoerdomein.

Onderzoekers trainde hun netwerk op 6 typen klassieke muziekdomeinen, inclusief duizenden samples uit die domeinen. Ze voerden cuDNN-geaccelereerde PyTorch diep leer-framework uit op 8 NVIDIA Tesla V100 GPU's. Het nam hen 8 dagen om het netwerk volledig te trainen.

Resultaten

De AI is niet zo goed als professionele muzikanten, maar diverse keren vinden luisteraars het moeilijk te vertellen welke de originele audio is en welke kunstmatig gegenereerd.

Het systeem kan effectief ongehore muzikale bronnen verwerken, zoals klappen of fluiten, en superieure-kwaliteit audio produceren. Men kan nieuwe muzikale instrumenten integreren zonder het complete netwerk opnieuw te hoeven trainen.

Volgens de ontwikkelaars kan hun werk nieuwe deuren openen voor andere complexe taken, zoals automatische compositie en transcriptie van muziek. Bovendien kan men decoders meer 'creatief' maken door de latente ruimte te verkleinen, wat het in staat stelt om opwindende natuurlijke outputs te genereren in de zin dat de associatie met de originele audio verloren gaat.