Facebook AI transformeert muziek in alle genres en instrumenten

• Het Facebook AI-onderzoeksteam bouwt een universeel muziekvertaalnetwerk. 
• Het repliceert de audio die het hoort en speelt het af in verschillende stijlen, genres en instrumenten. 
• Het kan ongehoorde muzikale bronnen verwerken, zoals klappen of fluiten, en audio van hoge kwaliteit produceren.

Als het op muziek aankomt, zijn mensen altijd creatief geweest in het repliceren van liedjes en het in verschillende andere vormen veranderen door te klappen, fluiten of op verschillende instrumenten te spelen.

Hoewel muziek een van de eerste gebieden is die wordt gedigitaliseerd en verwerkt door computermachines en algoritmen, is de huidige kunstmatige intelligentie nog steeds veel inferieur aan de mens als het gaat om het nabootsen van audio.

Nu heeft het Facebook AI-onderzoeksteam een universeel muziekvertaalnetwerk ontwikkeld dat muziek van de ene vorm naar de andere kan converteren. Het repliceert de muziek die het hoort en speelt het af in verschillende stijlen, genres en instrumenten.

Hoe hebben ze het gedaan?

Dit AI-systeem is gebaseerd op de 2 nieuwste technologieën

1. Synthetiseren van audio van hoge kwaliteit door auto-regressieve modellen
2. Transformeren tussen domeinen op een manier zonder toezicht

De autoregressieve modellen zijn getraind als decoders en kunnen realistische audio van hoge kwaliteit produceren. De tweede technologie is verantwoordelijk voor het praktischer maken van de zaken, aangezien het beheersen van leerproblemen in gecontroleerde omgevingen een grote dataset van talloze muziekinstrumenten zou vereisen.

Onderzoekers ontwikkelden en pasten een universele encoder toe op elke ingang. Hierdoor werd de last van het trainen van het hele netwerk weggenomen en werd de conversie van ongehoorde muzikale domeinen naar andere domeinen mogelijk gemaakt.

Netwerkarchitectuur | Domeinverwarring wordt alleen toegepast tijdens de training 

Ze hebben een universele encoder getraind [via een domeinverwarringsnetwerk] en ervoor gezorgd dat de domeinspecifieke gegevens niet zijn gecodeerd. De universele encoder onthoudt de invoergegevens niet, maar codeert deze op een semantische manier. Om dit te doen, hebben onderzoekers het ingangssignaal (audioformaat) vervormd door willekeurige lokale toonhoogtemodulatie.

Referentie: arXiv:1805.07848

Omdat het netwerk is getraind als automatische ruisonderdrukking, is het in staat de onvervormde vorm van het oorspronkelijke ingangssignaal te herstellen. Het systeem leert geleidelijk ingangssignalen die buiten het domein vallen, naar het juiste uitgangsdomein te projecteren.

Onderzoekers hebben hun netwerk getraind op zes soorten klassieke muziekdomeinen, inclusief duizenden samples uit die domeinen. Ze voerden het cuDNN-versnelde PyTorch deep learning-framework uit op 8 NVIDIA Tesla V100 GPU's. Het kostte hen 8 dagen om het netwerk volledig te trainen.



Resultaten

De AI is niet zo goed als die van professionele muzikanten, maar meerdere keren vinden luisteraars het moeilijk om te bepalen welke de originele audio is en welke kunstmatig is gegenereerd.

Het systeem kan ongehoorde muziekbronnen, zoals klappen of fluittonen, effectief verwerken en audio van superieure kwaliteit produceren. Je kunt nieuwe muziekinstrumenten integreren zonder dat je het hele netwerk opnieuw hoeft te trainen.

Lees:Facebook AI-robots uitgeschakeld – wat is er feitelijk gebeurd?

Volgens de ontwikkelaars zou hun werk nieuwe deuren kunnen openen voor andere complexe taken, zoals het automatisch componeren en transcriberen van muziek. Bovendien kun je decoders 'creatiever' maken door de latente ruimtegrootte te verkleinen, waardoor ze opwindende natuurlijke outputs kunnen genereren in de zin dat de associatie met originele audio verloren gaat.