Real-time portamento-algoritme verenigt elk twee audiosignalen naadloos

• Een nieuw algoritme genereert het portamento-effect tussen elk twee audiosignalen in real-time.
• Het mengt frequentiesegmenten van één audiosignaal naadloos in een ander, zonder het volume van signalen te verhogen/verlagen.

Musici gebruiken een effect genaamd 'portamento' om over te gaan tussen noten. Het is een techniek van glijden van één noot naar een andere zonder de tussennoten daadwerkelijk te definiëren.

Musici gebruiken portamento al meer dan 200 jaar. Echter, beperkte typen instrumenten kunnen dit effect uithalen. Dit zijn de instrumenten die continu in toonhoogte kunnen varieren, zoals de viool of de menselijke stem.

Onlangs heeft een student aan MIT — Trevor Henderson — een algoritme ontwikkeld dat het portamento-effect genereert tussen elk twee audiosignalen in real-time. Hij demonstreerde de mogelijkheden van het algoritme door verschillende audioclips te mergen, zoals het één nummer dat in een ander overgaat, en een pianonoot die glijdt in een menselijke stem.

Hoe werkt het algoritme?

Het algoritme is gebaseerd op een eeuwenoud geometrie-gebaseerd framework genaamd 'optimale transport'. Het framework bepaalt optimale manieren om datapunten te verplaatsen tussen meerdere oorsprongs- en bestemmingsconfiguraties. Het is toegepast op 3D-modellering, beelduitlijning, vloeistofdynamica en computergraphics.

Henderson gebruikte dit framework om audiosignalen te interpoleren. Het algoritme werkt door het audiosignaal op te splitsen in kleine segmenten (van ongeveer 50 milliseconden). Vervolgens bepaalt het de meest efficiënte manier om de toonhoogtes in individuele segmenten te verplaatsen naar toonhoogtes in het andere audiosignaal.

Op deze manier genereert het algoritme een gladde glijdende van het portamento-effect. Het behoudt ook de audiokwaliteit terwijl het signaal overgaat.

Referentie: arXiv:1906.06763 | MIT

Doorgaans worden vervaag-effecten gebruikt om de overgang tussen twee audiosignalen te verzachten. Dit is de traditionele methode waarin het volume van het ene signaal wordt verlaagd terwijl het volume van het andere signaal stijgt.

Het nieuwe algoritme, aan de andere kant, mengt frequentiesegmenten van één audiosignaal naadloos in een ander, zonder het volume van signalen te verhogen of te verlagen.

Deze techniek breidt het portamento uit naar diverse instrumenten, inclusief polyphone. Feitelijk kan het gebruikt worden om over te gaan tussen verschillende sets instrumenten of elk ander paar audiosignalen. Het genereert duidelijke muzikale resultaten in real-time.

De 'interpolatieparameter' kan gecontroleerd worden door een schuifcomponent zoals een crossfader op het mengpaneel van de DJ. Als u de crossfader schuift, verandert de parameter, wat het portamento-effect produceert.

Om vervormingen te elimineren, gebruikte Henderson 'frequentiehertoewijzing', een toepassing van een enkel-verwerkingstechniek. Het stelt individuele noten in staat om gemakkelijk tussen signalen over te gaan. Hij ontwikkelde ook een nieuwe methode om nieuwe fasen voor elk signaal te synthetiseren tijdens het samenvoegen van de kleine audiosegmenten, zodat aangrenzende segmenten niet met elkaar interfereren.

Lees: Facebook AI Converteert Muziek Van Eene Stijl Naar Een Andere

In het volgende onderzoek zal Henderson proberen de portamento-output terug te voeden in de input. Dit kan een ander effect produceren genaamd legato, wat vloeibare, continue beweging tussen verschillende noten vertegenwoordigt.