Nieuw algoritme combineert naadloos twee audiosignalen

• Een nieuw algoritme genereert in realtime het portamento-effect tussen twee audiosignalen.
• Het mengt naadloos frequentiesegmenten van het ene audiosignaal in het andere, zonder het volume van signalen te verhogen/verlagen.

Muzikanten gebruiken een effect genaamd 'portamento' om over te schakelen tussen noten. Het is een techniek om van de ene noot naar de andere te glijden zonder de tussenliggende noten te definiëren.

Muzikanten gebruiken portamento al meer dan 200 jaar. Beperkte soorten instrumenten kunnen dit effect echter bewerkstelligen. Dit zijn de instrumenten die continu in toonhoogte kunnen variëren, zoals de viool of de menselijke stem.

Onlangs heeft een student aan het MIT - Trevor Henderson - een algoritme ontwikkeld dat in realtime het portamento-effect tussen twee willekeurige audiosignalen genereert. Hij demonstreerde de mogelijkheden van het algoritme door verschillende audioclips samen te voegen, zoals het ene nummer dat overgaat in het andere, en een pianonoot die in een menselijke stem glijdt.

Hoe werkt het algoritme?

Het algoritme is gebaseerd op een eeuwenoud op geometrie gebaseerd raamwerk dat bekend staat als 'optimaal transport'. Het raamwerk bepaalt optimale manieren om gegevenspunten te verplaatsen tussen meerdere oorsprongs- en bestemmingsconfiguraties. Het is toegepast op 3D-modellering, beelduitlijning, vloeistofdynamica en computergraphics.

Henderson gebruikte dit raamwerk om audiosignalen te interpoleren. Het algoritme werkt door het audiosignaal op te splitsen in kleine segmenten (van ongeveer 50 milliseconden). Vervolgens bepaalt het de meest efficiënte manier om de toonhoogtes in afzonderlijke segmenten te verplaatsen naar toonhoogtes in het andere audiosignaal.

Op deze manier genereert het algoritme een soepel glijden van het portamento-effect. Het behoudt ook de geluidskwaliteit als de signaalovergangen.

Referentie:arXiv:1906.06763 | MIT

Gewoonlijk worden vervagingseffecten gebruikt om de overgang tussen twee audiosignalen te verzachten. Dit is de traditionele methode waarbij het volume van het ene signaal wordt verlaagd terwijl het volume van het andere signaal stijgt.

Het nieuwe algoritme mengt daarentegen naadloos frequentiesegmenten van het ene audiosignaal in het andere, zonder het volume van signalen te verhogen/verlagen.

Deze techniek breidt de portamento uit naar verschillende instrumenten, waaronder polyfone. In feite kan het worden gebruikt om over te schakelen tussen verschillende sets instrumenten of elk ander paar audiosignalen. Het genereert duidelijke muzikale resultaten in realtime.

De 'interpolatieparameter' kan worden bestuurd door een schuifregelaar, zoals een crossfader op het mengpaneel van de DJ. Terwijl u de crossfader verschuift, verandert de parameter, waardoor het portamento-effect ontstaat.

Om vervormingen te elimineren, gebruikte Henderson ‘frequency reassignment’, een toepassing van een single-processing techniek. Hiermee kunnen individuele noten gemakkelijk tussen signalen worden overgezet. Hij ontwikkelde ook een nieuwe methode om nieuwe fasen voor elk signaal te synthetiseren terwijl de kleine audiosegmenten worden samengevoegd, zodat aangrenzende segmenten elkaar niet storen.

Lezen: Facebook AI converteert muziek van de ene stijl naar de andere

In de volgende studie zal Henderson proberen de portamento-uitvoer terug te voeren in zijn invoer. Dit kan een ander effect produceren, legato genaamd, dat een vloeiende, continue beweging tussen verschillende noten vertegenwoordigt.