AI transformeert amateurdansers in professionals met Deep Learning Motion Transfer

• Een baanbrekend deep-learningsysteem kan de choreografie van topdanssterren op elk videomateriaal repliceren.
• Er is alleen gewone video-invoer nodig (er zijn geen dure 3D-installaties of motion-capture-pakken nodig) om resultaten van studiokwaliteit te produceren.

Kunstmatige intelligentie hervormt industrieën, van consumentenelektronica tot ruimteverkenning, en deze nieuwste innovatie toont de transformerende kracht ervan in de kunst. Onderzoekers van de Universiteit van Californië hebben een bewegingsoverdrachtsalgoritme ontwikkeld dat de bewegingen van een brondanser in kaart brengt op een doelartiest, waardoor zelfs een gewone deelnemer eruitziet als een doorgewinterde ballerina of popicoon.

Het kernidee is eenvoudig:‘Doe zoals ik doe.’ Binnen enkele minuten kan het systeem professionele dansbewegingen over een doelonderwerp heen leggen, waardoor nieuwe creatieve mogelijkheden ontstaan voor artiesten, docenten en makers van inhoud.

Hoe de technologie werkt

Het proces begint met het extraheren van op keypoints gebaseerde pose-skeletten uit zowel de bron- als de doelvideo's. Deze pose-stickfiguren bieden een lichtgewicht, uiterlijkonafhankelijke weergave van de lichaamspositie, waardoor het model zich uitsluitend op beweging kan concentreren.

De pose van elk frame wordt gegenereerd door een gecontroleerd pose-schattingsalgoritme, dat nauwkeurige stokfiguren produceert. Het bewegingsoverdrachtsmodel neemt vervolgens deze skeletten op en genereert doelbeelden die de pose van de bron nabootsen terwijl het uiterlijk van het doelwit behouden blijft. Het uiteindelijke resultaat wordt verfijnd door de pose-transfermodule te combineren met een generatief verfijningsnetwerk, wat scherpere, realistischere frames oplevert.

De workflow is verdeeld in drie fasen:

1. Positiedetectie – extraheer 2D-hoofdpunten uit zowel bron- als doelbeelden.
2. Algemene normalisatie van poses:lijn de skeletten uit over de onderwerpen heen.
3. Positietoewijzing – synthetiseer doelframes die overeenkomen met de bronpose.

Om tijdelijke vloeiendheid te garanderen, combineert het algoritme de pose van het huidige frame met het eerder gegenereerde frame, waardoor jitter dramatisch wordt verminderd. Voor invoer met een lage framesnelheid wordt een mediaanfilter toegepast; voor video's met een hoge framesnelheid (tot 120 fps) wordt Gaussiaanse afvlakking van hoofdpunten gebruikt.

High-fidelity resultaten worden bereikt door de integratie van Conditional Generative Adversarial Networks (cGAN's) die zijn getraind op meer dan 20 minuten aan amateurdansbeelden met hoge framerate per onderwerp. De pix2pixHD-architectuur, ontwikkeld door NVIDIA, dient als ruggengraat voor de pijplijn voor beeldvertaling.

Referentie:arXiv:1808.07371

Training en gevolgtrekking werden uitgevoerd op NVIDIA GeForce GTX1080Ti en TITANXp GPU's met behulp van PyTorch met CUDA-versnelling.

Toekomstige richtingen

Het algoritme ondersteunt momenteel bewegingsoverdracht over een breed scala aan onderwerpen zonder de noodzaak van gespecialiseerde hardware. Er blijft echter af en toe trillingen bestaan, vooral wanneer de bewegingssnelheid van de bron het bereik tijdens de training overschrijdt. Lopend onderzoek richt zich op het optimaliseren van pose-estimation-methoden en het uitbreiden van het bewegingsrepertoire om deze artefacten te verminderen.

Voor gerelateerde doorbraken, zie:NVIDIA AI kan video's van 30 fps converteren naar 240 fps