AI transformeert amateur-dansers tot professionals met deep learning motion transfer

• Een doorbraak deep-learning-systeem kan de choreografie van top-danssterren repliceren op willekeurige videobeelden.
• Het vereist alleen gewone video-input – geen dure 3D-rigs of motion-capture-pakken – om studio-kwaliteit resultaten te produceren.

Kunstmatige intelligentie hersen industrier van consumentenelektronica tot ruimtevaart, en deze recentste innovatie toont de transformatieve kracht in de kunsten. Onderzoekers van de Universiteit van Californië hebben een motion-transfer-algoritme ontwikkeld dat de bewegingen van een bron-danser afbeeldt op een doel-prestatie, wat zelfs een deelnemer er als een geseasonde ballerina of pop-icoon uit laat zien.

De kernidee is eenvoudig: "Doe als ik doe." Binnen enkele minuten kan het systeem professionele dansbewegingen over een doelsubject heen leggen, wat nieuwe creatieve mogelijkheden opent voor artiesten, docenten en content-creators.

Hoe de technologie werkt

Het proces begint met het extraheren van keypoint-gebaseerde pose-skeletten uit zowel de bron- als doeldvideo. Deze pose-stokfiguren bieden een lichtgewicht, uiterlijk-onafhankelijke representatie van lichaamspositie, wat het model in staat stelt zich puur op beweging te richten.

Elke frame's pose wordt gegenereerd door een gesuperviseerde pose-estimatie-algoritme, wat accurate stokfiguren produceert. Het motion-transfer-model verwerkt deze skeletten, genererend doelbeelden die de bron-pose nabootsen terwijl de doel-uiterlijk behouden blijft. De finale output wordt verfijnd door de pose-transfer-module te fuseren met een generatief verfijningsnetwerk, wat scherpere, realistischere frames oplevert.

De workflow is verdeeld in drie stadia:

1. Pose-detectie – extraheer 2D-keypoints uit zowel bron- als doelfootage.
2. Globale pose-normalisatie – lijn de skeletten over subjects uit.
3. Pose-mapping – synthetiseer doelframes die de bron-pose matchen.

Om temporale gladheid te garanderen, blendt het algoritme de huidige frame's pose met de eerder gegenereerde frame, wat jitter dramatisch vermindert. Voor lage-framerate-inputs wordt een mediaanfilter toegepast; voor hoge-framerate-video's (tot 120 fps) wordt Gaussiaans gladstrijken van keypoints gebruikt.

Hoge-fideliteitsresultaten worden bereikt door Conditional Generative Adversarial Networks (cGANs) te integreren getraind op meer dan 20 minuten hoge-framerate amateur-dansfootage per subject. De pix2pixHD-architectuur, ontwikkeld door NVIDIA, dient als ruggengraat voor de beeldvertaling-pipeline.

Referentie: arXiv:1808.07371

Training en inferentie werden uitgevoerd op NVIDIA GeForce GTX 1080 Ti en TITAN Xp GPU's met PyTorch en CUDA-versnelling.

Toekomstige richtingen

Het algoritme ondersteunt momenteel motion-transfer over een breed scala aan subjects zonder gespecialiseerde hardware. Echter, incidentele jitter blijft, vooral wanneer de bron's bewegingssnelheid het bereik overschrijdt dat tijdens training gezien is. Lopend onderzoek focust op het optimaliseren van pose-estimatiemethoden en het uitbreiden van het bewegingsrepertoire om deze artefacten te mitigeren.

Voor gerelateerde doorbraken, zie: NVIDIA AI Can Convert 30fps Videos To 240fps