AI Genereert Realistische, Diverse Dansbewegingen Om Choreografie Te Revolutioneren

Onderzoekers trainen een deep learning-model om nieuwe dansstappen te genereren die realistisch, divers en stijlconsistent zijn. Het kan helpen en contentcreatie uitbreiden in verschillende gebieden, zoals ritmische gymnastiek en theaterprestaties.

De Kern Van De AI-Choreograaf

Om dans te synthetiseren vanuit muziek, ontwikkelden onderzoekers een decompositie-naar-compositie framework, dat eerst leert hoe te bewegen (in de decompositiefase) en vervolgens hoe basisbewegingen in een sequentie te rangschikken (in de compositiefase).

In de eerste fase extraheerden ze bewegingsbeats uit een danssequentie, met behulp van een kinematische beatdetector. Elke danssequentie wordt dan tijdelijk genormaliseerd in een serie dans-eenheden. Individuele dans-eenheden werden ontwart in initiële poses en bewegingen.

In de tweede fase stelden onderzoekers een muziek-naar-beweging model voor om een sequentie van bewegingen te creëren die matchen met de invoermuziek. Tijdens runtime extraheerden ze de beat en stijlinformatie, en produceerden ze vervolgens een serie dans-eenheden volgens de muziekstijl. Ten slotte warpten ze de dans-eenheden door de geëxtraheerde audio beats.

Om het netwerk te trainen, verzamelde het team meer dan 360.000 videoclips met een totaal van 71 uur. Deze video's omvatten drie danscategorieën: Hip-Hop, Zumba en Ballet.

Om verschillende poses te verwerken, gebruikten ze OpenPose, een real-time multi-persoonssysteem om gezamenlijk het menselijk lichaam, gezicht, handen en voeten keypoints op enkele afbeeldingen te detecteren. En voor prestatie-evaluatie gebruikten ze verschillende metrics om stijlconsistentie, realisme, diversiteit en beat-matching te onderzoeken.

Gegenereerde dansen gemapt naar fotorealistische video's | Courtesy of researchers

Onderzoekers synthetiseerden ook pose-sequenties naar fotorealistische video's om de resultaten beter te visualiseren. De grootschalige gepaarde dans- en muziekdataset samen met de broncode is beschikbaar op GitHub.

Het generatieve adversariale netwerk is getraind met het PyTorch deep learning framework op NVIDIA V100 GPU's. In de nabije toekomst zullen onderzoekers meer dansstijlen (zoals partnerdans) toevoegen om het systeem nog beter te maken.