AI kan nu realistische, diverse dansmoves componeren

• Onderzoekers trainen een deep learning-model om nieuwe danspassen te genereren die realistisch, divers en stijlconsistent zijn.
• Het kan helpen bij het maken van inhoud en deze uitbreiden op verschillende gebieden, zoals ritmische gymnastiek en theatervoorstellingen.

Terwijl wetenschappers computers geleidelijk naar menselijke intelligentieniveaus brengen, zijn ze begonnen met het aanpakken van een aantal zeer menselijke inspanningen. We hebben zeker een punt bereikt waarop kunstmatige intelligentie choreografen zou kunnen helpen om dingen door elkaar te halen door duizenden verschillende stijlen voor te stellen.

Onlangs hebben onderzoekers van de University of California een deep learning-model ontwikkeld om nieuwe danspassen te genereren die realistisch, divers en stijlconsistent zijn. Het bevat een leerkader voor synthese door analyse om beat-matchende dans uit muziek te genereren.

Het bouwen van zo'n muziek-naar-dans-raamwerk is een uitdagende taak, maar het kan helpen bij het creëren van inhoud en deze uitbreiden op verschillende gebieden, zoals kunstschaatsen, ritmische gymnastiek en theatervoorstellingen.

De kern van de AI-choreograaf

Om dans uit muziek te synthetiseren, hebben onderzoekers een decompositie-naar-compositie-raamwerk ontwikkeld, dat eerst leert bewegen (in de ontbindingsfase) en vervolgens basisbewegingen in een reeks rangschikt (in compositiefase).

In de eerste fase haalden ze met behulp van een kinematische beatdetector bewegingsslagen uit een dansreeks. Elke dansreeks wordt vervolgens tijdelijk genormaliseerd in een reeks danseenheden. Individuele danseenheden werden ontward in initiële houdingen en bewegingen.

Referentie:arXiv:1911.02001 | GitHub

In de tweede fase stelden onderzoekers een muziek-naar-bewegingsmodel voor om een ​​opeenvolging van bewegingen te creëren die overeenkomt met de invoermuziek. Tijdens runtime extraheren ze de beat- en stijlinformatie en produceerden vervolgens achtereenvolgens een reeks danseenheden volgens de muziekstijl. Ten slotte vervormden ze de danseenheden door geëxtraheerde audiobeats.

Om het netwerk te trainen, verzamelde het team meer dan 360.000 videoclips van in totaal 71 uur. Deze video's bevatten drie danscategorieën:hiphop, zumba en ballet.

Om verschillende poses te verwerken, gebruikten ze OpenPose, een realtime systeem voor meerdere personen om gezamenlijk het menselijk lichaam, gezichts-, hand- en voet-keypoints op afzonderlijke afbeeldingen te detecteren. En voor prestatie-evaluatie gebruikten ze verschillende statistieken om stijlconsistentie, realisme, diversiteit en beatmatching te onderzoeken.

Gegenereerde dansen toewijzen aan fotorealistische video's | Met dank aan onderzoekers 

Onderzoekers hebben ook pose-sequenties gesynthetiseerd tot fotorealistische video's om de resultaten beter te visualiseren. De grootschalige gekoppelde dans- en muziekdataset samen met de broncode is beschikbaar op de GitHub.

Lezen: AI kan de opkomst van het publiek voorspellen door een filmtrailer te analyseren

Het generatieve vijandige netwerk is getraind met behulp van het PyTorch deep learning-framework op NVIDIA V100 GPU's. In de nabije toekomst zullen onderzoekers meer dansstijlen toevoegen (zoals partnerdans) om het systeem nog beter te maken.