Revolutionaire AI zet statische foto's om in interactieve 3D-animaties

Een nieuwe deep learning-methode gebruikt convolutionele neurale netwerken om een personage in 3D te animeren vanuit een enkele stilstaande afbeelding. Het kan een personage in de afbeeldung laten lopen, zitten, rennen of springen in 3D. De gehele animatie kan interactief bekeken worden op monitors en VR/AR-apparaten.

De voorgrondpersonage tot leven wekken

In tegenstelling tot cinemagraphs die stilstaande afbeeldingen in een bepaalde volgorde gebruiken om een video te creëren, neemt het nieuwe systeem een enkele afbeelding als invoer en biedt een volledige 3D-ervaring. Het kan een personage in de afbeelding laten lopen, zitten, rennen of springen in 3D, en de gehele animatie kan interactief bekeken worden op monitors en VR/AR-apparaten.

Je vraagt je nu misschien af hoe deze nieuwe methode werkt. Het omvat 5 stappen:

1. De afbeelding passen met een morfeerbaar lichaamsmodel
2. Het lichaamslabelmap schatten
3. Stap voor stap een mesh construeren, geleid door het morfeerbare model
4. De mesh riggen en mesh-skinning-gewichten schatten
5. Ten slotte texturen herbouwen en op een lege achtergrondafbeelding plaatsen.

De CNN vertrouwt op een vooraf getraind SMPL-model en draait op NVIDIA TITAN GPU's. Het werkt op een breed scala aan frontale afbeeldingen, van posters en kunst tot sportfoto's. Gebruikers kunnen zelfs de persoon op de foto bewerken, het gereconstrueerde lichaam in 3D bekijken en het op AR-apparaten verkennen — bijvoorbeeld het kunstwerk aan de muur plaatsen en rond de animatie lopen terwijl die speelt.

Referentie: arXiv:1812.02246 | Universiteit van Washington

Het team demonstreerde het algoritme op afbeeldingen van cartoonpersonages, graffiti, Stephen Curry (NBA-speler) en Picasso-schilderijen. Tot nu toe testten ze het neurale netwerk op meer dan 70 afbeeldingen gedownload van het internet.

Vergelijking en beperkingen

Onderzoekers vergelijken hun algoritme met andere state-of-the-art gerelateerde methoden en evalueerden resultaten met menselijke studies. De resultaten via Photo Wake-Up leken veel minder vervormd en realistischer in stilstaande frames dan andere methoden. Bovendien bieden deze resultaten echte 3D-ervaringen die niet mogelijk waren met conventionele technieken.

Het algoritme is nog ver van perfect en er is nog veel ruimte voor verbetering. Bijvoorbeeld, reflecties en schaduwen zijn nog niet gemodelleerd, en soms produceert het onjuiste 3D-poses waardoor de hele lichaamsvorm onrealistisch lijkt. Ook moeten bepaalde occlusies verfijnd worden, zoals gekruiste benen bij het zitten.