Nieuwe AI kan stilstaande beelden omzetten in 3D-animaties

• Nieuwe deep learning-methode maakt gebruik van convolutionele neurale netwerken om een ​​personage in 3D te animeren vanuit een enkel stilstaand beeld.
• Het kan ervoor zorgen dat een personage in de afbeelding naar buiten loopt, zit, rent of springt in 3D.
• De hele animatie kan interactief worden bekeken op monitoren en VR/AR-apparaten.

In de afgelopen jaren heeft algemene animatie van video's geleid tot tal van creatieve effecten. Het animeren van een enkele afbeelding, in plaats van video's of reeksen foto's, heeft ook geleid tot fascinerende effecten.

Het Skinned Multi-Person Linear (SMPL)-model en deep learning-frameworks zijn uiterst nuttig gebleken voor het inschatten van 3D-poses en vormen op basis van een enkele afbeelding. Tot dusver waren de meeste animatietechnieken voor personen met één afbeelding voornamelijk gericht op 2D- of pseudo-3D-animatie.

Onlangs heeft een onderzoeksteam van de Universiteit van Washington en Facebook een nieuwe techniek ontwikkeld waarmee stilstaande schilderijen en afbeeldingen kunnen worden omgezet in 3D-animaties. Deze diepgaande leermethode genaamd "Photo Wake-Up" maakt gebruik van een convolutioneel neuraal netwerk (CNN) om een ​​personage in 3D te animeren vanuit een enkel stilstaand beeld.

Het voorgrondkarakter tot leven brengen

In tegenstelling tot cinemagraphs die stilstaande beelden gebruiken die in een bepaalde volgorde bewegen om een ​​video te maken, neemt het nieuwe systeem een ​​enkel beeld als invoer en biedt het een volledige 3D-ervaring. Het kan een personage in de afbeelding naar buiten laten lopen, zitten, rennen of springen in 3D, en de hele animatie kan interactief worden bekeken op monitoren en VR/AR-apparaten.

Nu vraag je je vast af hoe deze nieuwe methode werkt. Welnu, het omvat 5 stappen:

1. Pas de afbeelding aan met een morphable body-model
2. Maak een schatting van de bodylabel-kaart
3. Bouw stap voor stap een mesh op basis van het morphable model
4. Maak de mesh en schat de mesh skinning-gewichten
5. Verbouw ten slotte texturen en plaats deze op een lege achtergrondafbeelding.

De CNN vertrouwt op een vooraf getraind model SMPL en draait op NVIDIA TITAN GPU's. Het werkt op een breed scala aan frontale afbeeldingen, van posters en kunst tot sportfoto's. Gebruikers kunnen zelfs de persoon op de foto bewerken, het gereconstrueerde lichaam in 3D bekijken en het op AR-apparaten verkennen. Gebruikers kunnen het kunstwerk bijvoorbeeld op de muur plaatsen en rond de animatie lopen terwijl deze wordt afgespeeld.

Lees: arXiv:1812.02246 | Universiteit van Washington

Het team demonstreerde het algoritme op afbeeldingen van stripfiguren, graffiti, Stephen Curry (NBA-speler) en Picasso-schilderijen. Tot nu toe hebben ze het neurale netwerk getest op meer dan 70 afbeeldingen die van internet zijn gedownload.

Vergelijking en beperkingen

Onderzoekers vergeleken hun algoritme met andere state-of-the-art gerelateerde methoden en evalueerden de resultaten met menselijke studies. De resultaten verkregen via Photo Wake-Up leken veel minder vervormd en realistischer in stilstaande beelden dan bij andere methoden. Bovendien bieden deze resultaten werkelijke 3D-ervaringen die niet mogelijk waren met conventionele technieken.

Lezen:Nieuwe kunstmatige intelligentie kan van iedereen een professionele danser maken

Het algoritme is nog verre van perfect en er is nog veel ruimte voor verbeteringen. Zo zijn reflecties en schaduwen nog niet gemodelleerd en ontstaat er soms een verkeerde 3D-pose waardoor de hele lichaamsvorm er onrealistisch uitziet. Ook moeten bepaalde occlusies worden verfijnd, zoals gekruiste benen tijdens het zitten.