NVIDIA Onthult AI Om Interactieve 3D-omgevingen Te Genereren Uit Real-World Video

• Onderzoekers demonstreren een nieuw type video-naar-video-synthese.
• Het stelt ontwikkelaars in staat om volledig interactieve 3D-omgevingen te renderen vanuit real-world video's.
• Het kan 30-seconden lange video's van 2K-resolutie creëren.

Bijna twee decennia geleden kwam NVIDIA met de werelds eerste GPU, die een aanzienlijke sprong in 3D-gamingprestaties bood. Nu hebben ze een kunstmatige intelligentie-tool geïntroduceerd die ontwikkelaars in staat stelt om volledig synthetische, interactieve driedimensionale omgevingen te renderen vanuit real-world video's.

De mogelijkheid om real-world dynamica te modelleren en te recreëren is cruciaal voor het ontwikkelen van intelligente agenten. Het synthetiseren van continue visuele ervaringen heeft een verscheidenheid aan toepassingen in computergraphics en robotica. Het kan ontwikkelaars helpen realistische scènes te creëren zonder verlichting, materialen en scènegeometrie te specificeren.

In dit werk hebben onderzoekers een nieuw type video-naar-video-synthese gedemonstreerd. Het doel is om een mapping-functie te leren die een input-video efficiënt kan transformeren naar een output-video. Ze hebben hoog-resolutie, tijdelijk consistente video's gesynthetiseerd met behulp van generators en discriminators, en spatio-temporele adversariële learning.

Neurale Netwerken Gebruiken Om Hoog-niveau Beschrijvingen Te Renderen

Om de synthetische driedimensionale wereld in real-time te renderen, begonnen ze met een conditionele generatieve neurale netwerk en trainden het op bestaande video's. De netwerken leerden geleidelijk objecten te renderen zoals voertuigen, gebouwen en bomen.

Met bestaande technologie moeten ontwikkelaars elk object afzonderlijk modelleren, wat zowel tijdrovend als duur is. Aan de andere kant is het nieuwe tool gebaseerd op een model dat automatisch leert van real-world video en virtuele werelden creëert voor automotive, gaming, robotica, architectuur en virtuele realiteit.

Referentie: arXiv:1808.06601 | NVIDIA | GitHub

Het kan interactieve omgevingen creëren gebaseerd op echte locaties, of mensen laten dansen zoals hun favoriete rocksterren. Het netwerk werkt op hoog-niveau beschrijvingen van een 3D-scène, zoals edge maps die locaties van objecten beschrijven alsook hun algemene attributen zoals of een bepaald deel van een afbeelding uit een gebouw of een auto bestaat. Vervolgens gebruikt het real-world scènes om de details in te vullen.

De neurale netwerken werden getraind op video's van echte stedelijke gebieden. Onderzoekers creëerden een demo die mensen in staat stelt om door een virtuele stedelijke wereld te navigeren gerenderd door de netwerken. Aangezien scènes synthetisch worden gecreëerd, is het makkelijk om objecten in de virtuele scène te bewerken, toe te voegen of te wijzigen.

Met dank aan onderzoekers

De demo draait op NVIDIA Tensor Core GPU's en biedt een heel nieuwe ervaring van interactieve graphics, volgens het rapport. De neurale netwerken zijn getraind op DGX-1 samen met CUDA Deep Neural Network library, met NVIDIA Tesla V100 GPU's. Het team selecteerde diverse duizenden clips uit de Cityscapes en Apolloscapes datasets om de netwerken te trainen.

Testen

Ze voerden meerdere tests uit en verkregen zowel kwantitatieve als kwalitatieve uitkomsten, die tonen dat de gesynthetiseerde scènes er realistischer uitzien dan die gegenereerd door bestaande state-of-the-art methodes.

Deze nieuwe AI kan 30-seconden lange video's van 2K-resolutie produceren. Ook biedt het hoog-niveau controle over de output. Bijvoorbeeld, men kan eenvoudig bomen vervangen door gebouwen in de scène.

De benadering is niet perfect en faalt in verschillende scenario's, zoals het renderen van een draaiend voertuig door onvoldoende mapdata. Echter, dit kan opgelost worden door 3D-cues zoals dieptemaps te integreren.

Lees ook: Google AI Kan Objecten Volgen Door Video's Te Kleuren

Hoewel de studie in een vroege fase is, kunnen toepassingen van deze techniek het veel makkelijker en goedkoper maken om virtuele omgevingen te ontwikkelen voor een verscheidenheid aan domeinen.