NVIDIA ontwikkelt AI die interactieve graphics uit de echte wereld creëert

• Onderzoekers demonstreren een nieuw type video-naar-video-synthese.
• Het stelt ontwikkelaars in staat om volledig interactieve 3D-omgevingen te renderen van real-world video's.
• Het kan video's van 30 seconden maken met een resolutie van 2K.

Bijna twee decennia geleden kwam NVIDIA met 's werelds eerste GPU, die een aanzienlijk grote sprong voorwaarts in 3D-gamingprestaties bood. Nu hebben ze een kunstmatige-intelligentietool geïntroduceerd waarmee ontwikkelaars volledig synthetische, interactieve driedimensionale omgevingen kunnen renderen van real-world video's.

Het vermogen om real-world dynamiek te modelleren en na te bootsen is cruciaal voor het ontwikkelen van intelligente agents. Het synthetiseren van continue visuele ervaringen heeft een verscheidenheid aan toepassingen in computergraphics en robotica. Het kan ontwikkelaars helpen om realistische scènes te maken zonder verlichting, materialen en scènegeometrie te specificeren.

In dit werk hebben onderzoekers een nieuw type video-naar-video-synthese gedemonstreerd. Het doel is om een ​​mapping-functie te leren die een invoervideo efficiënt kan omzetten in een uitvoervideo. Ze hebben video's met hoge resolutie en temporeel consistente video's gesynthetiseerd met behulp van generatoren en discriminators, en ruimtelijk-temporeel adversarieel leren.

Neurale netwerken gebruiken om beschrijvingen op hoog niveau weer te geven

Om de synthetische driedimensionale wereld in realtime weer te geven, begonnen ze met een voorwaardelijk generatief neuraal netwerk en trainden dit op bestaande video's. De netwerken leerden geleidelijk aan het renderen van objecten zoals voertuigen, gebouwen en bomen.

Met de bestaande technologie moeten de ontwikkelaars elk object afzonderlijk modelleren, wat zowel tijdrovend als duur is. Aan de andere kant is de nieuwe tool gebaseerd op een model dat automatisch leert van echte video en virtuele werelden creëert voor automotive, gaming, robotica, architectuur en virtual reality.

Referentie: arXiv:1808.06601 | NVIDIA | GitHub

Het kan interactieve omgevingen creëren op basis van echte locaties, of mensen laten dansen als hun favoriete rocksterren. Het netwerk werkt aan beschrijvingen op hoog niveau van een 3D-scène, zoals randkaarten die locaties van objecten beschrijven, evenals hun algemene kenmerken, zoals of een bepaald deel van een afbeelding uit een gebouw of een auto bestaat. Vervolgens gebruikt het scènes uit de echte wereld om de details in te vullen.

De neurale netwerken werden getraind op video's van echte stedelijke gebieden. Onderzoekers hebben een demo gemaakt waarmee mensen door een virtuele stedelijke wereld kunnen navigeren die door de netwerken wordt weergegeven. Aangezien scènes synthetisch worden gemaakt, is het gemakkelijk om objecten in de virtuele scène te bewerken, toe te voegen of te wijzigen.

Met dank aan onderzoekers 

De demo draait op NVIDIA Tensor Core GPU's en biedt een geheel nieuwe ervaring van interactieve graphics, volgens het rapport. De neurale netwerken zijn getraind op DGX-1 samen met de CUDA Deep Neural Network-bibliotheek, met behulp van NVIDIA Tesla V100 GPU's. Het team selecteerde enkele duizenden clips uit de datasets Cityscapes en Apolloscapes om de netwerken te trainen.

Testen

Ze voerden meerdere tests uit en verkregen zowel kwantitatieve als kwalitatieve resultaten, waaruit blijkt dat de gesynthetiseerde scènes er realistischer uitzien dan die welke worden gegenereerd door bestaande state-of-the-art methoden.

Deze nieuwe AI kan video's van 30 seconden met een resolutie van 2K produceren. Het biedt ook controle op hoog niveau over de uitvoer. On kan bijvoorbeeld eenvoudig bomen toevoegen of vervangen door gebouwen in de scene.

De aanpak is niet perfect en mislukt in verschillende scenario's, zoals het weergeven van een draaiend voertuig vanwege onvoldoende kaartgegevens. Dit kan echter worden opgelost door 3D-aanwijzingen zoals dieptekaarten te integreren.

Lezen:Google AI kan objecten volgen door video's in te kleuren

Hoewel het onderzoek nog in een vroeg stadium is, zouden toepassingen van deze techniek het veel gemakkelijker en goedkoper kunnen maken om virtuele omgevingen te ontwikkelen voor een verscheidenheid aan domeinen.