Real-time AI kleurt zwart-witte video's direct met ongekende nauwkeurigheid

• Nieuw deep learning-algoritme stelt editors in staat om een hele video snel te kleuren door één frame in de scène te kleuren.
• Het is zeer nauwkeurig, efficiënt en tot 50 keer sneller dan eerdere methoden.

Video's bestaan uit veel redundante data tussen frames en het kost een enorme hoeveelheid tijd om elk zwart-wit frame handmatig te kleuren. Deze typen redundantie zijn uitgebreid onderzocht in video-encoding en compressie, maar minder verkend in geavanceerde videobewerking zoals het kleuren van een clip.

Er zijn talloze algoritmes (zoals bilateraal CNN-model, similarity-guided filtering, optical flow-gebaseerde warping) die lokale relaties tussen opeenvolgende frames verwerken om data door te geven. Ze gebruiken ofwel schijnbare beweging ofwel vooraf ontworpen pixel-level features om gelijkenissen tussen frames en pixels te modelleren.

Echter, deze algoritmes hebben verschillende beperkingen, bijvoorbeeld kunnen ze de high-level relaties tussen frames niet uitdrukken en de structuur van de afbeelding niet nauwkeurig weerspiegelen. Om deze beperkingen te overwinnen, hebben onderzoekers van NVIDIA een nieuw algoritme ontwikkeld op basis van deep learning dat editors in staat stelt om een hele clip snel te kleuren door een enkel frame in de scène te kleuren.

Hoe het werkt?

Om expliciet high-level gelijkenis tussen opeenvolgende frames te leren, hebben onderzoekers een temporale propagatie-netwerk ontwikkeld dat bestaat uit een propagatiecomponent voor het overdragen van kenmerken (zoals kleur) van één frame naar een ander. Hiervoor gebruikt het een lineaire transformatiematrix gedreven door een convolutioneel neurale netwerk (CNN).

Het CNN besluit welke kleuren van het gekleurde frame overgedragen moeten worden en vult ze in de overige zwart-witte frames in. Hoe deze techniek verschilt van andere, vraag je je af? Nou, betere kleurresultaten kunnen verkregen worden via een interactieve benadering waarin de editor een deel van een afbeelding annoteert, wat resulteert in een afgerond product.

Voor het leren van propagatie in het temporale domein, dwingden onderzoekers 2 regels af. Ten eerste, de propagatie tussen frames moet invertibel zijn. Ten tweede, het doel-element moet behouden blijven tijdens het hele proces.

Ze toonden aan dat de voorgestelde techniek geen image-based segmentatiemethode vereist om fatsoenlijke resultaten te bereiken die vergelijkbaar zijn met bestaande state-of-the-art methodologieën.

Referentie: arXiv:1804.08758 | NVIDIA

Om dit netwerk te trainen, gebruikten onderzoekers NVIDIA Titan XP GPU's. Het is getraind op honderden clips uit verschillende datasets voor high dynamic range, kleur en mask-propagatie. Het netwerk is geconfigureerd op de ACT-dataset met 7.260 videosequenties met ongeveer 600.000 frames.

Voordelen van de voorgestelde techniek

1. Hoge nauwkeurigheid: De nieuwe methode bereikt een veel betere videokwaliteit vergeleken met eerdere werken.
2. Hoge efficiëntie: Het voert in real-time uit, wat tot 50 keer sneller is dan eerdere methoden. Het verbetert de efficiëntie verder door alle videoframes parallel te verwerken.

Lees ook: Nvidia AI kan 30fps video's converteren naar 240fps

De huidige techniek biedt een eenvoudige manier om data over tijd in clips te propageren. In de komende jaren zullen onderzoekers proberen te achterhalen hoe high-level visuele cues zoals tracing, semantische segmentatie, voor temporale propagatie geïntegreerd kunnen worden.