Realtime AI kleurt zwart-witvideo's onmiddellijk in met ongeëvenaarde nauwkeurigheid

• Met een nieuw deep learning-algoritme kunnen editors snel een hele video inkleuren door één frame in de scène in te kleuren. 
• Het is zeer nauwkeurig, efficiënt en tot 50 keer sneller dan eerdere methoden. 

Video's bevatten veel redundante gegevens tussen frames en het kost enorm veel tijd om elk zwart-wit frame handmatig in te kleuren. Dit soort redundanties is uitgebreid onderzocht bij videocodering en compressie, maar minder onderzocht bij geavanceerde videoverwerking, zoals het inkleuren van een clip.

Er zijn talloze algoritmen (zoals het bilaterale CNN-model, op gelijkenis gebaseerde filtering, op optische stroom gebaseerde warping) die lokale relaties tussen opeenvolgende frames verwerken om gegevens te verspreiden. Ze gebruiken schijnbare beweging of vooraf ontworpen functies op pixelniveau om de overeenkomsten tussen frames en pixels te modelleren.

Deze algoritmen hebben echter verschillende beperkingen. Ze kunnen bijvoorbeeld de relaties op hoog niveau tussen frames niet weergeven en kunnen de structuur van het beeld niet nauwkeurig weergeven. Om deze beperkingen te overwinnen hebben onderzoekers van NVIDIA een nieuw algoritme ontwikkeld op basis van een deep learning-methode waarmee de editors snel een hele clip kunnen inkleuren door een enkel frame in de scène in te kleuren.

Hoe het werkt?

Om expliciet de gelijkenis op hoog niveau tussen opeenvolgende frames te leren, hebben onderzoekers een temporeel voortplantingsnetwerk ontwikkeld dat bestaat uit een voortplantingscomponent voor het overbrengen van de kenmerken (zoals kleur) van het ene frame naar het andere. Om dit te doen, maakt het gebruik van een lineaire transformatiematrix die wordt aangestuurd door een convolutioneel neuraal netwerk (CNN).

De CNN beslist welke kleuren uit het ingekleurde frame moeten worden overgebracht en vult deze in de resterende zwart-witframes. Hoe verschilt deze techniek van andere, vroeg je? Welnu, de betere inkleuring kan worden verkregen via een interactieve aanpak waarbij de editor een deel van een afbeelding annoteert, wat resulteert in een eindproduct.

Voor leervoortplanting in het temporele domein dwongen onderzoekers twee regels af. Ten eerste moet de voortplanting tussen frames omkeerbaar zijn. Ten tweede moet het doelelement gedurende het hele proces behouden blijven.

Ze toonden aan dat de voorgestelde techniek geen enkele op afbeeldingen gebaseerde segmentatiemethode vereist om fatsoenlijke resultaten te bereiken die vergelijkbaar zijn met bestaande start-of-the-art-methodologieën.

Referentie: arXiv:1804.08758 | NVIDIA

Om dit netwerk te trainen, gebruikten onderzoekers NVIDIA Titan XP GPU's. Het is getraind op honderden clips uit verschillende datasets voor een hoog dynamisch bereik, kleur en maskerpropagatie. Het netwerk is geconfigureerd op basis van de ACT-dataset, boordevol 7.260 videosequenties met ongeveer 600.000 frames.

Voordelen van de voorgestelde techniek

1. Hoge nauwkeurigheid: Met de nieuwe methode wordt een veel betere videokwaliteit bereikt in vergelijking met eerdere werken.
2. Hoge efficiëntie: Het wordt in realtime uitgevoerd, wat tot 50 keer sneller is dan eerdere methoden. Het verbetert de efficiëntie verder door alle videoframes parallel te verwerken.

Lezen:Nvidia AI kan video's van 30 fps converteren naar 240 fps

De huidige techniek biedt een eenvoudige manier om gegevens in clips over de tijd te verspreiden. De komende jaren zullen onderzoekers proberen uit te vinden hoe visuele signalen op hoog niveau, zoals tracering, semantiek en segmentatie, kunnen worden geïntegreerd voor temporele voortplanting.