Google AI realiseert objecttracking via videokleurcorrectie – een zelf-gesuperviseerde benadering

Een nieuw convolutioneel netwerk leert kleuren van één referentiekader naar opvolgende kaders te kopiëren. Hierbij kan het verschillende objecten volgen en door occlusies heen tracken. Het kan ook menselijke poses tracken.

De uitdaging van objecttracking

Machines leren objecten in video's te tracken is een van de moeilijkste taken in computervisie, vooral omdat het een enorme, gelabelde trainingsdataset vereist. Natuurlijk is het onpraktisch om alles wat op aarde gebeurt op te nemen en te labeleren.

Daarom is het nodig om een systeem te bouwen dat leert te tracken zonder menselijke supervisie, in plaats van een enorme hoeveelheid ruwe, ongelabelde clips te gebruiken. Waarom is dit zo belangrijk? Objecttracking in video's kan nuttig zijn voor tal van toepassingen, zoals objectinteractie, activiteitsherkenning, videostyling, en nog veel meer.

Her-kleurcorrectie van video's

Onderzoekers van Google hebben een convolutioneel netwerk ontwikkeld dat leert kleuren van een enkel referentiekader te kopiëren. In plaats van kleuren direct te schatten uit een grijswaardenkader, is het model gedwongen de kleuren van het allereerste referentiekader van de video te gebruiken.

Om de juiste kleuren te kopiëren, moet het netwerk leren intern naar de juiste regio te wijzen. Dit nieuwe model kan verschillende objecten volgen en door occlusies heen tracken zonder getraind te hoeven worden op grote gelabelde datasets.

Training

De onderzoekers gebruikten de Kinetics-dataset (bevat een half miljoen videoclips van dagelijkse activiteiten) om hun model te trainen. Ze converteerden alle videokaders, behalve het eerste, naar grijswaarden en trainde het netwerk om de juiste kleuren in de opvolgende kaders te schatten.

Om de oorspronkelijke kleuren van een enkel kader te kopiëren, leerde het convolutionele netwerk intern naar de juiste kleuren te wijzen. Dit dwingt het netwerk om een expliciet mechanisme te volgen, wat gebruikt kan worden voor objecttracking.

Ondanks dat het model niet getraind is op vaste identiteiten, leert het om elk object of visueel deel in de video te tracken met slechts één (eerste) kader. Het kan een enkel punt of een afgebakend entiteit in de video volgen.

Om objecten te tracken via kleurcorrectie, maakten de onderzoekers slechts één wijziging: labels propageren die doelgebieden vertegenwoordigen, in plaats van kleuren door de clip heen te propageren.

Posetracking

Het netwerk is ook in staat om menselijke poses te tracken: het vereist een initieel gekader met sleutelpunten en doet de rest van het werk. Het voorspellen van sleutelpunten in opvolgende kaders is echter niet zo eenvoudig, omdat je fijnmazige lokalisatie van elk sleutelpunt nodig hebt wanneer mensen in de video vervorming ondergaan.

Onderzoekers demonstreerden de posetracking-functie van het netwerk op de JHMDB-dataset (een volledig geannoteerde dataset voor menselijke poses en acties) waar ze een menselijk gewrichtsskelet trackten.

Het netwerk bereikt vergelijkbare prestaties als optische vloeistof, wat erop wijst dat het mogelijk sommige bewegingskenmerken leert. Het leert menselijke poses en videosegmenten goed genoeg om de nieuwste op optische vloeistof gebaseerde technieken licht te overtreffen.

Het model is nog niet perfect. In sommige experimenten faalde het bij het kleurcorrectie van video's en het tracken van segmenten. Daarom plannen de onderzoekers de videokleurcorrectie verder te verbeteren, wat uiteindelijk kan leiden tot verbeterde zelf-gesuperviseerde tracking.