Google onthult AI die volledige video's genereert vanuit start- en eindframes

• Het nieuwe 3D-convolutie neuraal netwerk kan de sequenties tussen start- en eindframe invullen.
• Het gebruikt een latente representatiegenerator om een verscheidenheid aan videosequenties te produceren.

Recente vooruitgang in kunstmatige neuraal netwerkarchiectoren en generatieve adversariële netwerken hebben de ontwikkeling van beeld/video-synthese methoden gestimuleerd. De meeste bestaande onderzoeken richten zich op twee operaties: onvoorwaardelijke videogeneratie en videovoorspelling. Beide omvatten het genereren/voorspellen van nieuwe plausibele video's met een beperkt aantal verleden frames.

Onlangs richtte een onderzoeksteam bij Google zich op het probleem van het creëren van diverse en plausibele videosequenties, wanneer er slechts twee frames (een start- en een eindframe) beschikbaar zijn. Het proces, inbetweening genoemd, wordt doorgaans uitgevoerd door recurrente neurale netwerken te trainen/uit te voeren, met behulp van gated recurrent units of long-short-term memory.

Echter, in deze studie hebben onderzoekers getoond dat dit probleem (inbetweening) kan worden aangepakt door een 3D-convolutie neuraal netwerk. Een groot voordeel van deze methode is eenvoud. Aangezien het geen recurrente elementen gebruikt, kunnen de kortere gradiëntpaden diepere netwerken en stabielere training mogelijk maken.

Volledig Convolutioneel Model

In een convolutienetwerk is het vrij makkelijk om temporele consistentie af te dwingen met de start- en eindframes (gegeven als invoer). Het model heeft 3 sleutelcomponenten –

1. Een 2D-convolutie afbeeldingsencoder voor het mappen van invoer-sleutelframes naar een latente ruimte.
2. Een 3D-convolutie latente representatiegenerator voor het incorporeren van de invoerframes-data met progressief toenemende temporele resolutie.
3. Een videogenerator voor het decoderen van de latente representatie in videoframes.

Referentie: arXiv:1905.10240 | NVIDIA

Het team probeerde de video direct te creëren vanuit de gecodeerde representaties van de start- en eindframes, maar de resultaten waren niet naar wens. Daarom ontwierpen ze de latente representatiegenerator, die de sleutelframerepresentaties stochastisch fuseert en de temporele resolutie van de eindvideo stapsgewijs verhoogt.

Testen

Het team testte hun model op diverse publiek beschikbare datasets, waaronder UCF101 Action Recognition, BAIR en KTH Action Database.

Voorbeelden van frames gegenereerd door het nieuwe model | Credits: onderzoekers

De eindresultaten: elk enkel sample in de dataset bevatte in totaal 16 frames, waarvan 14 gegenereerd werden door convolutie neurale netwerken. Het model werd meer dan honderd keer uitgevoerd voor elk enkel paar sleutelframes, en het hele proces werd 10x herhaald voor elke modelvariant.

In alle gevallen was het model in staat om realistische videosequenties te creëren, mits de sleutelframes ongeveer 1/2 seconde van elkaar afstonden. Bovendien toonden onderzoekers aan dat het mogelijk is om een verscheidenheid aan sequenties te creëren, door de invoerruisvector die het generatieve proces aandrijft, eenvoudig te wijzigen. Deze nieuwe methode kan een waardevol alternatief perspectief bieden voor toekomstige studies over videocreatie.