De nieuwe AI van Google kan een video maken met alleen de begin- en eindframes

• Het nieuwe 3D convolutionele neurale netwerk kan de reeksen tussen het begin- en eindframe invullen.
• Het gebruikt een latente representatiegenerator om een ​​verscheidenheid aan videosequenties te produceren.

Recente ontwikkelingen in kunstmatige neurale netwerkarchitecturen en generatieve vijandige netwerken hebben de ontwikkeling van beeld-/videosynthesemethoden gestimuleerd. De meeste bestaande onderzoeken richten zich op twee operaties:onvoorwaardelijke videogeneratie en videovoorspelling. Beide omvatten het genereren/voorspellen van nieuwe plausibele video's met een beperkt aantal eerdere frames.

Onlangs heeft een onderzoeksteam bij Google zich gericht op het probleem van het maken van diverse en plausibele videosequenties, wanneer er slechts twee frames (een begin- en een eindframe) beschikbaar zijn. Het proces, inbetweening genaamd, wordt meestal uitgevoerd door terugkerende neurale netwerken te trainen/uit te voeren, met behulp van gated terugkerende eenheden of langetermijngeheugen.

In deze studie hebben onderzoekers echter aangetoond dat dit probleem (inbetweening) kan worden aangepakt via een 3D convolutioneel neuraal netwerk. Een groot voordeel van deze methode is de eenvoud. Omdat het geen terugkerend element gebruikt, kunnen de kortere gradiëntpaden diepere netwerken en stabielere training mogelijk maken.

Volledig convolutief model

In een convolutienetwerk is het vrij eenvoudig om tijdelijke consistentie af te dwingen met de begin- en eindframes (geleverd als invoer). Het model heeft 3 belangrijke componenten –

1. Een 2D convolutionele beeld-encoder voor het toewijzen van keyframes aan een latente ruimte.
2. Een 3D convolutionele latente representatiegenerator voor het opnemen van de gegevens van de invoerframes met een geleidelijk toenemende temporele resolutie.
3. Een videogenerator voor het decoderen van de latente representatie in videoframes.

Referentie:arXiv:1905.10240 | NVIDIA

Het team probeerde de video rechtstreeks te maken op basis van de gecodeerde weergaven van de begin- en eindframes, maar de resultaten waren niet naar wens. Daarom hebben ze de latente representatiegenerator ontworpen, die stochastisch de keyframerepresentaties samensmelt en de temporele resolutie van de uiteindelijke video gestaag verhoogt.

Testen

Het team heeft hun model getest op verschillende openbaar beschikbare datasets, waaronder UCF101 Action Recognition, BAIR en KTH Action Database.

Voorbeelden van frames gemaakt door het nieuwe model | Met dank aan onderzoekers 

De uiteindelijke resultaten:elk afzonderlijk monster in de dataset bevatte in totaal 16 frames, waarvan er 14 werden gegenereerd door convolutionele neurale netwerken. Het model werd meer dan honderd keer uitgevoerd voor elk afzonderlijk paar keyframes en het hele proces werd 10x herhaald voor elke modelvariant.

Lezen:nieuwe AI converteert zwart-witvideo's in realtime naar kleur

In alle gevallen was het model in staat om realistische videosequenties te creëren, aangezien keyframes ongeveer een halve seconde van elkaar verwijderd zijn. Bovendien toonden onderzoekers aan dat het mogelijk is om een ​​verscheidenheid aan sequenties te creëren, door simpelweg de ingangsruisvector te veranderen die het generatieve proces aanstuurt. Deze nieuwe methode kan een waardevol alternatief perspectief bieden voor toekomstige studies over het maken van video's.