Samsung AI genereert realistische pratende avatar's vanaf één foto

• Een nieuw AI-model kan pratende avatar's fabriceren vanaf een enkele afbeelding.
• Ontwikkelaars pasten dit model toe op bekende schilderijen, waaronder Leonardo da Vinci en de Mona Lisa.
• De resultaten hebben enkele visuele glitches, maar zijn ver imponerender dan eerdere technieken.

Software voor het genereren van deepfakes (een kunstmatige intelligentie-gebaseerde techniek voor menselijke beeldsynthese) vereist grote sets afbeeldingen om een realistische vervalsing te bouwen. Recente vooruitgang in neurale netwerken heeft getoond hoe hoogrealistische menselijke beelden verkregen kunnen worden door het netwerk te trainen op een breed scala aan datasets.

Echter, ontwikkelaars bij het Samsung-onderzoekscentrum in Moskou hebben nu een nieuw kunstmatige intelligentie (AI) model ontwikkeld dat pratende avatar's kan creëren vanaf een enkele afbeelding. Hoewel het mogelijk is om een videoclip te fabriceren vanaf één afbeelding, levert training door meerdere afbeeldingen betere identiteitsbehoud en hogere realisme op.

De pratende hoofden gegenereerd door dit model kunnen diverse poses aan, inclusief die verder gaan dan de mogelijkheden van warping-gebaseerde systemen. Je kunt enkele visuele glitches vinden, maar de resultaten zijn ver imponerender vergeleken met eerdere technieken. Het model leidt tot de creatie van multimedia die uiteindelijk moeilijk te onderscheiden zal zijn van echte video.

Betrokken Uitdagingen

Het fabriceren van realistische pratende avatar-sequenties is moeilijk voornamelijk om twee redenen –

1. Menselijke hoofden hebben hoge kinematische, geometrische en fotometrische complexiteit. Het is noodzakelijk om haar, ogen, mondholte en veel andere elementen nauwkeurig te modelleren.
2. De scherpte van het visuele systeem naar kleine fouten in de uiterlijkmodellering van menselijke hoofden.

Om deze kwesties aan te pakken, creëert het nieuwe AI-model drie neurale netwerken tijdens het leerproces. Het bouwt een embedded netwerk dat gezichtslandmarkframes met vectoren verbindt. Vervolgens bouwt het een generatornetwerk om landmarks af te beelden op de gesyntheserde clips. In de laatste stap evalueert het discriminatornetwerk de pose en realisme van frames.

Referentie: arXiv:1905.08233 | YouTube

Om gezichtslandmarks en bewegingen beter te begrijpen, trainden de onderzoekers de netwerken op duizenden YouTube-video's van pratende mensen. De resultaten (pratende hoofden) werden vervolgens vergeleken met alternatieve neurale netwerken via kwantitatieve metingen.

Resultaten

Het team paste dit model toe op afbeeldingen van veel bekende figuren, zoals de Mona Lisa, Leonardo da Vinci en Albert Einstein. De AI was in staat om pratende video's te fabriceren vanaf een enkele afbeelding, klassieke portretten tot leven wekkend. Het heeft maar één foto nodig om video's te creëren. Echter, een model getraind op 32 afbeeldingen kan een betere personalisatiescore en perfect realisme bereiken.

Dit type AI kan diverse praktische toepassingen hebben in telepresence, waaronder multiplayer-spellen, videoconferenties, en de special effects-industrie.

Lees: IBM Ontwikkelt Een AI Die Scènes In Een Video Detecteert

Aan de andere kant kan de snelle ontwikkeling van dergelijke technieken risico's op desinformatie, identiteitsfraude, fraude en verkiezingsmanipulatie ophogen.