Microsoft onthult AttnGAN: AI die tekstvoorbeschrijvingen omzet in fotorealistische afbeeldingen

• Microsoft's AttnGAN kan hoge-kwaliteit afbeeldingen genereren uit platte tekst en ondertitels.
• Het systeem gebruikt een twee-model-architectuur: een generator die het beeld creëert en een discriminator die de realisme evalueert.
• Het voegt contextueel relevante details toe buiten de prompt, wat een interne "verbeeldingslaag" demonstreert.
• Potentiële toekomstige toepassingen omvatten volledig geautomatiseerde animatieproductie gestuurd door scripts.

Terwijl eerdere pogingen text-to-image-synthese verbeterden, bevordert Microsoft's AttnGAN het vak door fotorealistische afbeeldingen te genereren uit beknopte tekstuele prompts, gebruikmakend van een uitgebreide bibliotheek van gelabelde afbeeldingen.

Ontwikkeld bij Microsoft Research, parseert AttnGAN individuele woorden in een prompt om afbeeldingsconstructie te sturen. Volgens het team levert de benadering ruwweg drie keer hogere afbeeldingskwaliteit op dan eerdere state-of-the-art-modellen.

De Bot's Creatieve Proces

Stel je voor dat je gevraagd wordt een blauwe vogel met rode vleugels en een korte bek te tekenen. Je zou beginnen met een ruwe schets, dan kleuren en details invullen. AttnGAN volgt dezelfde logica, elk woord analyserend om een gedetailleerde, coherente afbeelding te bouwen.

De bot kan elk onderwerp renderen – van gadgets tot wildlife – en voegt vaak contextueel geschikte achtergrondelementen toe die niet expliciet vermeld waren, wat de capaciteit voor "geïmagineerde" details toont.

Afbeeldingen worden pixel voor pixel vanaf nul gesynthetiseerd, wat het model in staat stelt scènes te creëren die niet in de realiteit bestaan. Deze generatieve taak is inherent complexer dan het merkelabelen van een bestaande foto.

Hoe AttnGAN afbeeldingen genereert

1. Generator: Creëert afbeeldingen gebaseerd op de tekstuele beschrijving.
2. Discriminator: Evalueert de authenticiteit van de gegenereerde afbeelding tegen de beschrijving.

Beide modellen worden gezamenlijk getraind, wat de generator in staat stelt te leren van de discriminator's feedback en progressief hogere fideliteit te bereiken.

Training omvatte duizenden gepaarde foto-onderdiel-datasets, wat AttnGAN leerde specifieke woorden af te beelden op visuele patronen. Bijvoorbeeld, het woord "olifant" triggert het model om een afbeelding te produceren die overeenkomt met een typische olifant's uiterlijk.

Het systeem breekt complexe zinnen op in individuele woorden, elk woord uitlijnend met een regio van de afbeelding. Tijdens training leert het ook "kunstmatig gezond verstand" om ontbrekende details in te vullen, wat realistische compositie garandeert.

In dit voorbeeld noemde de prompt alleen een vogel. AttnGAN plaatste de vogel intelligent op een tak, een veelvoorkomende real-world-context geleerd uit de trainingsdata. Dit demonstreert het model's vermogen om contextuele kennis toe te passen.

arXiv:1711.10485 – Microsoft-onderzoekspapier dat AttnGAN detailt.

Wanneer uitgedaagd om een dubbeldekkerbus op een meer te tonen, produceerde het model een vervaagd maar herkenbaar gemengd scène, wat de worsteling benadrukt om conflicterende elementen in de prompt te verzoenen.

Prestaties en use cases

AttnGAN overtreft eerdere benchmarks, met een 170,25% verbetering op de COCO-dataset's inception-score en een 14,14% winst op de CUB-dataset.

Potentiële toepassingen omvatten schetsassistenten voor interieurontwerpers, stem-geactiveerde fotoverfijning, en met verdere ontwikkeling, volledig geautomatiseerde animatieproductie vanaf scripts.

Andere AI-kunstgenerators

Microsoft is niet alleen in het samenvoegen van kunst en AI. Google's DeepDream creëerde psychedelische afbeeldingen getoond in 2016, terwijl zijn AI muziek en spraaksynthese produceerde zoals Tacotron 2. Facebook en Nvidia hebben ook generatieve modellen vrijgegeven voor auto's, schepen, dieren, en zelfs synthetische celebrity-avatar's.

Lees over Google's menselijke-stem AI Tacotron 2.