AI genereert realistische maaltijdafbeeldingen vanuit tekstuele recepten

Een nieuw deep learning-systeem kan automatisch afbeeldingen genereren vanuit een lange tekstuele beschrijving. Onderzoekers demonstreerden een netwerk dat een recept als invoer neemt en een afbeelding vanuit niets opbouwt.

Conditional Generative Adversarial Networks

Het genereren van afbeeldingen vanuit een korte visuele beschrijving is een uitdagende taak met talloze toepassingen in computer vision. Recente studies hebben bewogen dat Generative Adversarial Networks (GANs) effectief hoogwaardige, realistische afbeeldingen met lage resolutie en lage variabiliteit kunnen synthetiseren.

Een recente bijdrage van een onderzoeksploeg aan de Tel Aviv Universiteit in Israël kan het onderzoek in dit versnellen. Ze hebben een deep learning-model gebouwd dat automatisch afbeeldingen kan maken vanuit een tekstuele beschrijving.

In het bijzonder hebben ze hun systeem gedemonstreerd dat afbeeldingen genereert van een klaargezette maaltijd vanuit een eenvoudig geschreven recept. Hiervoor gebruikt het systeem een combinatie van state-of-the-art Stacked GAN en het leren van cross-modale embeddings voor kookrecepten en voedingsafbeeldingen.

Hoe het werkt

Eigenlijk bestaan GANs uit twee modellen (generator en discriminator) die getraind worden om met elkaar te concurreren. De generator is ontworpen om afbeeldingen te synthetiseren die lijken op de originele datadistributie, terwijl de discriminator taak is om te differentiëren tussen originele en synthetische afbeeldingen.

In dit werk gebruikten onderzoekers conditionele GANs waarbij zowel de generator als de discriminator gedwongen worden een specifieke voorwaarde te overwegen. Ze stelden twee soorten embedding-technieken voor: semantische en niet-semantische regularisatie. Deze technieken bestaan uit drie stappen:

1. Initiële embedding van de ingrediënten en bereidingsinstructies.
2. Gecombineerde neurale embedding van het hele recept.
3. Integratie van een semantische regularisatie-verlies met een hoog-niveau classificatiedoel.

De conditionele GAN is getraind op 52.000 tekstuele recepten en hun bijbehorende afbeeldingen. Getraind met NVIDIA TITAN X GPU's met CUDA Deep Neural Network bibliotheek. Eenmaal getraind, bouwde het systeem afbeeldingen van hoe het recept eruit zou kunnen zien vanuit een lange beschrijving (die geen visuele informatie bevatte).

Referentie: arXiv:1901.02404 | Tel-Aviv Universiteit

Menselijke evaluatie

Het netwerk neemt een recept als invoer en creëert een afbeelding (vanaf nul) die de tekstuele beschrijving van het voedsel het beste weerspiegelt. Wat echt indrukwekkend is: het systeem heeft geen toegang tot de titel van het recept — anders zou de taak te makkelijk worden — en de recepttekst is vrij lang. Dit maakt de taak zelfs voor mensen moeilijk.

Met dank aan de onderzoekers

Om de gesynthetiseerde afbeeldingen beter te evalueren, vroegen de onderzoekers 30 mensen de meest aantrekkelijke afbeeldingen te beoordelen op een schaal van 1 tot 5. Ze presenteerden 10 willekeurig gekozen paren van resulterende afbeeldingen die gegenereerd waren door elke embedding-techniek.

De resultaten toonden aan dat de niet-semantische regularisatiemethode de semantische regularisatie uitstoot door levendigere afbeeldingen met fotorealistische details te produceren. Sommige mensen vonden het erg moeilijk om onderscheid te maken tussen echte en synthetische afbeeldingen.

Bovendien slaagden beide embedding-technieken erin 'pap-achtige' voedingsafbeeldingen te produceren (zoals salades, soepen en rijst), maar worstelden met het creëren van voedingsafbeeldingen met een duidelijke vorm (zoals kip, hamburgers en dranken).