AI voorspelt filmbezoek door trailers te analyseren met collaboratieve filtering

• Een nieuw machine learning-model voorspelt welk publiek een film waarschijnlijk zal bekijken op basis van de trailer.
• Het gebruikt de Collaborative Filtering-methode om trailer-functies te extraheren zoals gezichten, objecten, landschappen, etc.
• Deze functies worden gecombineerd met bezoek- en demografische data om publieksbezoek te voorspellen.

Trailers zijn het belangrijkste deel van de marketingcampagne voor nieuwe films. Ze presenteren personages, communiceren plot, onthullen enkele hints over het verhaal, en verhogen de bewustwording onder filmliefhebbers.

Voor filmmakers is het een kans om het publieksperspectief te leren: wat ze leuk vonden en wat hen niet onder de indruk maakte. Meestal helpen deze details hen de volgende strategie van de marketingcampagne te plannen.

Om de beste previews voor de trailer te selecteren, bouwden ingenieurs van 20th Century Fox filmstudios een machine learning-methode genaamd Merlin Video, die voorspelt welk publiek een film waarschijnlijk zal bekijken, gebaseerd op de trailer.

Hoe het werkt?

Merlin Video genereert dichte representaties van een trailer en gebruikt ze om het gedrag van een publiek te analyseren en te voorspellen. Volgt het onderzoeks team, is dit de eerste keer dat een filmstudio een low-level representatie van trailers gebruikt om publieksbelang te meten.

Het is gebaseerd op de state-of-the-art Collaborative Filtering-model, dat functies extraheert zoals verlichting, objecten, kleuren en gezichten, en combineert ze met bezoek- en demografische data om de publieksbezoek voor bestaande films, alsnog te releasen films, nauwkeurig te voorspellen.

De convolutionele neurale netwerken extraheren frame-voor-frame low-level functies. De pre-getrainde netwerken kunnen gebruikt worden om functies in de relevante frames van een trailer te detecteren en te analyseren. Door passende representaties van deze functies te voeden aan neurale netwerken getraind op historische records, kan men significante links ontdekken tussen de functies van de filmtrailer en toekomstige publiekspreferenties.

Overzicht van Merlin Video | Met dank aan de onderzoekers

Referentie: arXiv:1807.04465

Specifiek bevat Merlin Video een logistische regressielaag die het afstands-gebaseerde Collaborative Filtering-model combineert met gebruiker-recency en gebruiker-frequentie om de kans op publieksbezoek te genereren. Het systeem is end-to-end getraind, en logistische regressie-verlies wordt teruggepropageerd naar alle trainbare modules.

Samenvattend, hebben ingenieurs drie hoofdcontributies geleverd in deze studie:

1. Een aanbevelingsmodel voor filmreleases ontwikkeld specifiek om de cold-start en theater-aanbevelingen aan te pakken met behulp van de inhoud van de trailer.
2. Ze maatten de prestaties van meerdere versies van Merlin Video en toonden aan hoe het gebruikt kan worden in besluitvormingsprocedures in real-world scenario's.
3. Ze bespraken haalbare manieren om video- en tekstinvoer te combineren om de voorspellingsnauwkeurigheid te verbeteren.

Het neurale netwerk is getraind op honderden trailers uitgegeven de afgelopen jaren, en miljoenen bezoekrecords. Ze gebruikten NVIDIA Tesla P100 GPU op de Google Cloud, met TensorFlow aangedreven door CUDA deep neural network, om het model te trainen.

Lees ook: Nvidia AI kan 30fps video's converteren naar 240fps

In toekomstig werk zullen ingenieurs zich richten op het bouwen van een model dat zowel video- als tekstfuncties benut om het succes van een film te voorspellen.