AI voorspelt bioscoopbezoek door trailers te analyseren met collaboratieve filtering

• Een nieuw machine learning-model voorspelt welk publiek waarschijnlijk een film zal bekijken op basis van de trailer. 
• Het maakt gebruik van de Collaborative Filtering-methode om trailerkenmerken zoals gezichten, objecten, landschappen, enz. te extraheren. 
• Deze functies worden vervolgens gecombineerd met aanwezigheids- en demografische gegevens om de bezoekersaantallen te voorspellen.

Trailers vormen het belangrijkste onderdeel van de marketingcampagne voor nieuwe films. Ze presenteren personages, communiceren het plot, onthullen enkele hints over de verhaallijn en vergroten het bewustzijn onder filmliefhebbers.

Voor filmmakers is het een kans om het perspectief van het publiek te leren kennen:wat ze leuk vonden en wat niet indruk op hen maakte. Meestal helpen deze details hen bij het plannen van de volgende strategie van de marketingcampagne.

Om de beste previews voor trailers te helpen vinden, hebben ingenieurs van de filmstudio's van 20th Century Fox een machine learning-methode ontwikkeld, genaamd Merlin Video, die voorspelt welk publiek waarschijnlijk een film zal kijken, op basis van de trailer.

Hoe het werkt?

Merlin Video genereert compacte representaties van een trailer en gebruikt deze om het gedrag van een publiek te analyseren en te voorspellen. Volgens het onderzoeksteam is dit de eerste keer dat een filmstudio een low-level weergave van trailers gebruikt om de interesses van het publiek te meten.

Het is gebaseerd op het geavanceerde Collaborative Filtering-model, dat kenmerken als belichting, objecten, kleuren en gezichten extraheert en deze combineert met bezoekers- en demografische gegevens om de publieksbezoeken voor bestaande films en nog uit te brengen films nauwkeurig te voorspellen.

De convolutionele neurale netwerken extraheren frame-voor-frame functies op laag niveau. De vooraf getrainde netwerken kunnen worden gebruikt om de kenmerken in de relevante frames van een trailer te detecteren en analyseren. Door de juiste representaties van deze kenmerken door te geven aan neurale netwerken die zijn getraind op historische gegevens, kan men significante verbanden ontdekken tussen de kenmerken van de filmtrailer en de toekomstige voorkeuren van het publiek.

Overzicht van Merlin-video | Met dank aan onderzoekers 

Referentie: arXiv:1807.04465

Meer specifiek bevat Merlin Video een logistieke regressielaag die het op afstand gebaseerde Collaborative Filtering-model combineert met gebruikersrecentheid en gebruikersfrequentie om de waarschijnlijkheid van publieksbezoek te genereren. Het systeem wordt end-to-end getraind en het verlies aan logistieke regressie wordt teruggevoerd naar alle trainbare modules.

Samenvattend hebben ingenieurs drie belangrijke bijdragen geleverd aan dit onderzoek:

1. Een aanbevelingsmodel voor filmreleases dat speciaal is ontwikkeld om de koude start- en bioscoopaanbevelingen te verwerken met behulp van de inhoud van de trailer.
2. Ze hebben de prestaties van meerdere versies van Merlin Video gemeten en gedemonstreerd hoe deze kunnen worden gebruikt in besluitvormingsprocedures in realistische scenario's.
3. Ze bespraken de haalbare manieren om video- en tekstinvoer te combineren om de nauwkeurigheid van de voorspellingen te verbeteren.

Het neurale netwerk is getraind op basis van honderden trailers die de afgelopen jaren zijn uitgebracht, en miljoenen bezoekersregistraties. Ze gebruikten de NVIDIA Tesla P100 GPU in de Google Cloud, met TensorFlow, mogelijk gemaakt door het diepe neurale netwerk van CUDA, om het model te trainen.

Lezen:Nvidia AI kan video's van 30 fps converteren naar 240 fps

In de toekomst zullen ingenieurs zich concentreren op het bouwen van een model dat zowel video- als tekstfuncties gebruikt om het succes van een film te voorspellen.