L'IA prédit la fréquentation des films en analysant les bandes-annonces avec un filtrage collaboratif

• Un nouveau modèle d'apprentissage automatique prédit quel public sera le plus susceptible de regarder un film en fonction de sa bande-annonce. 
• Il utilise la méthode de filtrage collaboratif pour extraire les caractéristiques de la bande-annonce telles que les visages, les objets, les paysages, etc. 
• Ces fonctionnalités sont ensuite combinées avec des données de fréquentation et démographiques pour prédire la fréquentation du public.

Les bandes-annonces constituent la partie la plus importante de la campagne marketing des nouveaux films. Ils présentent les personnages, communiquent l'intrigue, révèlent quelques indices sur le scénario et sensibilisent les cinéphiles.

Pour les cinéastes, c’est l’occasion de connaître le point de vue du public :ce qu’il a aimé et ce qui ne l’a pas impressionné. Habituellement, ces détails les aident à planifier la prochaine stratégie de la campagne marketing.

Pour aider à sélectionner les meilleures avant-premières de la bande-annonce, les ingénieurs des studios de cinéma de 20th Century Fox ont développé une méthode d'apprentissage automatique nommée Merlin Video, qui prédit quel public sera le plus susceptible de regarder un film, en fonction de sa bande-annonce.

Comment ça marche ?

Merlin Video génère des représentations denses d'une bande-annonce et les utilise pour analyser et prédire le comportement d'un public. Selon l'équipe de recherche, c'est la première fois qu'un studio de cinéma utilise une représentation de bas niveau des bandes-annonces pour mesurer les intérêts du public.

Il est basé sur le modèle de filtrage collaboratif de pointe, qui extrait des caractéristiques telles que l'éclairage, les objets, les couleurs et les visages, et les combine avec des données de fréquentation et démographiques pour prévoir avec précision la fréquentation du public pour les films existants, ainsi que pour les films à venir.

Les réseaux de neurones convolutifs extraient des caractéristiques de bas niveau image par image. Les réseaux pré-entraînés peuvent être utilisés pour détecter et analyser les caractéristiques des trames pertinentes d'une remorque. En fournissant des représentations appropriées de ces caractéristiques aux réseaux de neurones formés sur des documents historiques, on peut découvrir des liens significatifs entre les caractéristiques de la bande-annonce du film et les préférences futures du public.

Présentation de la vidéo Merlin | Avec l'aimable autorisation des chercheurs 

Référence : arXiv:1807.04465

Plus précisément, Merlin Video contient une couche de régression logistique qui fusionne le modèle de filtrage collaboratif basé sur la distance avec la récence et la fréquence des utilisateurs pour générer la probabilité de présence du public. Le système est entraîné de bout en bout et la perte de régression logistique se propage à tous les modules pouvant être entraînés.

En résumé, les ingénieurs ont apporté trois contributions principales à cette étude :

1. Un modèle de recommandation pour les sorties de films développé spécifiquement pour gérer les recommandations de démarrage à froid et de cinéma à l'aide du contenu de la bande-annonce.
2. Ils ont mesuré les performances de plusieurs versions de Merlin Video et ont démontré comment elles peuvent être utilisées dans les procédures de prise de décision dans des scénarios réels.
3. Ils ont discuté des moyens possibles de combiner les entrées vidéo et textuelles pour améliorer la précision des prédictions.

Le réseau de neurones s'entraîne sur des centaines de bandes-annonces diffusées ces dernières années, et des millions de records de fréquentation. Ils ont utilisé le GPU NVIDIA Tesla P100 sur Google Cloud, avec TensorFlow alimenté par le réseau neuronal profond CUDA, pour entraîner le modèle.

Lire :Nvidia AI peut convertir des vidéos à 30 ips en 240 ips

Dans les travaux futurs, les ingénieurs se concentreront sur la création d'un modèle utilisant à la fois des fonctionnalités vidéo et textuelles pour prédire le succès d'un film.