Google dévoile une IA qui génère des vidéos complètes à partir d'images de début et de fin

Le nouveau réseau de neurones convolutionnel 3D peut combler les séquences entre l'image de début et l'image de fin. Il utilise un générateur de représentation latente pour produire une variété de séquences vidéo.

Les avancées récentes dans les architectures de réseaux de neurones artificiels et les réseaux antagonistes génératifs ont stimulé le développement de méthodes de synthèse d'image/vidéo. La plupart des recherches existantes se concentrent sur deux opérations : la génération vidéo inconditionnelle et la prédiction vidéo. Les deux impliquent la génération/prédiction de nouvelles vidéos plausibles en utilisant un nombre limité d'images passées.

Récemment, une équipe de recherche de Google s'est concentrée sur le problème de la création de séquences vidéo diverses et plausibles, lorsqu'il n'y a que deux images disponibles (une de début et une de fin). Le processus, appelé interpolation, est généralement effectué en entraînant/exécutant des réseaux de neurones récurrents, en utilisant soit des unités récurrentes à portes, soit de la mémoire à court et long terme.

Cependant, dans cette étude, les chercheurs ont montré que ce problème (interpolation) peut être résolu par un réseau de neurones convolutionnel 3D. Un avantage majeur de cette méthode est la simplicité. Comme elle n'utilise aucun élément récurrent, les chemins de gradient plus courts peuvent permettre des réseaux plus profonds et un entraînement plus stable.

Modèle entièrement convolutionnel

Dans un réseau convolutionnel, il est assez facile d'imposer une cohérence temporelle avec les images de début et de fin (fournies en entrée). Le modèle a 3 composants clés :

1. Un encodeur d'image convolutionnel 2D pour projeter les images clés d'entrée dans un espace latent.
2. Un générateur de représentation latente convolutionnel 3D pour incorporer les données des images d'entrée avec une résolution temporelle progressivement croissante.
3. Un générateur vidéo pour décoder la représentation latente en images vidéo.

Référence : arXiv:1905.10240 | NVIDIA

L'équipe a essayé de créer la vidéo directement à partir des représentations encodées des images de début et de fin, mais les résultats n'étaient pas à la hauteur. C'est pourquoi ils ont conçu le générateur de représentations latentes, qui fusionne stochastiquement les représentations des images clés, et augmente régulièrement la résolution temporelle de la vidéo finale.

Tests

L'équipe a testé leur modèle sur divers jeux de données publics disponibles, y compris UCF101 Action Recognition, BAIR, et KTH Action Database.

Exemples d'images créées par le nouveau modèle | Avec l'aimable autorisation des chercheurs

Les résultats finaux : chaque échantillon du jeu de données contenait un total de 16 images, dont 14 étaient générées par des réseaux de neurones convolutionnels. Le modèle a été exécuté plus de cent fois pour chaque paire d'images clés, et tout le processus a été répété 10 fois pour chaque variante de modèle.

Dans tous les cas, le modèle a été capable de créer des séquences vidéo réalistes, étant donné que les images clés sont espacées d'environ 1/2 seconde l'une de l'autre. De plus, les chercheurs ont montré qu'il est possible de créer une variété de séquences, en modifiant simplement le vecteur de bruit d'entrée qui pilote le processus génératif. Cette nouvelle méthode peut fournir une perspective alternative précieuse pour de futures études sur la création vidéo.