NVIDIA dévoile une IA pour générer des environnements 3D interactifs à partir de vidéos réelles

• Les chercheurs démontrent un nouveau type de synthèse vidéo-à-vidéo.
• Il permet aux développeurs de rendre des environnements 3D entièrement interactifs à partir de vidéos du monde réel.
• Il peut créer des vidéos de 30 secondes en résolution 2K.

Il y a près de deux décennies, NVIDIA a lancé le premier GPU au monde, offrant un bond significatif dans les performances de jeu 3D. Aujourd'hui, ils ont introduit un outil d'intelligence artificielle qui permet aux développeurs de rendre des environnements tridimensionnels entièrement synthétiques et interactifs à partir de vidéos du monde réel.

La capacité de modéliser et de recréer la dynamique du monde réel est cruciale pour développer des agents intelligents. La synthèse d'expériences visuelles continues a une variété d'applications en infographie et robotique. Cela pourrait aider les développeurs à créer des scènes réalistes sans avoir à spécifier l'éclairage, les matériaux et la géométrie de la scène.

Dans ce travail, les chercheurs ont démontré un nouveau type de synthèse vidéo-à-vidéo. L'objectif est d'apprendre une fonction de mapping qui peut transformer efficacement une vidéo d'entrée en une vidéo de sortie. Ils ont synthétisé des vidéos haute résolution, temporellement cohérentes, en utilisant des générateurs et discriminateurs, et un apprentissage adversarial spatio-temporel.

Utilisation de réseaux de neurones pour rendre des descriptions de haut niveau

Pour rendre le monde tridimensionnel synthétique en temps réel, ils ont commencé avec un réseau de neurones génératif conditionnel et l'ont entraîné sur des vidéos existantes. Les réseaux ont progressivement appris à rendre des objets comme des véhicules, des bâtiments et des arbres.

Avec la technologie existante, les développeurs doivent modéliser chaque objet individuellement, ce qui est à la fois chronophage et coûteux. En revanche, le nouvel outil repose sur un modèle qui apprend automatiquement de la vidéo réelle et crée des mondes virtuels pour l'automobile, le jeu, la robotique, l'architecture et la réalité virtuelle.

Référence : arXiv:1808.06601 | NVIDIA | GitHub

Il peut créer des environnements interactifs basés sur des lieux réels, ou afficher des gens dansant comme leurs stars de rock préférées. Le réseau fonctionne sur des descriptions de haut niveau d'une scène 3D, telles que des cartes de contours décrivant l'emplacement des objets ainsi que leurs attributs généraux comme le fait qu'une certaine partie d'une image consiste en un bâtiment ou une voiture. Ensuite, il utilise des scènes du monde réel pour combler les détails.

Les réseaux de neurones ont été entraînés sur des vidéos de zones urbaines réelles. Les chercheurs ont créé une démo qui permet aux gens de naviguer dans un monde urbain virtuel rendu par les réseaux. Comme les scènes sont créées synthétiquement, il est facile d'éditer, d'ajouter ou de modifier des objets dans la scène virtuelle.

Avec l'aimable autorisation des chercheurs

La démo s'exécute sur des GPU NVIDIA Tensor Core et offre une toute nouvelle expérience de graphiques interactifs, selon le rapport. Les réseaux de neurones sont entraînés sur DGX-1 avec la bibliothèque CUDA Deep Neural Network, en utilisant des GPU NVIDIA Tesla V100. L'équipe a sélectionné plusieurs milliers de clips des ensembles de données Cityscapes et Apolloscapes pour entraîner les réseaux.

Tests

Ils ont effectué de multiples tests et obtenu des résultats quantitatifs et qualitatifs, qui montrent que les scènes synthétisées semblent plus réalistes que celles générées par les méthodes existantes les plus avancées.

Cette nouvelle IA peut produire des vidéos de 30 secondes en résolution 2K. De plus, elle offre un contrôle de haut niveau sur la sortie. Par exemple, on peut facilement ajouter ou remplacer des arbres par des bâtiments dans la scène.

L'approche n'est pas parfaite et échoue dans plusieurs scénarios, comme le rendu de véhicules qui tournent en raison de données de carte insuffisantes. Cependant, cela pourrait être corrigé en intégrant des indices 3D comme des cartes de profondeur.

À lire : L'IA de Google peut suivre des objets en colorisant des vidéos

Bien que l'étude soit à un stade précoce, les applications de cette technique pourraient rendre beaucoup plus facile et moins cher le développement d'environnements virtuels pour une variété de domaines.