NVIDIA développe une IA qui crée des graphiques interactifs à partir du monde réel

• Les chercheurs font la démonstration d'un nouveau type de synthèse vidéo-à-vidéo.
• Il permet aux développeurs de restituer des environnements 3D entièrement interactifs à partir de vidéos du monde réel.
• Il peut créer des vidéos de 30 secondes en résolution 2K.

Il y a près de deux décennies, NVIDIA a proposé le premier GPU au monde, offrant un bond considérable en termes de performances de jeu en 3D. Aujourd'hui, ils ont introduit un outil d'intelligence artificielle qui permet aux développeurs de restituer des environnements tridimensionnels entièrement synthétiques et interactifs à partir de vidéos du monde réel.

La capacité de modéliser et de recréer des dynamiques du monde réel est cruciale pour développer des agents intelligents. La synthèse d'expériences visuelles continues a une variété d'applications en infographie et en robotique. Cela pourrait aider les développeurs à créer des scènes réalistes sans spécifier l'éclairage, les matériaux et la géométrie de la scène.

Dans ce travail, les chercheurs ont démontré un nouveau type de synthèse vidéo-à-vidéo. L'objectif est d'apprendre une fonction de mappage qui peut transformer efficacement une vidéo d'entrée en une vidéo de sortie. Ils ont synthétisé des vidéos haute résolution et cohérentes dans le temps à l'aide de générateurs et de discriminateurs, ainsi que d'un apprentissage contradictoire spatio-temporel.

Utiliser des réseaux de neurones pour afficher des descriptions de haut niveau

Pour rendre le monde synthétique tridimensionnel en temps réel, ils ont commencé avec un réseau neuronal génératif conditionnel et l'ont formé sur des vidéos existantes. Les réseaux ont progressivement appris à rendre des objets tels que des véhicules, des bâtiments et des arbres.

Avec la technologie existante, les développeurs doivent modéliser chaque objet individuellement, ce qui est à la fois un processus long et coûteux. D'autre part, le nouvel outil est basé sur un modèle qui apprend automatiquement à partir de la vidéo réelle et crée des mondes virtuels pour l'automobile, les jeux, la robotique, l'architecture et la réalité virtuelle.

Référence : arXiv:1808.06601 | NVIDIA | GitHub

Il peut créer des environnements interactifs basés sur des lieux réels ou afficher des personnes dansant comme leurs rock stars préférées. Le réseau fonctionne sur des descriptions de haut niveau d'une scène 3D, telles que des cartes de contour décrivant l'emplacement des objets ainsi que leurs attributs généraux, par exemple si une certaine partie d'une image consiste en un bâtiment ou une voiture. Ensuite, il utilise des scènes du monde réel pour remplir les détails.

Les réseaux de neurones ont été entraînés sur des vidéos de zones urbaines réelles. Les chercheurs ont créé une démo qui permet aux gens de naviguer dans un monde urbain virtuel rendu par les réseaux. Étant donné que les scènes sont créées de manière synthétique, il est facile d'éditer, d'ajouter ou de modifier des objets dans la scène virtuelle.

Avec l'aimable autorisation des chercheurs 

La démo fonctionne sur les GPU NVIDIA Tensor Core et offre une toute nouvelle expérience de graphiques interactifs, selon le rapport. Les réseaux de neurones sont entraînés sur DGX-1 avec la bibliothèque CUDA Deep Neural Network, à l'aide de GPU NVIDIA Tesla V100. L'équipe a sélectionné plusieurs milliers d'extraits des jeux de données Cityscapes et Apolloscapes pour entraîner les réseaux.

Tests

Ils ont effectué plusieurs tests et obtenu des résultats à la fois quantitatifs et qualitatifs, qui montrent que les scènes synthétisées semblent plus réalistes que celles générées par les méthodes de pointe existantes.

Cette nouvelle IA peut produire des vidéos de 30 secondes en résolution 2K. En outre, il fournit un contrôle de haut niveau sur la sortie. Par exemple, on peut facilement ajouter ou remplacer des arbres par des bâtiments dans la scène.

L'approche n'est pas parfaite et échoue dans plusieurs scénarios, comme le rendu d'un véhicule tournant en raison de données cartographiques insuffisantes. Cependant, cela pourrait être corrigé en intégrant des repères 3D comme des cartes de profondeur.

Lire :Google AI peut suivre les objets en coloriant les vidéos

Bien que l'étude en soit à un stade précoce, les applications de cette technique pourraient rendre beaucoup plus facile et moins coûteux le développement d'environnements virtuels pour une variété de domaines.