La nouvelle IA peut transformer des images fixes en animations 3D

• Une nouvelle méthode d'apprentissage en profondeur utilise des réseaux de neurones convolutifs pour animer un personnage en 3D à partir d'une seule image fixe.
• Il peut faire sortir un personnage de l'image, s'asseoir, courir ou sauter en 3D.
• L'intégralité de l'animation peut être visualisée de manière interactive sur des moniteurs et des appareils VR/AR.

Ces dernières années, l'animation générale à partir de vidéos a conduit à de nombreux effets créatifs. L'animation à partir d'une seule image, au lieu de vidéos ou de séries de photos, a également permis d'obtenir des effets fascinants.

Le modèle linéaire multi-personnes à peau (SMPL) et les cadres d'apprentissage en profondeur se sont avérés extrêmement utiles pour l'estimation de la pose et de la forme en 3D à partir d'une seule image. Jusqu'à présent, la plupart des techniques d'animation de personne à image unique se sont principalement concentrées sur l'animation 2D ou pseudo-3D.

Récemment, une équipe de recherche de l'Université de Washington et de Facebook a développé une nouvelle technique qui peut transformer des images fixes et des images en animations 3D. Cette méthode d'apprentissage en profondeur nommée "Photo Wake-Up" utilise un réseau de neurones convolutifs (CNN) pour animer un personnage en 3D à partir d'une seule image fixe.

Donner vie au personnage de premier plan

Contrairement aux cinémagraphes qui utilisent des images fixes se déplaçant dans un ordre particulier pour créer une vidéo, le nouveau système prend une seule image en entrée et offre une expérience 3D complète. Il peut faire sortir un personnage de l'image, s'asseoir, courir ou sauter en 3D, et toute l'animation peut être visualisée de manière interactive sur des moniteurs et des appareils VR/AR.

Maintenant, vous devez vous demander comment fonctionne cette nouvelle méthode. Eh bien, cela implique 5 étapes :

1. Ajuster l'image avec un modèle de corps morphable
2. Estimer la carte des libellés du corps
3. Construire un maillage pas à pas guidé par le modèle morphable
4. Créer le maillage et estimer les poids de skinning du maillage
5. Enfin, reconstruisez les textures et placez-les sur une image de fond vierge.

Le CNN s'appuie sur un modèle SMPL pré-entraîné et fonctionne sur des GPU NVIDIA TITAN. Il travaille sur un large éventail d'images frontales, des affiches et des photos d'art aux photos de sport. Les utilisateurs peuvent même modifier la personne sur la photo, visualiser le corps reconstruit en 3D et l'explorer sur des appareils AR, par exemple, les utilisateurs peuvent placer l'œuvre d'art sur le mur et marcher autour de l'animation pendant qu'elle est en cours de lecture.

Lire : arXiv:1812.02246 | Université de Washington

L'équipe a démontré l'algorithme sur des images de personnages de dessins animés, de graffitis, de Stephen Curry (joueur NBA) et de peintures de Picasso. Jusqu'à présent, ils ont testé le réseau de neurones sur plus de 70 images téléchargées sur Internet.

Comparaison et limites

Les chercheurs ont comparé leur algorithme avec d'autres méthodes connexes de pointe et évalué les résultats avec des études humaines. Les résultats obtenus via Photo Wake-Up semblaient beaucoup moins déformés et plus réalistes en images fixes que les autres méthodes. De plus, ces résultats fournissent des expériences 3D réelles qui n'étaient pas possibles avec les techniques conventionnelles.

Lire :Une nouvelle intelligence artificielle peut transformer n'importe qui en danseur professionnel

L'algorithme est encore loin d'être parfait et il y a encore beaucoup de place pour des améliorations. Par exemple, les reflets et les ombres n'ont pas encore été modélisés, et parfois cela produit une pose 3D incorrecte en raison de laquelle la forme du corps entier semble irréaliste. Aussi, certaines occlusions doivent être affinées, comme les jambes croisées en position assise.