Une IA révolutionnaire transforme des photos statiques en animations 3D interactives

Ces dernières années, l'animation générale à partir de vidéos a conduit à de nombreux effets créatifs. L'animation à partir d'une seule image, au lieu de vidéos ou de séries de photos, a également abouti à des effets fascinants.

Le modèle Skinned Multi-Person Linear (SMPL) et les frameworks d'apprentissage profond

Le modèle Skinned Multi-Person Linear (SMPL) et les frameworks d'apprentissage profond se sont avérés extrêmement utiles pour l'estimation de la pose 3D et de la forme à partir d'une seule image. Jusqu'à présent, la plupart des techniques d'animation de personne à partir d'une seule image se sont concentrées principalement sur l'animation 2D ou pseudo-3D.

Récemment, une équipe de recherche de l'Université de Washington et de Facebook a développé une nouvelle technique qui peut transformer des peintures et des images fixes en animations 3D. Cette méthode d'apprentissage profond nommée « Photo Wake-Up » utilise un réseau de neurones convolutifs (CNN) pour animer un personnage en 3D à partir d'une seule image fixe.

Donner vie au personnage au premier plan

Contrairement aux cinémagraphes qui utilisent des images fixes se déplaçant dans un ordre particulier pour créer une vidéo, le nouveau système prend une seule image en entrée et fournit une expérience 3D complète. Il peut faire marcher, s'asseoir, courir ou sauter un personnage de l'image en 3D, et toute l'animation peut être visualisée de manière interactive sur des moniteurs et des appareils VR/AR.

Maintenant, vous devez vous demander comment cette nouvelle méthode fonctionne. Eh bien, elle implique 5 étapes :

1. Adapter l'image avec un modèle corporel morphable
2. Estimer la carte d'étiquettes du corps
3. Construire un maillage étape par étape guidé par le modèle morphable
4. Rigger le maillage et estimer les poids de skinning du maillage
5. Enfin, reconstruire les textures et les placer sur une image de fond vierge.

Le CNN repose sur un modèle pré-entraîné SMPL et fonctionne sur des GPU NVIDIA TITAN. Il fonctionne sur une large gamme d'images frontales, des affiches et arts aux photos de sport. Les utilisateurs peuvent même modifier la personne sur la photo, visualiser le corps reconstruit en 3D, et l'explorer sur des appareils AR, par exemple, les utilisateurs peuvent placer l'œuvre d'art sur le mur et marcher autour de l'animation pendant qu'elle joue.

Lire : arXiv:1812.02246 | Université de Washington

L'équipe a démontré l'algorithme sur des images de personnages de dessins animés, de graffitis, de Stephen Curry (joueur NBA) et de peintures de Picasso. Jusqu'à présent, ils ont testé le réseau de neurones sur plus de 70 images téléchargées d'Internet.

Comparaison et limitations

Les chercheurs ont comparé leur algorithme avec d'autres méthodes connexes à la pointe de la technologie et ont évalué les résultats avec des études humaines. Les résultats obtenus via Photo Wake-Up apparaissaient beaucoup moins déformés et plus réalistes dans les images fixes que les autres méthodes. De plus, ces résultats fournissent de véritables expériences 3D qui n'étaient pas possibles avec les techniques conventionnelles.

L'algorithme est encore loin d'être parfait et il reste encore beaucoup de place pour des améliorations. Par exemple, les reflets et les ombres n'ont pas encore été modélisés, et parfois il produit une pose 3D incorrecte ce qui fait que toute la forme du corps semble irréaliste. De plus, certaines occlusions doivent être affinées, comme les jambes croisées en position assise.