L'IA transforme les danseurs amateurs en professionnels grâce au Deep Learning Motion Transfer

• Un système d'apprentissage profond révolutionnaire peut reproduire la chorégraphie des plus grandes stars de la danse sur n'importe quelle séquence vidéo.
• Il ne nécessite qu'une entrée vidéo ordinaire (aucun équipement 3D coûteux ni combinaison de capture de mouvement n'est nécessaire) pour produire des résultats de qualité studio.

L'intelligence artificielle remodèle les industries, de l'électronique grand public à l'exploration spatiale, et cette dernière innovation met en valeur son pouvoir de transformation dans le domaine des arts. Des chercheurs de l'Université de Californie ont développé un algorithme de transfert de mouvement qui mappe les mouvements d'un danseur source sur un artiste cible, faisant ressembler même un participant occasionnel à une ballerine chevronnée ou à une icône pop.

L’idée de base est simple :« Faites comme moi ». En quelques minutes, le système peut superposer des mouvements de danse professionnels sur un sujet cible, ouvrant ainsi de nouvelles possibilités créatives aux artistes, aux éducateurs et aux créateurs de contenu.

Comment fonctionne la technologie

Le processus commence par l’extraction de squelettes de pose basés sur des points clés des vidéos source et cible. Ces figurines en bâton de pose fournissent une représentation légère et indépendante de l'apparence de la position du corps, permettant au modèle de se concentrer uniquement sur le mouvement.

La pose de chaque image est générée par un algorithme d’estimation de pose supervisé, produisant des figures en bâton précises. Le modèle de transfert de mouvement ingère ensuite ces squelettes, générant des images cibles qui imitent la pose de la source tout en préservant l’apparence de la cible. Le résultat final est affiné en fusionnant le module de transfert de pose avec un réseau de raffinement génératif, offrant des images plus nettes et plus réalistes.

Le workflow est divisé en trois étapes :

1. Détection de pose :extrayez les points clés 2D des séquences source et cible.
2. Normalisation globale des poses :alignez les squelettes sur tous les sujets.
3. Mappage de pose :synthétisez les images cibles qui correspondent à la pose source.

Pour garantir la fluidité temporelle, l’algorithme mélange la pose de l’image actuelle avec l’image générée précédemment, réduisant ainsi considérablement la gigue. Pour les entrées à faible fréquence d'images, un filtre médian est appliqué ; pour les vidéos à fréquence d'images élevée (jusqu'à 120 ips), le lissage gaussien des points clés est utilisé.

Des résultats haute fidélité sont obtenus en intégrant des réseaux contradictoires génératifs conditionnels (cGAN) formés sur plus de 20 minutes de séquences de danse amateur à haute fréquence d'images par sujet. L'architecture pix2pixHD, développée par NVIDIA, sert d'épine dorsale au pipeline de traduction d'images.

Référence :arXiv:1808.07371

La formation et l'inférence ont été effectuées sur les GPU NVIDIA GeForce GTX1080Ti et TITANXp à l'aide de PyTorch avec accélération CUDA.

Orientations futures

L'algorithme prend actuellement en charge le transfert de mouvement sur une grande variété de sujets sans nécessiter de matériel spécialisé. Cependant, une gigue occasionnelle persiste, notamment lorsque la vitesse de déplacement de la source dépasse la plage observée lors de l’entraînement. Les recherches en cours se concentrent sur l'optimisation des méthodes d'estimation de pose et l'élargissement du répertoire de mouvements pour atténuer ces artefacts.

Pour connaître les avancées associées, consultez :L'IA NVIDIA peut convertir des vidéos à 30 ips en 240 ips