L'IA Transforme Danseurs Amateurs en Professionnels par Transfert de Mouvement Deep Learning

• Un système deep-learning révolutionnaire peut répliquer la chorégraphie de stars de la danse sur n'importe quelle vidéo.
• Il nécessite seulement une entrée vidéo ordinaire — pas de rigs 3D coûteux ou combinaisons de motion capture — pour produire des résultats qualité studio.

L'Intelligence Artificielle remodèle les industries de l'électronique grand public à l'exploration spatiale, et cette dernière innovation montre son pouvoir transformateur dans les arts. Des chercheurs de l'Université de Californie ont développé un algorithme de transfert de mouvement qui mappe les mouvements d'un danseur source sur un interprète cible, faisant paraître même un participant occasionnel comme une ballerine chevronnée ou une icône pop.

L'idée centrale est simple : « Fais comme je fais. » En quelques minutes, le système peut superposer des mouvements de danse professionnels sur un sujet cible, ouvrant de nouvelles possibilités créatives pour interprètes, éducateurs et créateurs de contenu.

Comment Fonctionne la Technologie

Le processus commence par l'extraction de squelettes de pose basés sur points-clés depuis les vidéos source et cible. Ces figures bâton de pose fournissent une représentation légère, agnostique à l'apparence, de la position du corps, permettant au modèle de se concentrer uniquement sur le mouvement.

La pose de chaque image est générée par un algorithme d'estimation de pose supervisé, produisant des figures bâton précises. Le modèle de transfert de mouvement ingère alors ces squelettes, générant des images cibles qui imitent la pose du source tout en préservant l'apparence de la cible. La sortie finale est raffinée en fusionnant le module de transfert de pose avec un réseau de raffinement génératif, livrant des images plus nettes, plus réalistes.

Le flux de travail se divise en trois étapes :

1. Détection de pose – extraire points-clés 2D des deux séquences source et cible.
2. Normalisation globale de pose – aligner les squelettes à travers les sujets.
3. Mapping de pose – synthétiser images cibles qui correspondent à la pose source.

Pour assurer la fluidité temporelle, l'algorithme mélange la pose de l'image courante avec l'image précédemment générée, réduisant dramatiquement le tremblement. Pour entrées à bas framerate, un filtre médian est appliqué ; pour vidéos haut framerate (jusqu'à 120 fps), un lissage gaussien des points-clés est utilisé.

Des résultats haute fidélité sont atteints en intégrant des Réseaux Adversariaux Génératifs Conditionnels (cGANs) entraînés sur plus de 20 minutes de séquences de danse amateur haut framerate par sujet. L'architecture pix2pixHD, développée par NVIDIA, sert de backbone pour le pipeline de traduction d'image.

Référence : arXiv:1808.07371

L'entraînement et l'inférence ont été effectués sur GPUs NVIDIA GeForce GTX 1080 Ti et TITAN Xp utilisant PyTorch avec accélération CUDA.

Directions Futures

L'algorithme supporte actuellement le transfert de mouvement à travers une grande variété de sujets sans besoin de matériel spécialisé. Cependant, du tremblement occasionnel persiste, surtout quand la vitesse de mouvement du source dépasse la plage vue pendant l'entraînement. La recherche en cours se concentre sur l'optimisation des méthodes d'estimation de pose et l'expansion du répertoire de mouvement pour atténuer ces artefacts.

Pour percées connexes, voir : NVIDIA IA Peut Convertir Vidéos 30fps En 240fps