L'IA génère des mouvements de danse réalistes et diversifiés pour révolutionner la chorégraphie

Des chercheurs entraînent un modèle d'apprentissage profond pour générer de nouvelles étapes de danse réalistes, diversifiées et cohérentes dans le style.

Il peut assister et étendre la création de contenu dans plusieurs domaines, comme la gymnastique rythmique et la performance théâtrale.

Le cœur du chorégraphe IA

Pour synthétiser la danse à partir de la musique, les chercheurs ont développé un cadre décomposition-composition, qui apprend d'abord comment bouger (phase de décomposition) puis comment organiser les mouvements de base en séquence (phase de composition).

Dans la première phase, ils ont extrait les temps de mouvement d'une séquence de danse, en utilisant un détecteur de temps cinématique. Chaque séquence de danse est ensuite normalisée temporellement en une série d'unités de danse. Les unités de danse individuelles sont dénouées en poses initiales et mouvements.

Référence : arXiv:1911.02001 | GitHub

Dans la seconde phase, les chercheurs ont proposé un modèle musique-mouvement pour créer une séquence de mouvements correspondant à la musique d'entrée. À l'exécution, ils ont extrait les informations de temps et de style, puis produit séquentiellement une série d'unités de danse selon le style musical. Finalement, ils ont déformé les unités de danse par les temps audio extraits.

Pour entraîner le réseau, l'équipe a collecté plus de 360 000 clips vidéo totalisant 71 heures. Ces vidéos incluaient trois catégories de danse : Hip-Hop, Zumba et Ballet.

Pour traiter différentes poses, ils ont utilisé OpenPose, un système multi-personnes en temps réel pour détecter conjointement le corps humain, le visage, les mains et les points clés des pieds sur des images uniques. Et pour l'évaluation de performance, ils ont utilisé différentes métriques pour examiner la cohérence du style, le réalisme, la diversité et la correspondance aux temps.

Mappage des danses générées vers des vidéos photo-réalistes | Avec l'aimable autorisation des chercheurs

Les chercheurs ont également synthétisé des séquences de poses en vidéos photo-réalistes pour mieux visualiser les résultats. Le jeu de données de danse et musique apparié à grande échelle ainsi que le code source sont disponibles sur GitHub.

Le réseau adversarial génératif est entraîné en utilisant le framework d'apprentissage profond PyTorch sur des GPU NVIDIA V100. Dans un avenir proche, les chercheurs ajouteront plus de styles de danse (comme la danse de couple) pour rendre le système encore meilleur.