L'IA peut désormais composer des mouvements de danse réalistes et variés

• Les chercheurs forment un modèle d'apprentissage approfondi pour générer de nouveaux pas de danse réalistes, diversifiés et cohérents dans le style.
• Il peut aider et développer la création de contenu dans plusieurs domaines, tels que la gymnastique rythmique et les représentations théâtrales.

Au fur et à mesure que les scientifiques avancent progressivement les ordinateurs vers des niveaux d'intelligence humains, ils ont commencé à s'attaquer à des efforts très humains. Nous avons certainement atteint un point où l'intelligence artificielle pourrait aider les chorégraphes à mélanger les choses en suggérant des milliers de styles différents.

Récemment, des chercheurs de l'Université de Californie ont développé un modèle d'apprentissage en profondeur pour générer de nouveaux pas de danse réalistes, diversifiés et cohérents dans le style. Il contient un cadre d'apprentissage de synthèse par analyse pour générer une danse adaptée aux rythmes à partir de la musique.

Construire un tel cadre de musique à danse est une tâche difficile, mais il peut aider et étendre la création de contenu dans plusieurs domaines, tels que le patinage artistique, la gymnastique rythmique et la représentation théâtrale.

Le noyau du chorégraphe IA

Pour synthétiser la danse à partir de la musique, les chercheurs ont développé un cadre de décomposition en composition, qui apprend d'abord comment se déplacer (en phase de décomposition), puis comment organiser les mouvements de base en une séquence (en phase de composition).

Dans la première phase, ils ont extrait des battements de mouvement d'une séquence de danse, à l'aide d'un détecteur de battement cinématique. Chaque séquence de danse est ensuite normalisée temporellement en une série d'unités de danse. Les unités de danse individuelles ont été démêlées en poses et mouvements initiaux.

Référence :arXiv:1911.02001 | GitHub

Dans la deuxième phase, les chercheurs ont proposé un modèle musique-mouvement pour créer une séquence de mouvements correspondant à la musique d'entrée. Au moment de l'exécution, ils ont extrait les informations sur le rythme et le style, puis ont produit de manière séquentielle une série d'unités de danse en fonction du style de musique. Enfin, ils ont déformé les unités de danse par des battements audio extraits.

Pour former le réseau, l'équipe a collecté plus de 360 ​​000 clips vidéo totalisant 71 heures. Ces vidéos comprenaient trois catégories de danse :hip-hop, zumba et ballet.

Pour traiter différentes poses, ils ont utilisé OpenPose, un système multi-personnes en temps réel pour détecter conjointement les points clés du corps humain, du visage, des mains et des pieds sur des images individuelles. Et pour l'évaluation des performances, ils ont utilisé différentes métriques pour examiner la cohérence du style, le réalisme, la diversité et la correspondance des rythmes.

Mappage des danses générées sur des vidéos photo-réalistes | Avec l'aimable autorisation des chercheurs 

Les chercheurs ont également synthétisé des séquences de poses en vidéos photo-réalistes pour mieux visualiser les résultats. L'ensemble de données de danse et de musique appariées à grande échelle ainsi que le code source sont disponibles sur le GitHub.

Lire : L'IA peut prédire la fréquentation du public en analysant une bande-annonce de film

Le réseau accusatoire génératif est formé à l'aide du framework d'apprentissage en profondeur PyTorch sur les GPU NVIDIA V100. Dans un avenir proche, les chercheurs ajouteront d'autres styles de danse (comme la danse en couple) pour rendre le système encore meilleur.