L'IA de Facebook transforme la musique entre genres et instruments

L'équipe Facebook AI Research construit un réseau universel de traduction musicale.

Il réplique l'audio qu'il entend et le rejoue dans divers styles, genres et instruments.

Il traite des sources musicales inédites (applaudissements, sifflements) et produit un audio haute qualité.

Comment ont-ils fait ?

Ce système IA repose sur deux technologies récentes :

1. Synthèse audio haute qualité par modèles auto-régressifs
2. Transformation entre domaines de manière non supervisée

Les modèles auto-régressifs sont entraînés comme décodeurs et produisent des audios réalistes de haute qualité. La 2e technologie rend les choses plus pratiques, car gérer les problèmes d'apprentissage en environnement supervisé nécessiterait un vaste jeu de données de nombreux instruments.

Les chercheurs ont développé et appliqué un encodeur universel à chaque entrée. Cela a supprimé la charge d'entraîner tout le réseau, et permis la conversion de domaines musicaux inédits vers n'importe quel autre domaine rencontré.

Ils ont entraîné l'encodeur universel [via réseau de confusion de domaine] en s'assurant que les données spécifiques au domaine ne sont pas encodées. L'encodeur ne mémorise pas l'entrée, mais l'encode sémantiquement. Pour ce faire, ils ont distordu le signal d'entrée (format audio) par modulation locale aléatoire de hauteur.

Référence : arXiv:1805.07848

Comme le réseau est entraîné comme auto-encodeur débruiteur, il récupère la forme non déformée du signal original. Le système apprend progressivement à projeter les signaux hors domaine vers le domaine de sortie approprié.

Entraînement sur 6 types de domaines musicaux classiques, milliers d'échantillons par domaine. Exécution cuDNN-accéléré PyTorch sur 8 GPU NVIDIA Tesla V100. 8 jours pour entraîner complètement.

Résultats

L'IA n'égale pas les musiciens professionnels, mais souvent les auditeurs peinent à dire quel audio est original et lequel est artificiel.

Le système traite efficacement des sources musicales inédites (applaudissements, sifflements) et produit un audio supérieur. On peut intégrer de nouveaux instruments sans réentraîner tout le réseau.

Selon les développeurs, leur travail pourrait ouvrir la voie à d'autres tâches complexes : composition et transcription automatiques de musique. On peut rendre les décodeurs plus « créatifs » en réduisant la taille de l'espace latent, générant des sorties naturelles excitantes où l'association avec l'audio original est perdue.