Facebook dévoile MelNet : IA qui réplique n'importe quelle voix avec précision
Le nouveau modèle d'apprentissage profond nommé MelNet peut produire l'intonation humaine avec une précision déconcertante. Une fois entraîné, il peut régénérer la voix de n'importe qui en quelques secondes. Les chercheurs démontrent avec quelle précision il peut cloner la voix de Bill Gates.
Il y a eu d'énormes avancées dans les techniques d'apprentissage automatique ces dernières années. Ces techniques ont très bien fonctionné pour reconnaître des objets, des visages et générer des images réalistes.
Cependant, quand il s'agit d'audio, l'intelligence artificielle est quelque peu décevante. Même les meilleurs systèmes de synthèse vocale manquent de fonctionnalités de base, comme les changements d'intonation. Avez-vous entendu la voix générée par machine de Stephen Hawking ? Parfois, c'est vraiment difficile de comprendre ses phrases.
Maintenant, des scientifiques de Facebook AI Research ont développé une méthode pour surmonter les limitations des systèmes de synthèse vocale existants. Ils ont construit un modèle génératif — nommé MelNet — qui peut produire l'intonation humaine avec une précision déconcertante. En fait, il peut parler couramment avec la voix de n'importe qui.
Comment MelNet diffère de la parole machine existante ?
La plupart des algorithmes d'apprentissage profond sont entraînés sur de grandes bases de données audio pour régénérer de vrais motifs de parole. Le problème majeur avec cette méthodologie est le type de données. Typiquement, ces algorithmes sont entraînés sur des enregistrements de forme d'onde audio, qui ont des structures complexes à des échelles de temps radicalement variables.
Ces enregistrements représentent comment l'amplitude du son varie avec le temps : une seconde d'audio contient des dizaines de milliers d'étapes temporelles. De telles formes d'onde reflètent des motifs particuliers à un certain nombre d'échelles différentes.
Les modèles génératifs existants de formes d'onde (tels que SampleRNN et WaveNet) ne peuvent rétropropager que sur une fraction de seconde. Par conséquent, ils ne peuvent pas capturer la structure de haut niveau qui émerge à l'échelle de plusieurs secondes.
MelNet, d'autre part, utilise des spectrogrammes (au lieu de formes d'onde audio) pour entraîner les réseaux d'apprentissage profond. Les spectrogrammes sont des représentations temps-fréquence 2D qui montrent l'ensemble du spectre des fréquences audio et comment elles varient avec le temps.
Motifs de spectrogramme et forme d'onde du même contenu audio de 4 secondes
Alors que les formes d'onde temporelles 1D capturent le changement au fil du temps d'une variable (amplitude), les spectrogrammes capturent le changement sur différentes fréquences. Ainsi, l'information audio est empaquetée plus densément dans les spectrogrammes.
Cela permet à MelNet de produire des échantillons de parole et de musique inconditionnels avec une cohérence sur plusieurs secondes. Il est également capable de génération de parole conditionnelle et de synthèse texte-parole, entièrement de bout en bout.
Référence : arXiv:1906.01083 | GitHub
Pour réduire la perte d'information et limiter le sur-lissage, ils ont modélisé des spectrogrammes haute résolution et utilisé un modèle autorégressif hautement expressif, respectivement.
Les résultats sont impressionnants
Les chercheurs ont entraîné MelNet sur de nombreux talks TED, et il a ensuite été capable de régénérer la voix de l'orateur disant des phrases aléatoires sur quelques secondes. Voici deux exemples de MelNet utilisant la voix de Bill Gates pour dire des phrases aléatoires.
« Nous frissonnons quand les événements prennent une mauvaise tournure. »
Plus d'exemples sont disponibles sur GitHub.
Bien que MelNet crée des clips audio remarquablement réalistes, il ne peut pas générer de phrases plus longues, ou de paragraphes. Néanmoins, le système pourrait améliorer l'interaction ordinateur-humain.
De nombreuses conversations de service client impliquent de courtes phrases. MelNet peut être utilisé pour automatiser de telles interactions ou remplacer le système vocal automatisé actuel pour améliorer l'expérience de l'appelant.
Sur une note négative, la technologie soulève le spectre d'une nouvelle ère de faux contenus audio. Et comme d'autres avancées en intelligence artificielle, elle soulève plus de questions éthiques qu'elle n'en résout.
