L'intelligence artificielle peut générer la parole à partir d'une activité neuronale

• Les chercheurs utilisent un réseau de neurones récurrents pour aider les personnes paralysées et incapables de communiquer.
• Le réseau convertit l'activité neuronale en acoustique vocale.
• Cela peut aider les patients à communiquer un vocabulaire sans contraintes à un rythme naturel.

De nombreuses affections neurologiques entraînent une perte de communication, laissant les patients entièrement dépendants des appareils fonctionnels. Ces appareils leur permettent de taper des phrases caractère par caractère jusqu'à 10 mots par minute. Cependant, cette vitesse est trop lente par rapport à une conversation quotidienne qui se déroule à environ 150 mots par minute.

Pour permettre des taux de communication bien plus élevés, voire naturels, des chercheurs de l'Université de Californie à San Francisco ont utilisé une approche biomimétique qui met l'accent sur les mouvements des voies vocales et les sons qu'ils produisent.

Ils ont montré qu'il est possible de générer de la parole synthétisée directement à partir de signaux cérébraux. Ces signaux coordonnent avec précision environ 100 muscles pour déplacer les lèvres, la langue, la mâchoire et le larynx, façonnant la respiration en sons qui finissent par former des mots et des phrases.

L'équipe a enregistré des signaux d'électrocorticographie à haute densité de 5 participants qui étaient traités pour l'épilepsie (un trouble neurologique). Tous les participants ont été invités à lire des phrases à voix haute pendant que des électrodes placées sur la surface de leur cerveau mesuraient les signaux résultants.

Réseau de neurones récurrents

Les chercheurs ont développé un réseau neuronal récurrent pour décoder les signaux corticaux avec une représentation intermédiaire explicite de la dynamique articulatoire, et éventuellement synthétiser la parole audible.

Référence :Nature | DOI :10.1038/s41586-019-1119-1 | UC San Francisco 

Le réseau neuronal est formé sur le son des participants prononçant des phrases à haute voix, ainsi que sur les signaux corticaux. Ils ont utilisé l'optimiseur ADAM pour entraîner l'algorithme. Pour la première et la deuxième étape de la formation, une taille de lot de 256 et 25 a été utilisée, respectivement.

Le réseau d'encodeur-décodeur profond empilé a explicitement incorporé les signaux cérébraux pour décoder le principal corrélat physiologique de l'activité neuronale, puis l'a transformé en acoustique de la parole. Il a été optimisé pour décoder l'acoustique directement à partir des électrodes.

Synthèse vocale à partir de phrases parlées décodées neuronalement | Avec l'aimable autorisation des chercheurs 

Cette cartographie statistique permet la généralisation avec des ensembles de données d'entraînement limités. Les chercheurs ont pu obtenir des performances satisfaisantes avec 25 minutes de discours, et les performances ont continuellement augmenté au fur et à mesure qu'ils alimentaient plus de données.

Quelle est la prochaine étape ?

L'étude présente une méthode avancée pour surmonter un grand obstacle posé par les patients souffrant de troubles neurologiques. Selon les résultats de la généralisation, les locuteurs partagent une représentation cinématique similaire de l'espace d'état, qui est indépendante du locuteur. La connaissance du modèle - mappage de la cinématique au son entre les participants - peut être transférée.

Exploiter cette représentation à faible dimension de l'activité neuronale de différentes personnes pourrait faciliter l'apprentissage de l'interface cerveau-ordinateur. Les résultats peuvent ouvrir de nouvelles portes pour réaliser la restauration de la parole pour les patients atteints de paralysie.

Lire :L'IA peut lire des documents de recherche et fournir un résumé en anglais clair

Le réseau de neurones développé dans cette étude offre la capacité de communiquer des vocabulaires sans contrainte à un rythme de parole naturel. Cette approche de synthèse vocale directe capture les éléments prosodiques de la parole, y compris l'intonation de hauteur, qui ne sont pas disponibles avec la sortie de texte. De plus, il peut être plus facile et intuitif à apprendre à utiliser pour les patients chez lesquels le traitement cortical de l'articulation est encore intact.