L'IA traduit les signaux neuronaux en parole naturelle pour patients paralysés

De nombreuses conditions neurologiques entraînent la perte de communication, laissant les patients complètement dépendants d'appareils d'assistance. Ces dispositifs leur permettent de taper des phrases caractère par caractère jusqu'à 10 mots par minute. Cependant, cette vitesse est trop lente par rapport à la conversation quotidienne qui se déroule à environ 150 mots par minute.

Réseau de neurones récurrent

Les chercheurs ont développé un réseau de neurones récurrent pour décoder les signaux corticaux avec une représentation intermédiaire explicite de la dynamique articulatoire, et éventuellement synthétiser une parole audible.

Référence : Nature | DOI:10.1038/s41586-019-1119-1 | UC San Francisco

Le réseau de neurones est entraîné sur le son des participants prononçant des phrases à voix haute, ainsi que les signaux corticaux. Ils ont utilisé l'optimiseur ADAM pour entraîner l'algorithme. Pour la première et la deuxième étape d'entraînement, une taille de lot de 256 et 25 a été utilisée, respectivement.

Le réseau encodeur-décodeur profond empilé incorporait explicitement les signaux cérébraux pour décoder le corrélat physiologique principal de l'activité neuronale et le transformer ensuite en acoustique de la parole. Il a été optimisé pour décoder l'acoustique directement à partir des électrodes.

Synthèse vocale à partir de phrases parlées décodées neuralement | Avec l'aimable autorisation des chercheurs

Cette correspondance statistique permet la généralisation avec des ensembles de données d'entraînement limités. Les chercheurs ont été capables d'atteindre une performance satisfaisante avec 25 minutes de parole, et la performance augmentait continuellement à mesure qu'ils fournissaient plus de données.

Quelle est la suite ?

L'étude présente une méthode avancée pour adresser un grand obstacle posé par les patients souffrant de troubles neurologiques. Selon les résultats de généralisation, les locuteurs partagent une représentation d'espace d'état cinématique similaire, qui est indépendante du locuteur. La connaissance du modèle — mappage de la cinématique au son à travers les participants — peut être transférée.

Exploiter cette représentation de faible dimension de l'activité neuronale de différentes personnes pourrait faciliter l'apprentissage d'interface cerveau-ordinateur. Les résultats peuvent ouvrir de nouvelles portes pour réaliser la restauration de la parole pour les patients paralysés.

Le réseau de neurones développé dans cette étude fournit la capacité de communiquer avec des vocabulaires non contraints à un taux de parole naturel. Cette approche de synthèse vocale directe capture les éléments prosodiques de la parole, y compris l'intonation de hauteur, qui ne sont pas disponibles avec une sortie textuelle. De plus, il peut être plus facile et intuitif à apprendre à utiliser pour les patients chez qui le traitement cortical de l'articulation est encore intact.