Les appareils à faible consommation peuvent écouter avec une cochlée en silicone

À mesure que nous évoluons vers une détection et une informatique toujours plus omniprésentes, la puissance devient de plus en plus importante. Il n'y a peut-être pas de meilleur exemple où cela est important que les appareils à commande vocale sur nos bureaux, dans nos poches et distribués dans nos maisons. Comme nous l'avons vu l'année dernière, le repérage de mots clés en particulier est actuellement une cible pour toutes sortes de technologies neuromorphiques.

La cochlée en silicium

Le lauréat 2020 du prix Misha Mahowald pour l'ingénierie neuromorphique est le professeur Shih-Chii Liu et son équipe, qui ont travaillé sur des capteurs à faible latence et faible puissance pour détecter la parole. Les capteurs audio dynamiques que Shih-Chii Liu et son équipe de l'Institut de neuroinformatique (INI) ont mis au point pourraient à terme s'adresser à ce marché. À leur cœur se trouve une cochlée en silicium conçue pour imiter la biologie. Tout d'abord, le son entrant est filtré dans des canaux de fréquence à l'aide d'un ensemble de filtres passe-bande analogiques, dont la sortie est rectifiée sur une demi-onde. Ensemble, cela émule la fonction des cellules ciliées dans l'oreille.

Dans un système audio conventionnel, le son est d'abord converti à l'aide d'un convertisseur analogique-numérique, puis les caractéristiques sont extraites à l'aide de la transformée de Fourier rapide numérique (FFT) et du filtrage passe-bande (BPF). Ceux-ci sont traités par un processeur de signal numérique (DSP) exécutant une détection d'activité vocale (VAD) ou des algorithmes de reconnaissance automatique de la parole. B. Dans le capteur audio dynamique INI-Zurich, le signal est reçu sous forme de bandes audio analogiques provenant des fonctionnalités avec et les modifications sont codées, en parallèle, en trains de pics asynchrones (événements), qui sont ensuite traités.

Comme cela se produit en biologie, les différents canaux sont alors préparés pour le traitement dans le cerveau. Dans l'oreille, les cellules ganglionnaires codent les signaux sous la forme d'un afflux d'ions chimiques :dans la cochlée de silicium, ils sont transformés en pointes électriques. Cela peut être fait en utilisant soit une fonction classique d'intégration et de déclenchement, soit un modulateur delta asynchrone (ADM) qui compare le signal à deux seuils et envoie les événements appropriés au fur et à mesure de leur passage, agissant ainsi comme un extracteur de caractéristiques. Étant donné que les signaux immuables sont ignorés, la quantité d'informations redondantes transmises à l'étape suivante est réduite.

D'un point de vue énergétique, si rien ne se passe, la cochlée en silicium dépense à peine de l'énergie, mais à mesure que l'activité augmente, le nombre de pointes augmente également. Selon l'application, cela peut être un énorme avantage (s'il y a beaucoup d'écoute mais très peu d'action) ou aucun avantage du tout (quand il y a des trucs pertinents à décoder tout le temps).

Cependant, en tant que capteur audio fonctionnant dans le régime de faible µW, la puce pourrait offrir aux concepteurs de systèmes une option précieuse pour augmenter l'efficacité énergétique. Il permet également une plage dynamique très élevée, car il existe une portée presque infinie pour que les pointes soient éloignées ou rapprochées car elles fonctionnent en temps continu.

Reconnaissance vocale

Une partie essentielle de ce travail a consisté à démontrer l'utilité . Plus précisément, les flux d'événements produits par la cochlée de silicium peuvent être utilisés dans des applications réelles telles que la détection d'activité vocale, la première étape de la reconnaissance de mots clés. Liu et son équipe ont réussi à le faire en utilisant la sortie d'événement pour créer des trames de données 2D :des histogrammes des pics arrivant, par fréquence, disposés sur les 5 ms de la trame. Appelés cochléagrammes, ceux-ci peuvent être lus dans un réseau de neurones et leur signification décodée à partir de là.

Selon Liu, « l'utilisation de réseaux profonds sur un capteur est d'un grand intérêt pour la communauté IEEE ISSCC et très opportune compte tenu de l'énorme intérêt actuel pour l'informatique de périphérie audio. » Il y a eu de nombreux articles sur les ASIC de faible puissance pour le repérage de mots-clés, dit-elle, mais ceux-ci utilisent des fonctionnalités classiques de type spectrogramme. L'un de ses objectifs, "est de montrer que les solutions hybrides (conceptions mixtes de signaux analogiques) pourraient conduire à des solutions de conception encore plus basse consommation avec des réponses à plus faible latence."

L'année dernière, INI a publié une vidéo montrant le système reconnaissant les chiffres (vous pouvez voir Liu à partir d'environ 2:06). C'est loin d'être infaillible, mais c'est aussi encore relativement tôt dans le développement du système. L'équipe, qui comprenait Minhao Yang, Chang Gao, Enea Ceolini, Adrian Huber, Jithendar Anumula, Ilya Kiselev et Daniel Neil au fil des ans, a également expérimenté la fusion de capteurs :Liu et ses collègues ont combiné des informations audio et visuelles pour effectuer une classification. plus fiable [1]. Ils ont publié des règles de conception initiales pour choisir quand les capteurs analogiques sont avantageux et quand il vaut mieux s'en tenir au numérique [2].

Misha Mahowald, l'un des inventeurs de la représentation adresse-événement, et pour qui le Prix de l'Ingénierie Neuromorphique est nommé.

Un autre effort constant a consisté à améliorer l'efficacité énergétique et les performances du DAS. Une partie de cela a impliqué l'examen de la mise en œuvre des fonctions individuelles, des filtres passe-bande basés sur le suiveur de source à la conception des extracteurs de caractéristiques analogiques.

La réduction de l'effet de la variabilité dans l'électronique analogique a été un autre domaine de recherche important. Pour aider à cela, ils ont construit un émulateur matériel qu'ils pourraient utiliser pour tester ces problèmes beaucoup plus rapidement, disent-ils, qu'avec un logiciel commercial tel que Cadence Virtuoso. En entraînant le réseau neuronal binaire qu'ils utilisent pour la classification à partir du logiciel plutôt que du matériel, ils ont pu prédire avec précision les performances de classification sur une gamme de puces de test réelles [3]. Ils cherchent maintenant à ajouter du bruit au système comme proxy de la variabilité pour rendre le processus de conception encore plus robuste.

Prix Mahowald

Liu a été l'un des premiers chercheurs en ingénierie neuromorphique; elle a non seulement travaillé avec dans le laboratoire de Carver Mead à Caltech (où Mahowald avait travaillé), mais a été membre fondateur de l'Institut de neuroinformatique lorsque de nombreux membres du groupe ont quitté la Californie pour Zurich.

En remportant le prix, Liu a déclaré :« C'est un grand honneur pour nous de recevoir ce prix, en particulier avec autant de bons chercheurs en ingénierie neuromorphique. Le travail s'est appuyé sur des décennies de conception précoce de la cochlée en silicium s'étendant de Dick Lyon, Carver Mead, Lloyd Watts, Rahul Sarpeshkar, Eric Vittoz et Andre van Schaik. »

Sur l'importance de l'ingénierie neuromorphique, dit-elle, "Même à la fin de la loi de Moore, le calcul numérique sera en retard d'au moins un facteur mille par rapport à l'efficacité énergétique de la biologie. Ainsi, l'efficacité potentielle des systèmes électroniques analogiques hybrides tels que le DAS devient plus importante que jamais. »

Références

[1] D. Neil et S. C. Liu, « Fusion efficace des capteurs avec des capteurs basés sur des événements et des architectures de réseaux profonds », dans Actes - IEEE International Symposium on Circuits and Systems , juillet 2016, vol. 2016-juillet, pp. 2282-2285, doi:10.1109/ISCAS.2016.7539039.

[2] S. C. Liu, B. Rueckauer, E. Ceolini, A. Huber et T. Delbruck, « Détection événementielle pour une perception efficace :algorithmes de vision et d'audition », Processus de signal IEEE. Mag. , vol. 36, non. 6, p. 29-37, novembre 2019, doi :10.1109/MSP.2019.2928127.

[3] M. Yang, S.-C. Liu, M. Seok et C. Enz, « Détection acoustique intelligente à ultra-basse puissance utilisant l'extraction de caractéristiques inspirée de la cochlée et la classification DNN. »

[4] M. Yang, CH Chien, T. Delbruck et SC Liu, "Une cochlée de silicium binaurale 0,5 V 55 W 64 × 2 canaux pour la détection audio stéréo pilotée par les événements", IEEE J. Solid-State Circuits , vol. 51, non. 11, pp. 2554-2569, novembre 2016, doi:10.1109/JSSC.2016.2604285.

>> Cet article a été initialement publié le notre site partenaire, EE Times.