De basique à intelligent : HeadFi transforme les écouteurs ordinaires en moniteurs de santé multifonctionnels

La différence entre des écouteurs intelligents et des écouteurs classiques réside dans le fait que les premiers vont au-delà de la simple lecture musicale — ils peuvent servir de moniteurs physiologiques et d'écrans tactiles virtuels. Xiaoran Fan, alors doctorant à l'université Rutgers, a dirigé une équipe de chercheurs qui a développé une méthode appelée HeadFi, utilisant des écouteurs ordinaires comme capteurs.

Origines du projet

Tech Briefs : Comment ce projet a-t-il démarré ?

Xiaoran Fan : Je suis audiophile, donc je m'intéresse aux écouteurs depuis longtemps. Bien que des écouteurs simples soient utilisés pour des applications comme les tables de mixage en studio et l'audio domestique, nous voyons récemment apparaître des écouteurs intelligents d'Apple, Samsung et Microsoft.

Nous savons depuis toujours que les transducteurs des écouteurs fonctionnent, en principe, de manière similaire aux microphones — ils sont réciproques. Puisque les microphones peuvent capter des signaux, les écouteurs peuvent, par défaut, le faire aussi. Ainsi, bien que les écouteurs aient le potentiel d'être intelligents, personne n'avait encore exploité cette capacité. C'était l'incitation initiale. De plus, mon directeur de thèse, Rich Howard, a passé sa vie à faire des mesures de signaux faibles ; quand je lui ai parlé de cette idée, il m'a indiqué certaines méthodes à essayer. J'ai alors plongé dans la recherche et, après beaucoup d'exploration et d'expérimentation, nous avons pu publier un article sur nos travaux.

Comment les écouteurs fonctionnent comme microphones

Tech Briefs : Comment les écouteurs sont-ils utilisés comme microphones ?

Fan : Le transducteur lui-même est complexe — il possède une résistance, une capacitance et une inductance, c'est un système d'impédance complexe. La technologie exacte dépend du type d'écouteur, mais fondamentalement, tous sont des transducteurs convertissant des signaux électriques en signaux mécaniques. Ces transducteurs peuvent, en principe, fonctionner en sens inverse. Des signaux mécaniques font vibrer le diaphragme, ce qui déplace la bobine mobile d'avant en arrière pour générer des signaux électriques ; ils sont donc réciproques.

Mais le problème est que les écouteurs sont optimisés pour la lecture musicale — le signal musical est dominant. Bien qu'on puisse enregistrer un signal d'excitation externe en même temps, il peut être 1000 fois plus petit que le signal musical. Le défi était donc de réaliser une tâche de détection pendant que l'écouteur joue encore de la musique. Si l'utilisateur doit arrêter la musique pour utiliser la fonction de détection, ce n'est pas utile.

Nous avons donc fait quelque chose d'intéressant. Les écouteurs viennent par paires, avec un transducteur gauche et un droit. Nous avons exploité le fait que les écouteurs sont fabriqués pour que les transducteurs gauche et droit correspondent l'un à l'autre. Cela signifie que les signaux sonores dans les deux sont équilibrés. Nous pouvons donc utiliser le signal d'entrée du transducteur gauche pour annuler le signal d'entrée du transducteur droit, en utilisant le fait que nous connaissons le signal musical exact joué sur les deux canaux. S'il y a une différence entre les sorties des transducteurs gauche et droit, la soustraction des sorties produira un signal différentiel.

Imaginons que je parle — les deux écouteurs captureront ma voix, mais la voix de ma bouche vers le transducteur gauche et vers le transducteur droit se propage par des canaux différents. Le canal physique entre ma voix et mon oreille gauche et celui entre ma voix et mon oreille droite ne sont pas identiques, car mes os et tissus sont structurés différemment de gauche à droite.

Donc, si on fait une soustraction, il y aura une différence entre les transducteurs gauche et droit, qui peut être capturée. Cette soustraction annule les signaux musicaux mais nous permet de capturer le signal différentiel de détection. Nous pouvons utiliser ce petit morceau d'information pour faire quelque chose.

Applications : identification utilisateur, fréquence cardiaque, reconnaissance gestuelle

Tech Briefs : Pourriez-vous m'expliquer comment utiliser les écouteurs pour mesurer l'identification de l'utilisateur, le monitoring de la fréquence cardiaque et la reconnaissance de gestes ?

Fan : Nous avons présenté quatre applications dans notre article : reconnaissance gestuelle, monitoring de la fréquence cardiaque, identification de l'utilisateur, et — la plus simple — communication vocale.

Prenons le monitoring de la fréquence cardiaque comme exemple. Quand vous courez, votre cœur pompe — il produit une vibration mécanique dans tout votre corps, que les écouteurs peuvent capturer.

Mais comme pour la voix, les canaux de votre cœur vers l'écouteur gauche et vers l'écouteur droit sont différents. En faisant passer le signal différentiel dans notre algorithme, nous pouvons trouver la période de votre fréquence cardiaque.

Pour la reconnaissance gestuelle, disons que vous tapez ou touchez le boîtier droit des écouteurs. Le transducteur droit recevra le signal tactile, mais le gauche recevra un signal tactile bien plus faible. Après la soustraction, vous connaîtrez la phase. Si le front montant est dans un sens, c'est l'écouteur droit ; dans l'autre sens, c'est l'écouteur gauche.

Mais il existe des moyens plus avancés de définir un geste. Par exemple, le signal produit par un grattage sera plus complexe. Dans ce cas, on peut appliquer des méthodes d'apprentissage profond pour apprendre le motif du signal et identifier le geste.

Je pense que l'application la plus intéressante est l'identification de l'utilisateur. Le fonctionnement est le suivant : l'écouteur génère un signal de balayage — balayant une bande de fréquence et envoyant le signal dans votre oreille. Le signal se propage dans votre conduit auditif, se reflète en arrière, et est capturé par le même transducteur qui l'a généré. Les transducteurs gauche et droit capturent tous deux le signal et font la soustraction. La partie intéressante est que chaque conduit auditif a une structure différente — c'est comme une empreinte digitale — donc l'écho reçu par les écouteurs sera différent pour chacun. Ce qui le rend encore plus intéressant, c'est que pour une même personne, les conduits auditifs gauche et droit sont différents, donc la soustraction produit un signal différentiel. Et cette différence est aussi différente d'une personne à l'autre — même entre vrais jumeaux. Nous avons fait des expériences avec des jumeaux identiques et avons obtenu un taux de succès de plus de 95 %. Je trouve ça très cool.

Pourquoi un signal haute fréquence ?

Tech Briefs : Pourquoi utilisez-vous un signal haute fréquence ?

Fan : La raison pour laquelle nous générons une haute fréquence, c'est que c'est un peu comme un scanner CT — un scanner CT ultrasonore. Nous balayons une gamme de fréquences parce que notre conduit auditif a différentes structures que les hautes fréquences peuvent explorer avec une meilleure résolution, afin d'identifier la forme distinctive d'un conduit auditif particulier. Nous balayons les fréquences pour trouver celle qui donne les meilleurs résultats pour cette oreille.

Génération du signal de balayage

Tech Briefs : Comment générez-vous le signal de balayage ?

Fan : Un générateur de chirp est inclus dans notre logiciel.

Nous avons un processus entièrement automatisé en deux étapes. La première étape consiste à détecter si vos écouteurs sont sur votre tête, puis vous lancez l'application.

Nous utilisons un truc intéressant pour vérifier si les écouteurs sont sur votre tête. C'est basé sur l'effet coquillage. Quand vous marchez sur le rivage, si vous ramassez un coquillage et le collez à votre oreille, vous entendez quelque chose comme un bruit de mer. C'est parce que le coquillage et votre conduit auditif forment une enceinte semi-close qui résonne et amplifie certaines fréquences.

C'est la même chose avec les écouteurs. Quand vous avez les écouteurs sur l'oreille, certaines fréquences sont amplifiées et nous pouvons détecter si l'écouteur est sur votre oreille en regardant simplement la force du signal à différentes fréquences. Si l'écouteur est sur votre tête, nous commençons à envoyer un chirp.

Mais nous ne sommes pas limités à ces quatre applications. Nous pourrions aussi faire des mesures comme le comptage de pas et le monitoring respiratoire.

Différencier pas et respiration

Tech Briefs : Comment sauriez-vous si une entrée vient des pas ou de la respiration ?

Fan : Les signaux seraient différents l'un de l'autre, donc on pourrait utiliser un modèle d'apprentissage profond pour les distinguer.

Cela pourrait aussi servir aux soins aux personnes âgées. Il pourrait reconnaître si une personne tombe, pour appeler les urgences. Nous prévoyons de travailler là-dessus aussi.

La contribution intellectuelle centrale de notre projet est d'avoir présenté une plateforme qui rend les écouteurs standards intelligents, ce qui permet une gamme d'applications possibles. À haut niveau, cette technologie peut permettre une interface ubiquitaire humain/écouteur/réseau car tant d'écouteurs « bêtes » existants pourraient bénéficier de HeadFi.

Plateforme logicielle/matérielle

Tech Briefs : Quand vous dites plateforme, voulez-vous dire logiciel ?

Fan : C'est une solution logicielle/matérielle. Le matériel est un pont de Wheatstone pour faire l'annulation entre les transducteurs gauche et droit. Ensuite, nous devons faire du traitement de signal pour des tâches comme la classification, y compris le support vector machine ou les frameworks d'apprentissage profond. Donc, bien que ce soit une solution combinée logiciel/matériel, le matériel peut être extrêmement simple — aussi simple que deux résistances.

Tech Briefs : Vous avez un adaptateur qu'on branche ?

Fan : Oui, c'est notre prototype matériel actuel.

Tech Briefs : Et il faudrait concevoir une appli à télécharger sur le smartphone ?

Fan : Oui, l'adaptateur que nous utilisons actuellement a une connexion USB Type C, qui est assez courante avec les écouteurs et les téléphones portables actuels.

Tech Briefs : Avez-vous une idée approximative de quand cela pourrait être commercialisé ?

Fan : Nous utilisons le site du centre de commercialisation de Rutgers pour chercher un partenaire en ce moment et explorons des partenaires potentiels comme Apple, Samsung ou Microsoft. Nous développons aussi du matériel amélioré, car notre adaptateur actuel est juste un circuit imprimé ouvert. Jusqu'à présent, nous avons réussi à réduire la taille de la carte à 3 cm x 2 cm. Nous visons le plug-and-play et écrivons aussi un logiciel Android pour faciliter la démonstration.

Une version éditée de cette interview est parue dans le numéro de mai 2021 de Tech Briefs.