Questions et réponses :la plate-forme convertit les écouteurs de stupides en intelligents

La différence entre les écouteurs intelligents et stupides est que les écouteurs intelligents vont au-delà de la lecture de musique - ils peuvent être des moniteurs physiologiques et des écrans tactiles virtuels. Xiaoran Fan, alors doctorant à l'université Rutgers, a dirigé une équipe de chercheurs qui a développé une méthode appelée HeadFi qui utilise des écouteurs ordinaires comme capteurs.

Fiches techniques : Comment ce projet a-t-il démarré ?

Fan de Xiaoran : Je suis un audiophile, donc je me suis intéressé aux écouteurs. Bien que des écouteurs simples et simples soient utilisés pour des applications telles que les mélangeurs de studio et l'audio domestique, nous avons récemment vu des écouteurs intelligents d'Apple, Samsung et Microsoft.

Nous avons toujours su que les haut-parleurs des écouteurs fonctionnent en principe de la même manière que les microphones, donc dans un certain sens, ils sont réciproques. Étant donné que les microphones peuvent détecter les signaux, cela signifie que les écouteurs peuvent également le faire par défaut. Ainsi, bien que les écouteurs aient le potentiel d'être intelligents, personne n'avait encore utilisé ce QI. C'était l'incitation initiale qui m'a lancé dans cette direction. De plus, mon conseiller, Rich Howard, a passé sa vie à faire de petites mesures de signaux, alors quand je lui ai parlé de cette idée, il m'a indiqué quelques méthodes que je pourrais essayer. Ensuite, j'ai plongé et après de nombreuses explorations et expérimentations, nous avons pu publier un article sur notre travail.

Fiches techniques : Comment les écouteurs sont-ils utilisés comme microphones ?

Fan : Le pilote lui-même est compliqué - il a une résistance, une capacité et une inductance - c'est un système d'impédance complexe. La technologie exacte dépend du type de casque que vous possédez, mais fondamentalement, tous ne sont que des transducteurs qui convertissent les signaux électriques en signaux mécaniques. Ces transducteurs peuvent en principe être amenés à fonctionner en sens inverse. Les signaux mécaniques pourraient faire vibrer le diaphragme, ce qui déplacerait la bobine acoustique d'avant en arrière pour générer des signaux électriques; donc, en principe, ils sont réciproques.

Mais le problème est que les écouteurs sont optimisés pour jouer de la musique — le signal musical est dominant. Bien que vous puissiez enregistrer un signal d'excitation de l'extérieur en même temps, il pourrait être 1000 fois plus petit que le signal musical. Ainsi, le défi était de savoir comment effectuer une tâche de détection pendant que le casque jouait encore de la musique. Si nous ne pouvons pas le faire et que l'utilisateur doit arrêter la musique pour utiliser la fonction de détection, cela n'est pas utile.

Donc, nous avons fait quelque chose de très intéressant. Les écouteurs sont livrés par paires, avec un pilote gauche et un pilote droit. Nous avons profité du fait que les écouteurs sont fabriqués pour que les haut-parleurs gauche et droit correspondent l'un à l'autre. Cela signifie que les signaux sonores des deux sont équilibrés. Nous pouvons donc utiliser le signal d'entrée du pilote gauche pour annuler le signal d'entrée du pilote droit en utilisant le fait que nous connaissons le signal musical exact que nous jouons pour les deux canaux. Si, par conséquent, il y a une différence entre les sorties des pilotes gauche et droit, la soustraction des sorties produira un signal de différence.

Disons que je parle - les deux écouteurs capteront ma voix mais la voix de ma bouche vers le conducteur gauche et la voix de ma bouche vers le conducteur droit se propagent à travers différents canaux. Le canal physique entre ma voix et mon oreille gauche et celui entre ma voix et l'oreille droite ne sont pas les mêmes. C'est parce que mes os et mes tissus sont structurés différemment de gauche à droite.

Donc, si vous faites une soustraction, il y aura une différence entre les pilotes gauche et droit, qui peut être capturée. Cette soustraction annule les signaux musicaux mais nous permet de capturer le différentiel du signal de détection. Nous pouvons utiliser cette petite information pour faire quelque chose.

Fiches techniques :Pourriez-vous m'expliquer comment vous pourriez utiliser les écouteurs pour mesurer des choses comme l'identification de l'utilisateur ; surveiller la fréquence cardiaque; et reconnaître les gestes.

Ventilateur  :Nous avons en fait présenté quatre applications dans notre article :la reconnaissance gestuelle, la surveillance de la fréquence cardiaque, l'identification de l'utilisateur, et aussi - la plus simple - la communication vocale.

Prenons l'exemple de la surveillance de la fréquence cardiaque. Lorsque vous vous dépêchez, votre cœur bat la chamade. Il produit une vibration mécanique dans tout votre corps, que le casque peut capter.

Mais tout comme pour la voix, les canaux de votre cœur vers l'écouteur gauche et vers l'écouteur droit sont différents. En faisant passer le signal de différence par notre algorithme, nous pouvons trouver la période de votre fréquence cardiaque.

En ce qui concerne la reconnaissance gestuelle, disons que vous appuyez ou touchez le boîtier droit du casque. Le conducteur droit recevra le signal tactile, mais le conducteur gauche recevra un signal tactile beaucoup plus faible. Après avoir fait la soustraction, vous connaîtrez la phase. Si le front montant est dans une direction, cela signifie que c'est le bon téléphone, si le front montant est dans l'autre sens, c'est une touche à gauche.

Mais il existe d'autres façons plus avancées de définir un geste. Par exemple, le signal produit par une rayure sera plus compliqué. Dans ce cas, vous pouvez appliquer certaines méthodes d'apprentissage en profondeur pour apprendre le modèle de signal afin d'identifier le geste.

Mais je pense que l'application la plus intéressante est l'identification de l'utilisateur. La façon dont cela fonctionne est que le casque génère un signal de balayage - balayant une bande de fréquences et envoyant le signal dans votre oreille. Le signal se propage dans votre conduit auditif, se réfléchit et est capturé par le même pilote de casque qui l'a généré. Les haut-parleurs gauche et droit capturent tous les deux le signal et effectuent la soustraction. La partie intéressante est que le conduit auditif de chacun a une structure différente - c'est comme une empreinte digitale - ce qui signifie que l'écho reçu par les écouteurs sera différent pour tout le monde. Ce qui le rend encore plus intéressant, c'est que pour tout le monde, les conduits auditifs gauche et droit sont différents, donc si vous faites la soustraction, il y a un signal de différence. Et cette différence est également différente d'une personne à l'autre, même entre des jumeaux identiques. Nous avons fait des expériences avec des jumeaux identiques et nous avons eu un taux de réussite de plus de 95 %. Je pense que c'est une partie intéressante de l'application.

Fiches techniques :Pourquoi utilisez-vous un signal haute fréquence ?

Ventilateur :La raison pour laquelle nous générons une fréquence élevée est que c'est un peu comme un scanner - un scanner à ultrasons. Nous balayons une gamme de fréquences parce que notre conduit auditif a des structures différentes que les fréquences plus élevées peuvent explorer avec une meilleure résolution, afin d'identifier la forme distinctive d'un conduit auditif particulier. Nous balayons les fréquences pour trouver celle qui nous donne les meilleurs résultats pour cette oreille.

Fiches techniques  : Comment génère-t-on le signal de balayage ?

Ventilateur :Un générateur de chirp est inclus dans notre logiciel.

Nous avons un processus entièrement automatisé. Il y a deux étapes. La première étape consiste à détecter si vos écouteurs sont sur votre tête, puis vous lancez l'application.

Nous utilisons une astuce intéressante pour vérifier si les écouteurs sont sur votre tête. Il est basé sur l'effet coquillage. Lorsque vous marchez sur le rivage, si vous ramassez un coquillage et que vous le serrez près de votre oreille, vous entendez quelque chose comme un bruit de mer. C'est parce que le coquillage et votre conduit auditif forment une enceinte d'espace semi-étanche qui résonne et amplifie certaines fréquences.

C'est pareil avec les écouteurs. Lorsque vous avez le casque sur votre oreille, certaines fréquences ont été amplifiées et nous pouvons détecter si le casque est ou non sur votre oreille en regardant simplement la force du signal à différentes fréquences. Si le casque est sur votre tête, nous commençons à envoyer un bip.

Mais nous ne sommes pas limités à ces quatre applications. Nous pourrions également effectuer des mesures telles que le nombre de pas et la surveillance de la respiration.

Fiches techniques  :Comment sauriez-vous si une entrée provient des pas ou de la respiration ?

Ventilateur  :Les signaux seraient différents les uns des autres, vous pourriez donc utiliser un modèle d'apprentissage en profondeur pour les distinguer.

Cela pourrait également être utilisé pour les soins aux personnes âgées. Il pourrait reconnaître si une personne est tombée, nous devrions donc appeler le 911. Nous prévoyons également de travailler là-dessus.

La principale contribution intellectuelle de notre projet est que nous avons présenté une plate-forme qui peut rendre les écouteurs d'origine intelligents, ce qui permet un éventail d'applications possibles. À un niveau élevé, cette technologie peut permettre une interface homme/casque/réseau omniprésente, car de nombreux écouteurs "stupides" existants pourraient bénéficier de HeadFi.

Fiches techniques :Quand vous dites plate-forme, vous voulez dire logiciel ?

Ventilateur :C'est une solution logicielle/matérielle. Le matériel est un pont de Wheatstone pour faire l'annulation entre les pilotes gauche et droit. Après cela, nous devons effectuer le traitement du signal pour des tâches telles que la classification, y compris la prise en charge de la machine vectorielle ou des frameworks d'apprentissage en profondeur. Ainsi, bien qu'il s'agisse d'une solution combinée logiciel/matériel, le matériel peut être extrêmement simple, aussi simple que deux résistances.

Fiches techniques :Vous avez un adaptateur que vous branchez ?

Ventilateur :Oui, c'est notre prototype actuel du matériel.

Fiches techniques :Et puis il faudrait concevoir une appli à télécharger charger dans le smartphone ?

Ventilateur  :Oui, l'adaptateur que nous utilisons actuellement dispose d'une connexion USB de type C, ce qui est assez courant avec les écouteurs et les téléphones portables en ce moment.

Fiches techniques  :Avez-vous une idée approximative de la date à laquelle cela pourrait être commercialisé ?

Ventilateur :Nous utilisons le site Web du centre de commercialisation Rutgers pour rechercher un partenaire en ce moment et explorons des partenaires potentiels comme Apple ou Samsung ou Microsoft. Nous développons également du matériel mis à niveau, car notre adaptateur actuel n'est qu'une carte de circuit imprimé ouverte. Jusqu'à présent, nous avons pu réduire la taille de la planche à ce moment à 3 cm x 2 cm. Nous visons à le rendre plug and play et nous écrivons également un logiciel Android pour le rendre facile à démontrer.

Une version modifiée de cette interview a été publiée dans le numéro de mai 2021 de Tech Briefs.