L'écouteur suit les expressions faciales, même avec un masque facial

Les chercheurs ont inventé un écouteur qui peut suivre en continu les expressions faciales complètes en observant le contour des joues – et peut ensuite traduire les expressions en emojis ou en commandes vocales silencieuses. Avec l'appareil monté sur l'oreille (appelé C-Face), les utilisateurs pouvaient exprimer des émotions à des collaborateurs en ligne sans tenir de caméra devant leur visage - un outil de communication particulièrement utile car une grande partie du monde s'engage dans le travail ou l'apprentissage à distance.

L'appareil est plus simple, moins intrusif et plus performant que les technologies portables existantes montées sur l'oreille pour suivre les expressions faciales. Dans les technologies portables précédentes visant à reconnaître les expressions faciales, la plupart des solutions nécessitaient de fixer des capteurs sur le visage ; même avec autant d'instruments, ils ne pouvaient reconnaître qu'un ensemble limité d'expressions faciales discrètes.

Avec C-Face, les avatars dans les environnements de réalité virtuelle pourraient exprimer ce que ressentent réellement leurs utilisateurs et les instructeurs pourraient obtenir des informations précieuses sur l'engagement des étudiants pendant les cours en ligne. Il pourrait également être utilisé pour diriger un système informatique, tel qu'un lecteur de musique, en utilisant uniquement des signaux faciaux. Parce qu'il fonctionne en détectant les mouvements musculaires, C-Face peut capturer les expressions faciales même lorsque les utilisateurs portent des masques.

L'appareil se compose de deux caméras RVB miniatures - des appareils photo numériques qui capturent des bandes de lumière rouge, verte et bleue - positionnées sous chaque oreille avec des écouteurs ou des écouteurs. Les caméras enregistrent les modifications des contours du visage causées par le mouvement des muscles faciaux. Lors de l'exécution d'une expression faciale, les muscles faciaux s'étirent et se contractent, poussant et tirant la peau et affectant la tension des muscles faciaux voisins. Cet effet modifie le contour des joues (contours) du point de vue de l'oreille.

Une fois les images capturées, elles sont reconstruites à l'aide de la vision par ordinateur et d'un modèle d'apprentissage en profondeur. Étant donné que les données brutes sont en 2D, un réseau neuronal convolutif - une sorte de modèle d'intelligence artificielle qui est bon pour classer, détecter et récupérer des images - aide à reconstruire les contours en expressions. Le modèle traduit les images des joues en 42 points caractéristiques du visage, ou points de repère, représentant les formes et les positions de la bouche, des yeux et des sourcils, car ces caractéristiques sont les plus affectées par les changements d'expression.

En raison des restrictions causées par la pandémie de COVID-19, les chercheurs n'ont pu tester l'appareil que sur neuf participants. Ils ont comparé ses performances avec une bibliothèque de vision par ordinateur à la pointe de la technologie, qui extrait des repères faciaux à partir de l'image d'un visage complet capturée par des caméras frontales. L'erreur moyenne des points de repère reconstruits était inférieure à 0,8 mm.

Ces expressions faciales reconstruites représentées par 42 points caractéristiques peuvent également être traduites en huit émojis, dont "naturel" et "en colère", ainsi qu'en huit commandes vocales silencieuses conçues pour contrôler un appareil musical telles que "jouer", "chanson suivante" et " augmenter le volume."

La possibilité de diriger des appareils à l'aide d'expressions faciales pourrait être utile pour travailler dans des espaces de travail partagés, par exemple, où les gens pourraient ne pas vouloir déranger les autres en parlant à haute voix. La traduction d'expressions en émoticônes pourrait aider ceux qui participent à des collaborations en réalité virtuelle à communiquer de manière plus fluide.

L'une des limites de C-Face est la capacité limitée de la batterie des écouteurs. Comme prochaine étape, l'équipe prévoit de travailler sur une technologie de détection qui consomme moins d'énergie.