Écouteur détectant les expressions faciales même avec masque

Des chercheurs ont inventé un écouteur qui peut suivre en continu les expressions faciales complètes en observant le contour des joues — et les traduire en émojis ou commandes vocales silencieuses. Avec le dispositif monté sur l'oreille (appelé C-Face), les utilisateurs pourraient exprimer leurs émotions à des collaborateurs en ligne sans tenir de caméras devant leur visage — un outil de communication particulièrement utile alors que beaucoup du monde travaille ou apprend à distance.

Le dispositif est plus simple, moins intrusif et plus performant que les technologies portables montées sur l'oreille existantes pour le suivi des expressions faciales. Dans les technologies portables précédentes visant à reconnaître les expressions faciales, la plupart des solutions devaient fixer des capteurs sur le visage ; même avec tant d'instrumentation, elles ne pouvaient reconnaître qu'un ensemble limité d'expressions faciales discrètes.

Avec C-Face, les avatars dans les environnements de réalité virtuelle pourraient exprimer ce que leurs utilisateurs ressentent réellement et les instructeurs pourraient obtenir des informations précieuses sur l'engagement des étudiants pendant les cours en ligne. Il pourrait aussi être utilisé pour diriger un système informatique, comme un lecteur de musique, en utilisant seulement des indices faciaux. Comme il fonctionne en détectant le mouvement musculaire, C-Face capture les expressions faciales même quand les utilisateurs portent des masques.

Le dispositif consiste en deux caméras RVB miniatures — caméras numériques capturant les bandes rouge, vert, bleu de lumière — positionnées sous chaque oreille avec des écouteurs. Les caméras enregistrent les changements de contours faciaux causés quand les muscles faciaux bougent. Lors d'une expression faciale, les muscles faciaux s'étirent et se contractent, poussant et tirant la peau et affectant la tension des muscles faciaux proches. Cet effet fait altérer le contour des joues (contours) du point de vue de l'oreille.

Une fois les images capturées, elles sont reconstruites par vision par ordinateur et un modèle d'apprentissage profond. Comme les données brutes sont en 2D, un réseau de neurones convolutif — un type de modèle d'intelligence artificielle bon pour classifier, détecter et récupérer des images — aide à reconstruire les contours en expressions. Le modèle traduit les images de joues en 42 points de caractéristiques faciales, ou repères, représentant les formes et positions de la bouche, yeux, sourcils, car ces traits sont les plus affectés par les changements d'expression.

En raison des restrictions causées par la pandémie COVID-19, les chercheurs n'ont pu tester le dispositif que sur neuf participants. Ils ont comparé ses performances avec une bibliothèque de vision par ordinateur de pointe, qui extrait les repères faciaux de l'image d'un visage complet capturée par des caméras frontales. L'erreur moyenne des repères reconstruits était inférieure à 0,8 mm.

Ces expressions faciales reconstruites représentées par 42 points de caractéristiques peuvent aussi être traduites en huit émojis incluant « naturel » et « en colère » ainsi que huit commandes vocales silencieuses conçues pour contrôler un dispositif musical comme « lecture », « chanson suivante », « volume + ».

La capacité de diriger des dispositifs par expressions faciales pourrait être utile dans les espaces de travail partagés, où les gens ne veulent pas déranger les autres en parlant. Traduire les expressions en émojis pourrait aider ceux dans les collaborations en réalité virtuelle à communiquer plus fluidement.

Une limitation de C-Face est la capacité de batterie limitée des écouteurs. Comme prochaine étape, l'équipe prévoit de travailler sur une technologie de détection utilisant moins d'énergie.