Capteur cutané poignet avancé traduisant les mouvements des doigts en main virtuelle 3D temps réel

Un capteur électronique cutané monocanal motorisé a été développé qui peut capturer le mouvement humain à distance. Le capteur de contrainte, placé au poignet, décode les mouvements complexes des cinq doigts en temps réel avec une main virtuelle 3D qui miroite les mouvements originaux. Le réseau de neurones profond boosté par l'apprentissage rapide de situation (RSL) assure un fonctionnement stable quel que soit sa position sur la surface de la peau.

Les approches conventionnelles nécessitent des réseaux de capteurs multiples couvrant les surfaces curvilignes entières de la zone cible. Contrairement à la fabrication conventionnelle sur wafer, cette fabrication laser fournit un nouveau paradigme de détection pour le suivi de mouvement. Le système de mesure extrait les signaux correspondant à de multiples mouvements des doigts en générant des fissures dans des films de nanoparticules métalliques en utilisant la technologie laser. Le patch de capteur a ensuite été attaché au poignet d'un utilisateur pour détecter le mouvement des doigts.

Le concept de cette recherche est parti de l'idée que cibler une zone unique serait plus efficace pour identifier les mouvements qu'en fixant des capteurs sur chaque articulation et muscle. Pour que cette stratégie de ciblage fonctionne, il faut capturer avec précision les signaux provenant de différentes zones au point où ils convergent tous, puis découpler l'information emmêlée dans les signaux convergents. Pour maximiser l'utilisabilité et la mobilité des utilisateurs, l'équipe de recherche a utilisé un capteur monocanal pour générer les signaux correspondant aux mouvements complexes de la main.

Le système RSL collecte des données à partir de parties arbitraires du poignet et entraîne automatiquement le modèle en temps réel avec une démonstration d'une main virtuelle 3D qui miroite les mouvements originaux. Pour améliorer la sensibilité du capteur, les chercheurs ont utilisé la fissuration nano-échelle induite par laser.

Ce système sensoriel peut suivre le mouvement de tout le corps avec un petit réseau sensoriel et faciliter la mesure indirecte à distance des mouvements humains, applicable pour les systèmes VR/AR portables. L'équipe de recherche a analysé les motifs de signaux du capteur dans un espace latent encapsulant le comportement temporel du capteur, puis a mappé les vecteurs latents vers des espaces métriques de mouvement des doigts.

Le système est extensible à d'autres parties du corps ; par exemple, il est capable d'extraire les mouvements de marche à partir du bassin. Cette technologie devrait trouver des utilisations dans la surveillance de santé, le suivi de mouvement et la robotique souple.