Un nouveau portable vous permet de contrôler des machines et des robots avec des gestes simples, même en mouvement

INITIÉ AU Motion Design

Le système portable collé sur un brassard en tissu. (Image :Les chercheurs)

Des ingénieurs de l'Université de Californie à San Diego ont développé un système portable de nouvelle génération qui permet aux utilisateurs de contrôler des machines à l'aide de gestes quotidiens, même en courant, en conduisant une voiture ou en flottant sur les vagues turbulentes de l'océan.

Le système, décrit dans le numéro du 17 novembre 2025 de Nature Sensors , combine l'électronique extensible avec l'intelligence artificielle pour relever un défi de longue date en matière de technologie portable :la reconnaissance fiable des signaux gestuels dans des environnements réels.

Les technologies portables dotées de capteurs gestuels fonctionnent bien lorsqu'un utilisateur est assis, mais les signaux commencent à se désagréger en raison d'un bruit de mouvement excessif, a expliqué le co-premier auteur de l'étude, Xiangjun Chen, chercheur postdoctoral au département de chimie et de nano-ingénierie de la famille Aiiso Yufeng Li à l'école d'ingénierie Jacobs de l'UC San Diego. Cela limite leur praticité dans la vie quotidienne. "Notre système surmonte cette limitation", a déclaré Chen. "En intégrant l'IA pour nettoyer les données des capteurs bruyants en temps réel, la technologie permet aux gestes quotidiens de contrôler de manière fiable les machines, même dans des environnements très dynamiques."

La technologie pourrait permettre aux patients en rééducation ou aux personnes à mobilité réduite, par exemple, d'utiliser des gestes naturels pour contrôler des aides robotiques sans faire appel à la motricité fine. Les travailleurs industriels et les premiers intervenants pourraient potentiellement utiliser cette technologie pour contrôler mains libres des outils et des robots dans des environnements dangereux ou à fort mouvement. Il pourrait même permettre aux plongeurs et aux opérateurs à distance de commander des robots sous-marins malgré des conditions turbulentes. Dans les appareils grand public, le système pourrait rendre les commandes basées sur les gestes plus fiables dans les environnements quotidiens.

Ce travail est le fruit d'une collaboration entre les laboratoires de Sheng Xu et Joseph Wang, tous deux professeurs du département de génie chimique et nano de la famille Aiiso Yufeng Li à la Jacobs School of Engineering de l'UC San Diego.

À la connaissance des chercheurs, il s’agit de la première interface homme-machine portable qui fonctionne de manière fiable sur un large éventail de perturbations du mouvement. En conséquence, cela peut fonctionner avec la façon dont les gens se déplacent réellement.

L'appareil est un patch électronique souple collé sur un brassard en tissu. Il intègre des capteurs de mouvement et musculaires, un microcontrôleur Bluetooth et une batterie extensible dans un système compact et multicouche. Le système a été formé à partir d’un ensemble de données composites de gestes et de conditions réelles, depuis la course et les secousses jusqu’au mouvement des vagues océaniques. Les signaux provenant du bras sont capturés et traités par un cadre d'apprentissage profond personnalisé qui élimine les interférences, interprète le geste et transmet une commande pour contrôler une machine telle qu'un bras robotique, en temps réel.

Le système a été testé dans plusieurs conditions dynamiques. Les sujets ont utilisé l'appareil pour contrôler un bras robotique pendant qu'ils couraient, exposés à des vibrations à haute fréquence et soumis à une combinaison de perturbations. L’appareil a également été validé dans des conditions océaniques simulées à l’aide du simulateur de recherche Scripps océan-atmosphère de la Scripps Institution of Oceanography de l’UC San Diego, qui a recréé le mouvement de la mer généré en laboratoire et réel. Dans tous les cas, le système a fourni des performances précises et à faible latence.

À l’origine, ce projet était inspiré par l’idée d’aider les plongeurs militaires à contrôler des robots sous-marins. Mais l’équipe s’est vite rendu compte que l’interférence due au mouvement n’était pas seulement un problème propre aux environnements sous-marins. Il s'agit d'un défi commun à l'ensemble du domaine des technologies portables, qui a longtemps limité les performances de ces systèmes dans la vie quotidienne.

"Ce travail établit une nouvelle méthode de tolérance au bruit dans les capteurs portables", a déclaré Chen. "Cela ouvre la voie à des systèmes portables de nouvelle génération qui sont non seulement extensibles et sans fil, mais également capables d'apprendre à partir d'environnements complexes et d'utilisateurs individuels."

Source