Robots souples détectent le toucher humain via caméra et ombres — solution sans contact, faible coût

Des chercheurs ont créé une méthode faible coût pour des robots souples et déformables de détecter une gamme d'interactions physiques, des tapes aux coups de poing aux câlins, sans s'appuyer sur le toucher du tout. À la place, une caméra USB située à l'intérieur du robot capture les mouvements d'ombres des gestes de main sur la peau du robot et les classifie avec un logiciel d'apprentissage automatique.

Le toucher : communication importante absente de l'interaction homme-robot

Le toucher est un mode de communication important pour la plupart des organismes mais a été virtuellement absent de l'interaction homme-robot. Une des raisons est que le toucher corps entier nécessitait un nombre massif de capteurs et n'était donc pas pratique à implémenter.

Origine : robots gonflables pour évacuations d'urgence

La technologie ShadowSense a originné par le travail pour développer des robots gonflables qui pourraient guider les gens vers la sécurité pendant des évacuations d'urgence. Un tel robot aurait besoin de communiquer avec les humains dans des conditions et environnements extrêmes. Imaginez un robot guidant physiquement quelqu'un dans un corridor bruyant, rempli de fumée, en détectant la pression de la main de la personne.

Approche contre-intuitive : la vue au service du toucher

Plutôt que d'installer un grand nombre de capteurs de contact — ce qui ajouterait du poids et un câblage complexe au robot et serait difficile à intégrer dans une peau se déformant — l'équipe a pris une approche contre-intuitive. Pour jauger le toucher, ils se sont tournés vers la vue. En plaçant une caméra à l'intérieur du robot, ils peuvent inférer comment la personne le touche et quelle est l'intention de la personne juste en regardant les images d'ombres.

Prototype : vessie gonflable nylon, caméra USB, algorithme neuronal

Le robot prototype consiste en une vessie gonflable souple de peau nylon étirée autour d'un squelette cylindrique, d'environ 1,2 mètre de hauteur, monté sur une base mobile. Sous la peau du robot est une caméra USB connectée à un ordinateur portable. Les chercheurs ont développé un algorithme basé sur réseau de neurones qui utilise des données d'entraînement préalablement enregistrées pour distinguer parmi six gestes de toucher — toucher avec la paume, coup de poing, toucher à deux mains, câlin, pointage, et pas de toucher du tout — avec une précision de 87,5 à 96%, selon l'éclairage.

Réponses programmables et écran interactif potentiel

Le robot peut être programmé pour répondre à certains toucher et gestes comme rouler loin ou émettre un message par haut-parleur. Et la peau du robot a le potentiel d'être transformée en écran interactif. En collectant assez de données, un robot pourrait être entraîné à reconnaître un vocabulaire encore plus large d'interactions, sur mesure pour la tâche du robot.

Au-delà des robots : ballons tactiles, confidentialité

Le robot n'a même pas à être un robot. La technologie ShadowSense peut être incorporée dans d'autres matériaux, comme des ballons, les transformant en dispositifs tactiles. Dans le futur, les chercheurs essaieront d'utiliser des dispositifs optiques comme lentilles et miroirs pour permettre des facteurs de forme additionnels.

ShadowSense offre aussi la confidentialité. Si le robot ne peut voir un humain que sous forme de leur ombre, il peut détecter ce que la personne fait sans prendre d'images haute fidélité de leur apparence. Cela fournit un filtre physique et protection, et fournit un confort psychologique.

La capacité d'interagir physiquement et comprendre les mouvements et humeurs d'une personne pourrait ultimement être juste aussi importante pour la personne que pour le robot.