Les robots souples utilisent la caméra et les ombres pour détecter le contact humain

Les chercheurs ont créé une méthode peu coûteuse pour les robots souples et déformables afin de détecter une gamme d'interactions physiques, des tapotements aux coups de poing en passant par les câlins, sans compter du tout sur le toucher. Au lieu de cela, une caméra USB située à l'intérieur du robot capture les mouvements d'ombre des gestes de la main sur la peau du robot et les classe avec un logiciel d'apprentissage automatique.

Le toucher est un mode de communication important pour la plupart des organismes, mais il a été pratiquement absent de l'interaction homme-robot. L'une des raisons est que le toucher complet du corps nécessitait auparavant un grand nombre de capteurs et n'était donc pas pratique à mettre en œuvre.

La technologie ShadowSense est née du travail de développement de robots gonflables capables de guider les personnes vers la sécurité lors des évacuations d'urgence. Un tel robot devrait pouvoir communiquer avec les humains dans des conditions et des environnements extrêmes. Imaginez un robot conduisant physiquement quelqu'un dans un couloir bruyant et enfumé en détectant la pression de la main de la personne.

Plutôt que d'installer un grand nombre de capteurs de contact - ce qui ajouterait du poids et un câblage complexe au robot et serait difficile à intégrer dans une peau déformée - l'équipe a adopté une approche contre-intuitive. Afin de jauger le toucher, ils regardaient vers la vue. En plaçant une caméra à l'intérieur du robot, ils peuvent déduire comment la personne le touche et quelle est l'intention de la personne simplement en regardant les images d'ombre.

Le robot prototype se compose d'une vessie souple et gonflable en peau de nylon qui est tendue autour d'un squelette cylindrique, d'environ quatre pieds de hauteur, qui est monté sur une base mobile. Sous la peau du robot se trouve une caméra USB qui se connecte à un ordinateur portable. Les chercheurs ont développé un algorithme basé sur un réseau de neurones qui utilise des données d'entraînement précédemment enregistrées pour distinguer six gestes tactiles - toucher avec la paume, frapper, toucher avec les deux mains, étreindre, pointer et ne pas toucher du tout - avec une précision de 87,5. à 96 %, selon l'éclairage.

Le robot peut être programmé pour répondre à certains touchers et gestes tels que rouler ou émettre un message via un haut-parleur. Et la peau du robot a le potentiel d'être transformée en un écran interactif. En collectant suffisamment de données, un robot pourrait être entraîné à reconnaître un vocabulaire d'interactions encore plus large, personnalisé pour s'adapter à la tâche du robot.

Le robot n'a même pas besoin d'être un robot. La technologie ShadowSense peut être incorporée dans d'autres matériaux, tels que des ballons, les transformant en appareils tactiles. À l'avenir, les chercheurs essaieront d'utiliser des dispositifs optiques tels que des lentilles et des miroirs pour activer des facteurs de forme supplémentaires.

ShadowSense offre également la confidentialité. Si le robot ne peut voir un humain que sous la forme de son ombre, il peut détecter ce que fait la personne sans prendre d'images haute fidélité de son apparence. Cela fournit un filtre physique et une protection, et procure un confort psychologique.

La capacité d'interagir physiquement et de comprendre les mouvements et les humeurs d'une personne pourrait finalement être tout aussi importante pour la personne que pour le robot.