Insight : Un capteur haptique souple améliore la sensibilité tactile des robots

Dans un article publié dans Nature Machine Intelligence, une équipe de scientifiques de l'Institut Max Planck pour les systèmes intelligents (MPI-IS) a présenté un capteur haptique souple robuste nommé « Insight » qui utilise la vision par ordinateur et un réseau de neurones profond pour estimer avec précision où les objets entrent en contact avec le capteur et l'amplitude des forces appliquées. Le projet de recherche est une étape significative vers la capacité des robots à ressentir leur environnement aussi précisément que les humains et les animaux. Comme son homologue naturel, le capteur du bout des doigts est très sensible, robuste et à haute résolution.

Conception hybride : coque souple et squelette rigide

Le capteur en forme de pouce est constitué d'une coque souple construite autour d'un squelette rigide léger. Ce squelette soutient la structure un peu comme les os stabilisent le tissu mou du doigt. La coque est faite d'un élastomère mélangé à des paillettes d'aluminium sombres mais réfléchissantes, résultant en une couleur grisâtre opaque qui empêche toute lumière externe d'entrer. Cachée à l'intérieur de cette coque de la taille d'un doigt se trouve une minuscule caméra fish-eye à 160 degrés qui enregistre des images colorées illuminées par un anneau de LED.

Principe de détection par vision interne

Lorsque des objets touchent la coque du capteur, l'apparence du motif de couleur à l'intérieur du capteur change. La caméra enregistre des images plusieurs fois par seconde et alimente un réseau de neurones profond avec ces données. L'algorithme détecte même le plus petit changement de lumière dans chaque pixel. En une fraction de seconde, le modèle d'apprentissage automatique entraîné peut cartographier exactement où le doigt contacte un objet, déterminer l'intensité des forces et indiquer la direction de la force. Le modèle infère ce que les scientifiques appellent une carte de force : il fournit un vecteur de force pour chaque point dans le bout de doigt tridimensionnel.

« Nous avons atteint cette excellente performance de détection grâce à la conception mécanique innovante de la coque, au système d'imagerie sur mesure à l'intérieur, la collecte automatique de données et l'apprentissage profond de pointe », a déclaré Georg Martius, chef du groupe de recherche Max Planck au MPI-IS, où il dirige le groupe d'apprentissage autonome. « Notre structure hybride unique d'une coque souple enclosant un squelette rigide assure une haute sensibilité et robustesse. Notre caméra peut détecter même les plus légères déformations de la surface à partir d'une seule image », a ajouté son doctorant Huanbo Sun. En testant le capteur, les chercheurs ont réalisé qu'il était assez sensible pour ressentir sa propre orientation par rapport à la gravité.

Apprentissage par collecte massive de données

Mais comment un tel capteur apprend-il ? Huanbo Sun a conçu un banc de test pour générer les données d'entraînement nécessaires au modèle d'apprentissage automatique pour comprendre la corrélation entre le changement de pixels d'image bruts et les forces appliquées. Le banc de test sonde le capteur tout autour de sa surface et enregistre le vecteur de force de contact réel avec l'image de la caméra à l'intérieur du capteur. Ainsi, environ 200 000 mesures ont été générées. Il a fallu près de trois semaines pour collecter les données et une autre journée pour entraîner le modèle d'apprentissage automatique. Survivre à cette longue expérience avec tant de forces de contact différentes a aidé à prouver la robustesse de la conception mécanique d'Insight, et les tests avec une sonde plus grande ont montré à quel point le système de détection généralise bien.

Zone fovéale tactile pour détection ultra-sensible

Une autre caractéristique spéciale du capteur en forme de pouce est qu'il possède une zone en forme d'ongle avec une couche d'élastomère plus mince. Cette fovéa tactile est conçue pour détecter même de minuscules forces et des formes d'objets détaillées. Pour cette zone super-sensible, les scientifiques ont choisi une épaisseur d'élastomère de 1,2 mm au lieu des 4 mm utilisés sur le reste du capteur de doigt.

« La conception matérielle et logicielle que nous présentons dans notre travail peut être transférée à une grande variété de parties de robots avec différentes formes et exigences de précision. L'architecture d'apprentissage automatique, l'entraînement et le processus d'inférence sont tous généraux et peuvent être appliqués à de nombreux autres designs de capteurs », a déclaré Huanbo Sun.