Le capteur souple augmente la sensibilité du bout des doigts pour les robots

Dans un article publié dans Nature Machine Intelligence , une équipe de scientifiques de l'Institut Max Planck pour les systèmes intelligents (MPI-IS) a présenté un capteur haptique souple robuste nommé "Insight" qui utilise la vision par ordinateur et un réseau neuronal profond pour estimer avec précision où les objets entrent en contact avec le capteur et comment grandes sont les forces appliquées. Le projet de recherche est une étape importante vers la capacité des robots à ressentir leur environnement aussi précisément que les humains et les animaux. Comme son homologue naturel, le capteur du bout des doigts est très sensible, robuste et haute résolution.

Le capteur en forme de pouce est constitué d'une coque souple construite autour d'un squelette rigide léger. Ce squelette maintient la structure tout comme les os stabilisent le tissu mou des doigts. La coque est fabriquée à partir d'un élastomère mélangé à des flocons d'aluminium sombres mais réfléchissants, ce qui donne une couleur grisâtre opaque qui empêche toute lumière extérieure de pénétrer. Cachée à l'intérieur de cette casquette de la taille d'un doigt se trouve une minuscule caméra fish-eye à 160 degrés qui enregistre images colorées éclairées par un anneau de LED.

Articles connexes

Capteur tactile doux avec des caractéristiques comparables à celles de la peau pour les robots

Le capteur souple gère la pression

Lorsqu'un objet touche la coque du capteur, l'apparence du motif de couleur à l'intérieur du capteur change. La caméra enregistre des images plusieurs fois par seconde et alimente un réseau neuronal profond avec ces données. L'algorithme détecte même le plus petit changement de lumière dans chaque pixel. En une fraction de seconde, le modèle d'apprentissage automatique formé peut déterminer où exactement le doigt entre en contact avec un objet, déterminer l'intensité des forces et indiquer la direction de la force. Le modèle déduit ce que les scientifiques appellent une carte de force :il fournit un vecteur de force pour chaque point du bout du doigt en trois dimensions.

« Nous avons atteint cette excellente performance de détection grâce à la conception mécanique innovante de la coque, au système d'imagerie sur mesure à l'intérieur, à la collecte automatique de données et à l'apprentissage en profondeur de pointe », a déclaré Georg Martius, responsable du groupe de recherche Max Planck chez MPI-IS, où il dirige le groupe d'apprentissage autonome. « Notre structure hybride unique d'une coque souple renfermant un squelette rigide garantit une sensibilité et une robustesse élevées. Notre caméra peut détecter les moindres déformations de la surface à partir d'une seule image », a ajouté son doctorat. étudiant Huanbo Sun. En testant le capteur, les chercheurs ont réalisé qu'il était suffisamment sensible pour ressentir sa propre orientation par rapport à la gravité.

Mais comment un tel capteur apprend-il ? Huanbo Sun a conçu un banc d'essai pour générer les données d'entraînement nécessaires au modèle d'apprentissage automatique pour comprendre la corrélation entre le changement des pixels d'image brute et les forces appliquées. Le banc d'essai sonde le capteur tout autour de sa surface et enregistre le véritable vecteur de force de contact avec l'image de la caméra à l'intérieur du capteur. De cette manière, environ 200 000 mesures ont été générées. Il a fallu près de trois semaines pour collecter les données et une autre journée pour former le modèle d'apprentissage automatique. Survivre à cette longue expérience avec autant de forces de contact différentes a aidé à prouver la robustesse de la conception mécanique d'Insight, et des tests avec une sonde plus grande ont montré à quel point le système de détection se généralise.

Une autre particularité du capteur en forme de pouce est qu'il possède une zone en forme d'ongle avec une couche d'élastomère plus fine. Cette fovéa tactile est conçue pour détecter même des forces minuscules et des formes d'objets détaillées. Pour cette zone ultra-sensible, les scientifiques ont choisi une épaisseur d'élastomère de 1,2 mm plutôt que les 4 mm qu'ils utilisaient sur le reste du capteur de doigt.

"La conception matérielle et logicielle que nous présentons dans notre travail peut être transférée à une grande variété de pièces de robot avec différentes formes et exigences de précision. L'architecture d'apprentissage automatique, la formation et le processus d'inférence sont tous généraux et peuvent être appliqués à de nombreuses autres conceptions de capteurs », a déclaré Huanbo Sun.