L'IA permet aux robots d'identifier plus de 90 objets par le toucher

Les humains sont bons pour associer l'apparence et les propriétés matérielles des objets à travers plusieurs modalités. Quand nous voyons des ciseaux, nous pouvons imaginer ce que nos doigts ressentiraient en touchant la surface métallique, nous pouvons l'imaginer dans notre esprit — pas seulement son identité, mais aussi sa taille, sa forme et ses proportions.

Ce qu'ils ont fait exactement

L'équipe de recherche a employé une détection tactile à haute résolution via deux capteurs GelSight (attachés au doigt du robot) et des réseaux de neurones convolutifs (CNN) pour l'association multi-modale.

Ces capteurs génèrent des lectures au moyen d'une caméra intégrée avec un gel élastomère, qui enregistre les indentations dans le gel créées par le contact avec les objets. Ces lectures sont ensuite envoyées aux CNN pour le traitement des données.

Les chercheurs ont entraîné ces CNN à prendre les lectures tactiles des capteurs et l'image d'objet d'une caméra, et à identifier si ces entrées représentent le même objet ou non. Pour effectuer la reconnaissance d'instance, ils ont combiné les lectures tactiles du robot avec l'observation visuelle de l'objet de requête.

Référence : arXiv:1903.03591 | UC Berkeley

Ils ont utilisé des GPU NVIDIA GeForce GTX 1080 et TITAN X avec le framework d'apprentissage profond CUDA pour entraîner et tester le CNN pour l'association multi-modale sur plus de 33 000 images.

Robot (gauche) composé de deux capteurs tactiles GelSight (un sur chaque doigt) et une caméra RGB frontale | Exemples d'observations tactiles (milieu) et images d'objets (droite) correspondant à un seul objet | Avec l'aimable autorisation des chercheurs

Les résultats démontrent qu'il est possible de reconnaître des instances d'objets par les seules lectures tactiles, y compris des instances qui n'ont jamais été utilisées dans l'entraînement. En fait, le CNN a surpassé certains volontaires humains et méthodes alternatives.

Quelle est la suite ?

Jusqu'à présent, les chercheurs n'ont considéré que des saisies individuelles. Dans la prochaine étude, ils utiliseront de multiples interactions tactiles pour obtenir une image plus complète de l'objet de requête.

L'équipe prévoit également d'étendre leur système aux entrepôts robotiques où les robots regardent des images de produits et les récupèrent en sentant les objets sur les étagères. Cette nouvelle méthode peut être appliquée aux robots dans un environnement domestique pour les faire récupérer des objets dans des endroits difficiles d'accès.