L'intelligence artificielle aide le robot à reconnaître les objets au toucher

• Le nouveau cadre de perception basé sur l'apprentissage automatique peut reconnaître plus de 90 objets différents au toucher.
• Il utilise à la fois des observations visuelles et tactiles pour identifier si ces observations correspondent au même objet.

Les humains sont bons pour associer l'apparence et les propriétés matérielles des objets à travers de multiples modalités. Lorsque nous voyons un ciseau, nous pouvons imaginer ce que nos doigts ressentiraient en touchant la surface métallique, nous pouvons l'imaginer dans notre esprit - pas seulement son identification, mais aussi sa taille, sa forme et ses proportions.

La perception des robots, en revanche, n'est pas intrinsèquement multimodale. Bien que les robots existants équipés de caméras avancées soient capables de faire la distinction entre deux objets différents, la vision seule peut souvent s'avérer insuffisante, surtout en présence d'occlusion et de mauvaises conditions d'éclairage.

Aujourd'hui, des chercheurs de l'Université de Californie à Berkeley ont développé une méthode qui permet au robot manipulateur d'apprendre des associations multimodales de type humain. Il utilise à la fois des observations visuelles et tactiles pour savoir si ces observations correspondent ou non au même objet.

Qu'est-ce qu'ils ont fait exactement ?

L'équipe de recherche a utilisé une détection tactile haute résolution via deux capteurs GelSight (fixés sur le doigt du robot) et des réseaux de neurones convolutifs (CNN) pour une association multimodale.

Ces capteurs génèrent des lectures au moyen d'une caméra intégrée à un gel élastomère, qui enregistre les indentations dans le gel créées par le contact avec des objets. Ces lectures sont ensuite transmises aux CNN pour le traitement des données.

Les chercheurs ont formé ces CNN à prendre les lectures tactiles des capteurs et l'image de l'objet à partir d'une caméra, et à identifier si ces entrées représentent le même objet ou non. Pour effectuer la reconnaissance d'instance, ils ont combiné les lectures tactiles du robot avec l'observation visuelle de l'objet de la requête.

Référence :arXiv:1903.03591 | UC Berkeley

Ils ont utilisé les GPU NVIDIA GeForce GTX 1080 et TITAN X avec le framework d'apprentissage en profondeur CUDA pour former et tester le CNN pour l'association multimodale sur plus de 33 000 images.

Robot (gauche) composé de deux capteurs tactiles GelSight (un sur chaque doigt) et d'une caméra frontale RVB | Exemples d'observations tactiles (au milieu) et d'images d'objets (à droite) correspondant à un seul objet | Avec l'aimable autorisation des chercheurs 

Les résultats démontrent qu'il est possible de reconnaître des instances d'objets uniquement par des lectures tactiles, y compris des instances qui n'ont jamais été utilisées dans l'entraînement. En fait, CNN a surpassé certains volontaires humains et méthodes alternatives.

Quelle est la prochaine étape ?

Jusqu'à présent, les chercheurs n'ont considéré que les saisies individuelles. Dans la prochaine étude, ils utiliseront plusieurs interactions tactiles pour obtenir une image plus complète de l'objet de la requête.

Lire :15 types de robots différents | Expliqué

L'équipe prévoit également d'étendre son système aux entrepôts robotiques où les robots regardent les images des produits et les récupèrent en cherchant des objets sur les étagères. Cette nouvelle méthode peut être appliquée aux robots dans un environnement domestique pour leur faire récupérer des objets dans des endroits difficiles d'accès.