Un bras robotique maîtrise le Jenga grâce à la vision et l'IA tactile

Le Jenga est un jeu complexe qui nécessite une coordination précise œil-main et de la stratégie. En tant qu'humains, nous intégrons sans effort nos sens de la vue et du toucher pour maîtriser ce jeu. Les robots, d'autre part, ne possèdent pas encore ce niveau de sophistication.

Robot joueur de Jenga

Le robot est équipé d'une caméra RGB externe, d'une pince à dents souples et d'un manchon de poignet à détection de force. Tous ces composants permettent au robot d'observer et de sentir la tour de Jenga et ses blocs individuels.

Les chercheurs ont personnalisé un bras robotique industriel ABB IRB 120 et ont installé une tour de Jenga à sa portée. Alors que le bras pousse doucement contre un bloc, un ordinateur capture les rétroactions tactiles et visuelles de son manchon et de sa caméra, et compare ces mesures avec les mouvements précédents du robot.

Référence : ScienceRobotics | doi:10.1126/scirobotics.aav3123 | MIT

Ce modèle permet au robot d'estimer avec précision l'état d'une pièce, de simuler les prochains mouvements possibles et de décider d'un favorable. En temps réel, la machine apprend s'il faut continuer à pousser le bloc ou passer à un nouveau, afin d'empêcher la structure de s'effondrer.

C'est plus difficile que de développer une IA pour les échecs ou le Go, car le jeu de Jenga nécessite des compétences physiques de base telles que tirer, pousser, placer et aligner des blocs individuels.

Le robot développé dans ce travail identifie efficacement quand un bloc se sent coincé ou libre et décide comment l'extraire en utilisant beaucoup moins de données. Il est entraîné sur près de 300 tentatives (au lieu de dizaines de milliers de tentatives). Les tentatives de résultats et mesures similaires sont regroupées en clusters et chaque cluster représente des comportements de bloc spécifiques.

Pour chaque cluster de données unique, la machine a développé un modèle pour estimer le comportement d'un bloc donné ses mesures tactiles et visuelles actuelles. Cette stratégie de regroupement — inspirée de la façon naturelle dont les humains apprennent — augmente significativement l'efficacité avec laquelle le robot peut apprendre à jouer le jeu.

Applications

Cette méthode est un exemple réussi de l'intelligence artificielle passant dans le monde physique. Alors que le robot interagit avec son environnement, il apprend certaines des compétences de base qui définissent la manipulation humaine.

Ce système d'apprentissage tactile peut être appliqué à des tâches au-delà du jeu de Jenga, en particulier celles qui nécessitent une interaction physique soignée. Par exemple, l'assemblage de produits de consommation et la séparation de matériaux recyclables des déchets d'enfouissement.

Dans une ligne d'assemblage de smartphones et d'ordinateurs portables, par exemple, la plupart des étapes nécessitent des actions de toucher et de force plutôt que juste la vision, et cette technologie pourrait améliorer considérablement de telles lignes d'assemblage.