Pipelines de simulation adaptent les données d'entraînement pour robots dextres

Motion Design INSIDER

Le défi des données d'entraînement robotiques

Quand ChatGPT ou Gemini donnent ce qui semble être une réponse experte à vos questions brûlantes, vous ne réalisez peut-être pas à quel point d'informations ils s'appuient pour donner cette réponse. Comme d'autres modèles d'intelligence artificielle générative (IA) populaires, ces chatbots reposent sur des systèmes de base appelés modèles de fondation qui s'entraînent sur des milliards, voire des billions, de points de données.

Dans une veine similaire, les ingénieurs espèrent construire des modèles de fondation qui entraînent une gamme de robots sur de nouvelles compétences comme ramasser, déplacer et déposer des objets dans des lieux comme les maisons et les usines. Le problème est qu'il est difficile de collecter et transférer des données d'instruction à travers les systèmes robotiques. Vous pourriez enseigner votre système en téléopérant le matériel étape par étape en utilisant une technologie comme la réalité virtuelle (VR), mais cela peut être chronophage. L'entraînement sur des vidéos d'Internet est moins instructif, car les clips ne fournissent pas de parcours de tâche étape par étape, spécialisé pour des robots particuliers.

PhysicsGen : approche pilotée par simulation

Une approche pilotée par simulation appelée « PhysicsGen » du Laboratoire d'Informatique et d'Intelligence Artificielle (CSAIL) du MIT et de l'Institut de Robotique et d'IA personnalise les données d'entraînement robotiques pour aider les robots à trouver les mouvements les plus efficaces pour une tâche. Le système peut multiplier quelques dizaines de démonstrations VR en près de 3 000 simulations par machine. Ces instructions de haute qualité sont ensuite mappées aux configurations précises de compagnons mécaniques comme les bras et mains robotiques.

Processus en trois étapes

PhysicsGen crée des données qui se généralisent à des robots et conditions spécifiques via un processus en trois étapes. Premièrement, un casque VR suit comment les humains manipulent des objets comme des blocs en utilisant leurs mains. Ces interactions sont mappées dans un simulateur de physique 3D en même temps, visualisant les points clés de nos mains comme de petites sphères qui reflètent nos gestes. Par exemple, si vous retourniez un jouet, vous verriez des formes 3D représentant différentes parties de vos mains faire pivoter une version virtuelle de cet objet.

Le pipeline remappe ensuite ces points vers un modèle 3D de la configuration d'une machine spécifique (comme un bras robotique), les déplaçant vers les « articulations » précises où un système tourne et pivote. Finalement, PhysicsGen utilise l'optimisation de trajectoire — essentiellement simuler les mouvements les plus efficaces pour accomplir une tâche — pour que le robot sache les meilleures façons de faire des choses comme repositionner une boîte.

Chaque simulation est un point de données d'entraînement détaillé qui guide un robot à travers des façons potentielles de manipuler des objets. Quand elle est implémentée dans une politique (le plan d'action que le robot suit), la machine a une variété de façons d'aborder une tâche et peut essayer différents mouvements si l'un ne fonctionne pas.

Lujie Yang, doctorante MIT en génie électrique et informatique et affiliée CSAIL, auteure principale : « Nous créons des données spécifiques aux robots sans avoir besoin que les humains ré-enregistrent des démonstrations spécialisées pour chaque machine. Nous augmentons les données de manière autonome et efficace, rendant les instructions de tâche utiles à une plus large gamme de machines. »

Applications et résultats

Générer autant de trajectoires d'instruction pour les robots pourrait éventuellement aider les ingénieurs à construire un ensemble de données massif pour guider des machines comme les bras robotiques et les mains dextres. Par exemple, le pipeline pourrait aider deux bras robotiques à collaborer pour ramasser des articles d'entrepôt et les placer dans les bonnes boîtes pour les livraisons. Le système pourrait aussi guider deux robots à travailler ensemble dans un foyer sur des tâches comme ranger des tasses.

Le potentiel de PhysicsGen s'étend aussi à la conversion de données conçues pour des robots plus anciens ou différents environnements en instructions utiles pour de nouvelles machines. « Malgré être collectées pour un type spécifique de robot, nous pouvons revigorer ces ensembles de données antérieurs pour les rendre plus généralement utiles », a dit Yang. PhysicsGen a transformé seulement 24 démonstrations humaines en milliers de simulées, aidant à la fois des robots numériques et réels à réorienter des objets.

Yang et ses collègues ont d'abord testé leur pipeline dans une expérience virtuelle où une main robotique flottante devait faire pivoter un bloc dans une position cible. Le robot numérique a exécuté la tâche à un taux de 81 % de précision en s'entraînant sur le vaste ensemble de données de PhysicsGen, une amélioration de 60 % par rapport à une base de référence qui n'apprenait que des démonstrations humaines.

Les chercheurs ont également découvert que PhysicsGen pouvait améliorer la façon dont des bras robotiques virtuels collaborent pour manipuler des objets. Leur système a créé des données d'entraînement supplémentaires qui ont aidé deux paires de robots à accomplir des tâches avec jusqu'à 30 % plus de succès qu'une base purement enseignée par l'humain.

Dans une expérience avec une paire de vrais bras robotiques, les chercheurs ont observé des améliorations similaires alors que les machines s'associaient pour retourner une grande boîte dans sa position désignée. Quand les robots s'écartaient de la trajectoire prévue ou malmanipulaient l'objet, ils étaient capables de récupérer en cours de tâche en référençant des trajectoires alternatives de leur bibliothèque de données d'instruction.

Russ Tedrake, auteur principal, Professeur Toyota de Génie Électrique et Informatique, Aéronautique et Astronautique, et Génie Mécanique au MIT : « Cette technique de génération de données guidée par imitation combine les forces de la démonstration humaine avec la puissance des algorithmes de planification de mouvement robotique. Même une seule démonstration d'un humain peut rendre le problème de planification de mouvement beaucoup plus facile. Dans le futur, peut-être que les modèles de fondation pourront fournir cette information, et ce type de technique de génération de données fournira une sorte de recette de post-entraînement pour ce modèle. »

Perspectives futures

Bientôt, PhysicsGen pourrait être étendu à une nouvelle frontière : diversifier les tâches qu'une machine peut exécuter. « Nous aimerions utiliser PhysicsGen pour apprendre à un robot à verser de l'eau quand il n'a été entraîné qu'à ranger la vaisselle, par exemple », dit Yang. « Notre pipeline ne génère pas seulement des mouvements dynamiquement faisables pour des tâches familières ; il a aussi le potentiel de créer une bibliothèque diverse d'interactions physiques que nous croyons pouvoir servir de blocs de construction pour accomplir des tâches entièrement nouvelles qu'un humain n'a pas démontrées. »

Créer beaucoup de données d'entraînement largement applicables pourrait éventuellement aider à construire un modèle de fondation pour les robots, bien que les chercheurs du MIT avertissent que c'est un objectif quelque peu lointain. L'équipe dirigée par CSAIL étudie comment PhysicsGen peut exploiter de vastes ressources non structurées — comme les vidéos Internet — comme graines pour la simulation. L'objectif : transformer le contenu visuel quotidien en données riches, prêtes pour les robots, qui pourraient enseigner aux machines à effectuer des tâches que personne ne leur a explicitement montrées.

Yang et ses collègues visent aussi à rendre PhysicsGen encore plus utile pour des robots avec des formes et configurations diverses à l'avenir. Pour que cela arrive, ils prévoient de tirer parti d'ensembles de données avec des démonstrations de vrais robots, capturant comment les articulations robotiques bougent au lieu des humaines.

Les chercheurs prévoient aussi d'incorporer l'apprentissage par renforcement, où un système IA apprend par essai-erreur, pour faire étendre l'ensemble de données de PhysicsGen au-delà des exemples fournis par les humains. Ils pourront augmenter leur pipeline avec des techniques de perception avancées pour aider un robot à percevoir et interpréter son environnement visuellement, permettant à la machine d'analyser et s'adapter aux complexités du monde physique.

Pour l'instant, PhysicsGen montre comment l'IA peut nous aider à enseigner à différents robots à manipuler des objets dans la même catégorie, particulièrement les rigides. Le pipeline pourrait bientôt aider les robots à trouver les meilleures façons de manipuler des objets mous (comme des fruits) et déformables (comme de l'argile), mais ces interactions ne sont pas faciles à simuler encore.

Source