TossingBot : bras robotique haute vitesse atteignant 500 lancers d'objets par heure avec 85 % de précision

Au cours de la dernière décennie, des progrès significatifs ont été réalisés pour rendre les robots plus intelligents pour effectuer des tâches spécifiques plus efficacement et apprendre d'expériences du monde réel. Cependant, quand il s'agit de compétences de base — comme attraper, balancer, faire tourner et lancer — les robots sont encore loin derrière les humains.

Défis impliqués

Lancer quelque chose n'est pas une tâche facile pour les robots. Il y a de nombreux facteurs impliqués, de la façon dont des objets de différentes formes sont ramassés aux propriétés physiques des objets comme la masse, l'aérodynamique et la friction.

Par exemple, si vous ramassez un objet lourd et long par son bord et le lancez, il atterrirait plus loin que si vous l'aviez ramassé par le centre. Cependant, si vous ramassez un objet léger comme une balle de ping-pong, vous auriez besoin d'une grande force (en raison de la résistance de l'air) pour le lancer à la même distance.

Développer manuellement une technique qui contrôle explicitement tous ces paramètres pour chaque objet arbitraire est presque impossible. Appliquer une technique d'essai-erreur n'est pas non plus une bonne idée car c'est à la fois coûteux et chronophage.

Combinaison de l'apprentissage profond et de la physique

Alors que l'apprentissage profond peut aider le robot à apprendre de l'expérience au lieu de s'appuyer sur des mécanismes cas par cas, lancer des objets précisément à leur position cible nécessite une bonne compréhension de la physique des projectiles.

Référence : arXiv:1903.11239 | Google AI Blog

En intégrant ces deux caractéristiques, les ingénieurs ont permis à TossingBot de s'entraîner rapidement et de généraliser à de nouveaux scénarios. En utilisant certaines lois fondamentales de la physique des projectiles, le robot développe des contrôleurs initiaux, par exemple, il calcule quelle vitesse de lancer est requise pour lancer un objet spécifique à une position cible.

Ensuite, les réseaux de neurones prédisent des ajustements au-dessus de ces calculs de physique, pour compenser des facteurs externes comme la variabilité et le bruit dans le monde réel. En plus de l'entraînement, le bras robotique s'appuie sur le GPU NVIDIA Titan pour reconstruire des scènes (capturées avec des caméras RGB depth) en 3D en temps réel et agréger des données 3D alors que le bras se déplace.

En 14 heures de temps d'entraînement, TossingBot a atteint une précision de lancer de 85 %, avec 87 % de fiabilité de préhension dans l'encombrement. Il a été capable de ramasser et lancer plus de 500 objets arbitraires dans des boîtes placées en dehors de sa portée maximale.

Quelle est la suite ?

Bien que les résultats semblent assez impressionnants, le robot a ses lacunes. Par exemple, il suppose que les objets sont assez solides pour résister aux collisions d'atterrissage. De plus, il évalue les variables de contrôle uniquement à partir d'informations visuelles.

Dans la prochaine étude, les chercheurs entraîneront leur système à attraper des objets de manière à amortir l'atterrissage. Ils prévoient également d'explorer des modalités de détection supplémentaires (comme le tactile et le couple de force) qui pourraient permettre au bras robotique de mieux adapter ses vitesses de lancer.