Des chercheurs du CMU entraînent des drones autonomes à l'aide de données simulées intermodales

Pour voler de manière autonome, les drones doivent comprendre ce qu'ils perçoivent dans l'environnement et prendre des décisions en fonction de ces informations. (Voir la vidéo ci-dessous.)

Une nouvelle méthode développée par des chercheurs de l'Université Carnegie Mellon permet aux drones d'apprendre séparément la perception et l'action.

L'approche en deux étapes surmonte «l'écart entre la simulation et la réalité» et crée un moyen de déployer en toute sécurité des drones entraînés entièrement sur des données simulées dans la navigation de parcours dans le monde réel.

Rogerio Bonatti, doctorant à l'Institut de robotique de l'École d'informatique, déclare :"En règle générale, les drones entraînés même sur les meilleures données simulées photoréalistes échoueront dans le monde réel car l'éclairage, les couleurs et les textures sont encore trop différents pour être traduits.

"Notre module de perception est formé avec deux modalités pour augmenter la robustesse contre les variabilités environnementales."

La première modalité qui permet d’entraîner la perception du drone est l’image. Les chercheurs ont utilisé un simulateur photoréaliste pour créer un environnement comprenant le drone, un terrain de football et des portes carrées rouges soulevées du sol et positionnées de manière aléatoire pour créer une piste.

Ils ont ensuite créé un vaste ensemble de données d'images simulées à partir de milliers de configurations de drones et de portes générées de manière aléatoire.

La deuxième modalité nécessaire à la perception est de connaître la position et l'orientation des portes dans l'espace, ce que les chercheurs ont accompli en utilisant l'ensemble de données d'images simulées.

L'enseignement du modèle à l'aide de plusieurs modalités renforce une représentation robuste de l'expérience du drone, ce qui signifie qu'il peut comprendre l'essence du champ et des portes d'une manière qui se traduit de la simulation à la réalité.

La compression des images pour avoir moins de pixels facilite ce processus. Apprendre à partir d'une représentation de faible dimension permet au modèle de voir à travers le bruit visuel dans le monde réel et d'identifier les portes.

Avec la perception apprise, les chercheurs déploient le drone dans la simulation afin qu'il puisse apprendre sa politique de contrôle - ou comment se déplacer physiquement.

Dans ce cas, il apprend quelle vitesse appliquer lorsqu'il navigue sur le parcours et rencontre chaque porte. Comme il s'agit d'un environnement simulé, un programme peut calculer la trajectoire optimale du drone avant son déploiement.

Cette méthode offre un avantage par rapport à l'apprentissage supervisé manuellement à l'aide d'un opérateur expert, car l'apprentissage dans le monde réel peut être dangereux, long et coûteux.

Le drone apprend à naviguer sur le parcours en passant par des étapes de formation dictées par les chercheurs. Bonatti a déclaré qu'il remettait en question les agilités et les directions spécifiques dont le drone aura besoin dans le monde réel.

Bonatti dit:«Je fais tourner le drone vers la gauche et vers la droite dans différentes formes de piste, qui deviennent plus difficiles à mesure que j'ajoute plus de bruit. Le robot n'apprend pas à recréer en passant par une piste spécifique.

"Au lieu de cela, en dirigeant stratégiquement le drone simulé, il apprend tous les éléments et types de mouvements pour courir de manière autonome."

Bonatti veut pousser la technologie actuelle pour se rapprocher de la capacité d'un humain à interpréter les signaux environnementaux.

Il déclare :"Jusqu'à présent, la plupart des travaux sur les courses de drones autonomes se sont concentrés sur l'ingénierie d'un système complété par des capteurs et des logiciels supplémentaires dans le seul but de la vitesse.

"Au lieu de cela, nous avons cherché à créer un tissu informatique, inspiré par la fonction d'un cerveau humain, pour mapper les informations visuelles aux actions de contrôle correctes passant par une représentation latente."

Mais les courses de drones ne sont qu'une possibilité pour ce type d'apprentissage. La méthode de séparation de la perception et du contrôle pourrait être appliquée à de nombreuses tâches différentes pour l'intelligence artificielle telles que la conduite ou la cuisine.

Bien que ce modèle repose sur des images et des positions pour enseigner la perception, d'autres modalités telles que les sons et les formes pourraient être utilisées pour des efforts tels que l'identification de voitures, d'animaux sauvages ou d'objets

Les chercheurs qui ont contribué à ce travail incluent Sebastian Scherer de Carnegie Mellon, et Ratnesh Madaan, Vibhav Vineet et Ashish Kapoor de Microsoft Corporation.

L'article, Apprentissage des politiques visuomotrices pour la navigation aérienne à l'aide de représentations intermodales , a été accepté à la Conférence internationale sur les robots et systèmes intelligents 2020.

Le code de l'article est open-source et disponible pour d'autres chercheurs.