Percée IA : Navigation autonome sans cartes avec boussole, caméra et GPS

Des chercheurs de Facebook AI développent un nouvel algorithme d'apprentissage par renforcement nommé DD-PPO. Il peut naviguer à travers des environnements complexes en utilisant seulement les données de boussole, une caméra RGB-D et le GPS.

Développer des machines intelligentes qui interagissent intelligemment avec le monde physique a été un objectif à long terme de la communauté IA. Le défi majeur est d'enseigner à ces machines pour qu'elles puissent naviguer efficacement à travers des environnements complexes et inconnus sans utiliser de carte.

Généralement, les cartes du monde réel deviennent obsolètes en quelques mois, car les bâtiments et structures changent, et les objets sont déplacés. C'est pourquoi il est assez nécessaire de construire une IA pour le monde physique qui peut naviguer sans carte.

En gardant ces choses à l'esprit, les chercheurs de Facebook AI ont développé un nouvel algorithme d'apprentissage par renforcement (RL) qui résout efficacement la tâche de navigation point-à-point en utilisant seulement les données de boussole, une caméra RGB-D et le GPS. Cet algorithme à grande échelle est nommé DD-PPO (decentralized distributed proximal policy optimization).

Nouvelle architecture RL distribuée qui scale bien

De nos jours, les systèmes basés sur l'apprentissage automatique sont capables de surpasser les experts humains dans divers jeux complexes. Mais comme ces systèmes dépendent d'un volume massif d'échantillons d'entraînement, il est assez impossible de les construire sans parallélisation distribuée à grande échelle.

L'architecture actuelle d'apprentissage par renforcement distribué — inclut des milliers de workers (CPUs) et un seul serveur de paramètres — ne scale pas bien. C'est pourquoi les chercheurs ont proposé une technique d'apprentissage par renforcement distribué synchrone.

DD-PPO s'exécute sur plusieurs machines et n'a pas de serveur de paramètres. Chaque worker (CPU) alterne entre la collecte d'expérience dans un environnement simulé accéléré par GPU, gourmand en ressources, et l'optimisation du modèle. Dans un état de communication explicite, tous les workers synchronisent leurs mises à jour du modèle. En d'autres termes, la distribution est synchrone.

Tous les workers simulent un agent effectuant une navigation point-à-point, puis optimisent le modèle et synchronisent leurs mises à jour | C'est ainsi que les données sont partagées pendant l'entraînement avec DD-PPO

En utilisant cette approche, DD-PPO a exhibé un scaling quasi-linéaire : il a été capable d'atteindre un accélération de 107 fois sur 128 GPUs par rapport à une implémentation sérielle.

Référence : arXiv:1911.00357 | Facebook AI

Navigation point-à-point quasi-parfaite

Dans la navigation point-à-point, un agent est placé à une position/orientation initiale aléatoire dans un environnement inconnu et chargé de naviguer vers des coordonnées cibles sans utiliser de carte. Il peut utiliser seulement une boussole, GPS, et soit une caméra RGB soit RGB-D.

Les chercheurs ont exploité la fonctionnalité de scaling de DD-PPO pour entraîner l'agent pendant 2,5 milliards d'étapes, ce qui équivaut à 80 ans d'expérience humaine. Au lieu de mois, l'entraînement a été complété en moins de trois jours avec 64 GPUs.

Les résultats ont montré que 90 % de la performance maximale était obtenue dans les premiers 100 millions d'étapes avec moins de ressources informatiques (8 GPUs). Avec des milliards d'étapes d'expérience, l'agent obtient un taux de succès de 99,9 %. En contraste, les systèmes précédents atteignaient un taux de succès de 92 %.

L'agent revient en arrière après avoir choisi le mauvais chemin pour atteindre sa position cible | Avec l'aimable autorisation des chercheurs

Applications

Ces agents IA peuvent aider les gens dans le monde physique. Par exemple, ils pourraient afficher des informations pertinentes aux utilisateurs portant des lunettes de réalité augmentée, les robots peuvent récupérer des objets d'un bureau à l'étage, et les systèmes alimentés par IA peuvent aider les personnes avec des déficiences visuelles.

Les modèles construits dans cette étude peuvent fonctionner dans des paramètres habituels, tels que l'intérieur de laboratoires et de bâtiments de bureaux, où des points de données supplémentaires (cartes et données GPS) ne sont pas disponibles.

Bien que le modèle surpasse les réseaux de neurones convolutionnels pré-entraînés ImageNet et puisse servir de ressource universelle, il reste encore beaucoup à faire pour développer des systèmes qui apprennent à naviguer à travers des environnements complexes. Les chercheurs explorent actuellement de nouvelles approches pour implémenter la navigation point-à-point RGB seulement.