Découvrir les angles morts de l'IA pour améliorer la sécurité des véhicules autonomes

Les avancées récentes dans le domaine de l'intelligence artificielle ont rendu les véhicules autonomes et les robots plus intelligents. Bien qu'encore à ses débuts, les voitures sans conducteur deviennent de plus en plus courantes et pourraient transformer radicalement notre système de transport dans les années à venir.

Un modèle pour identifier les « angles morts » des systèmes autonomes

Des chercheurs du MIT et de Microsoft ont développé un modèle capable de découvrir les « angles morts » des systèmes autonomes grâce à l'intervention humaine. Il identifie les cas où ces systèmes apprennent (à partir d'exemples d'entraînement ou de simulations) alors qu'ils pourraient commettre des erreurs dans des environnements réels.

L'IA qui alimente les voitures autonomes, par exemple, est largement entraînée en simulation pour préparer le véhicule à presque tous les scénarios possibles sur la route. Cependant, le système commet parfois des erreurs dans le monde réel : il ne change pas son comportement (là où il le devrait) dans certains scénarios.

Par exemple, si une voiture autonome (pas largement entraînée) roule sur l'autoroute et qu'une ambulance allume sa sirène, la voiture peut percevoir l'ambulance seulement comme une grande voiture blanche et ne pas s'arrêter ou céder le passage à l'ambulance ou aux autres véhicules d'urgence.

Les chercheurs veulent combler le fossé entre la simulation et le monde réel en intégrant l'apport humain et en aidant les systèmes autonomes à mieux savoir ce qu'ils ne savent pas.

Comment le modèle intègre le retour humain ?

Le système autonome est initialement entraîné sur une simulation virtuelle où il associe chaque situation à la meilleure action. Il est ensuite déployé dans le monde réel, où les humains interrompent le système chaque fois qu'il prend des actions incorrectes.

Les humains peuvent fournir des données soit par des corrections, soit par des démonstrations. Pour fournir des corrections, une personne peut s'asseoir au siège du conducteur pendant que le véhicule se conduit lui-même le long d'un parcours planifié. Si le système prend des actions inappropriées, l'humain peut reprendre le volant et cela envoie un signal à l'IA qu'elle prenait des actions incorrectes et ce qu'elle devrait faire dans cette situation particulière.

Référence : arXiv:1805.08966 | MIT

Alternativement, les humains peuvent entraîner le système en conduisant/démontrant le véhicule dans le monde réel. Le système analyse et compare chaque action humaine à ce qu'il aurait fait dans cette condition. Chaque écart (s'il y en a un) pointe vers l'action inacceptable du système.

Gestion des angles morts

Une fois l'entraînement manuel terminé, le système a essentiellement une liste d'actions acceptables et inacceptables. L'objectif est de détecter les situations ambiguës (ou angles morts) que l'IA trouve difficiles à différencier.

Avec l'aimable autorisation des chercheurs | MIT

Par exemple, le système autonome a pu rouler aux côtés d'un grand véhicule plusieurs fois sans s'arrêter. Cependant, s'il fait la même chose avec une ambulance (qui apparaît exactement de la même manière pour l'IA), il reçoit un signal de rétroaction représentant une action inacceptable.

Pour gérer ce type de situation, l'équipe a utilisé une méthode d'apprentissage automatique connue sous le nom d'algorithme de Dawid-Skene. Il prend tous les angles morts étiquetés comme « acceptables » et « inacceptables », les agrège et utilise des calculs de probabilité pour détecter des motifs dans ces étiquettes.

L'algorithme produit ensuite un seul angle mort agrégé avec un niveau de confiance pour chaque situation. Il génère également une carte de chaleur qui montre la probabilité faible à élevée d'être un angle mort pour chaque situation.

Dans le monde réel, si le modèle associe une situation à un angle mort avec une probabilité élevée, il peut demander à un humain l'action appropriée, permettant une exécution plus sûre. Ce type de modèle peut également aider les robots autonomes à prédire quand ils pourraient prendre des actions inappropriées dans des conditions nouvelles.