Système IA TUM prédit les défaillances de voitures autonomes jusqu'à 7 secondes à l'avance

Un nouveau modèle pour voitures autonomes apprend des échecs passés en les repérant à l'avance, parfois jusqu'à 7 secondes.

Avec les véhicules autonomes, une situation de conduite inconnue ou complexe (comme un carrefour bondé) peut causer un désengagement du système de conduite autonome, soit par mesures de sécurité automatiques, soit par intervention humaine.

Un modèle d'intelligence artificielle de l'Université technique de Munich (TUM) utilise des milliers de situations de trafic réelles — spécifiquement, des séquences de désengagement enregistrées lors de tests de conduite — comme données d'entraînement pour prédire les futurs échecs.

Afin de prédire les échecs le plus tôt possible, l'approche d'apprentissage automatique classe les séquences de données de capteurs comme soit échec, soit succès.

Si le système repère une nouvelle situation de conduite que le système de contrôle était auparavant incapable de gérer, par exemple, le conducteur sera averti à l'avance d'une possible situation critique.

Technologie : capteurs, caméras, réseau neuronal récurrent

La technologie de sécurité développée par TUM utilise des capteurs et caméras pour capturer les conditions environnantes, comme l'angle du volant, conditions de route, météo, visibilité et vitesse. Le système IA, basé sur un réseau neuronal récurrent (RNN) et des milliers de situations de trafic réelles, apprend à reconnaître des patterns dans les données.

La voiture elle-même est traitée comme une boîte noire, focalisée seulement sur l'entrée et la sortie de données. Le système apprend introspectivement de ses propres erreurs précédentes, selon l'équipe de Munich.

« Le grand avantage de notre technologie : nous ignorons complètement ce que la voiture pense. Au lieu de cela, nous nous limitons aux données basées sur ce qui se passe réellement et cherchons des patterns », a dit le chercheur principal Prof. Eckehard Steinbach, qui est aussi membre du Conseil d'administration de la Munich School of Robotics and Machine Intelligence (MSRM) à TUM. « De cette façon, l'IA découvre des situations potentiellement critiques que les modèles peuvent ne pas être capables de reconnaître, ou n'ont pas encore découvertes. »

Le système offre une fonction de sécurité qui sait quand et où les voitures ont des faiblesses, dit Steinbach.

La méthode de Steinbach et son équipe combine deux types de capteurs. Un modèle basé sur l'image apprend à détecter les situations généralement difficiles, comme une rue de ville bondée. Un modèle additionnel basé sur les données détecte les changements rapides immédiatement avant un échec, comme un freinage brusque ou un écart. Le résultat des modèles individuels est fusionné en moyennant les probabilités d'échec individuelles.

Le groupe BMW a évalué l'« approche de prédiction d'échec introspective » à travers 14 heures de conduite autonome sur routes publiques, analysant environ 2 500 situations où le conducteur a dû intervenir.

Selon une étude publiée en décembre 2020, l'approche de fusion tardive permet de prédire les échecs avec une précision supérieure à 85 % — jusqu'à sept secondes avant qu'ils ne surviennent, et à un taux de faux positifs de 20 %.

Interview avec Tech Briefs

Tech Briefs : Je trouve cette idée intéressante : « Nous ignorons complètement ce que la voiture pense. Au lieu de cela, nous nous limitons aux données basées sur ce qui se passe réellement et cherchons des patterns. » Quels sont des exemples de patterns qu'un modèle peut ne pas reconnaître ?

Prof. Eckehard Steinbach : Dans notre travail, nous regardons l'état de la voiture, comme le freinage et la direction, ainsi que les images caméra que la voiture obtient pour détecter des patterns menant à des désengagements. Bien que cela permette à notre modèle de détecter un grand pourcentage de situations où un humain doit reprendre le contrôle, toute l'information sur une scène de conduite n'est pas capturée dans ces données.

Comme exemple simple, un pattern de freinage répété peut être une conduite régulière par temps chaud, mais peut indiquer un désengagement imminent si les routes sont glacées et glissantes. Si les images caméra ne capturent pas cette information sur l'environnement, ce pattern ne peut pas être utilisé pour distinguer conduite régulière et perturbée. Bien que l'information caméra soit généralement suffisante pour évaluer les conditions de route, de tels patterns peuvent encore être difficiles à reconnaître.

Tech Briefs : Pourquoi est-ce un avantage d'« ignorer ce que la voiture pense » ?

Prof. Eckehard Steinbach : Si la voiture évalue une situation complètement correctement, il n'y aurait pas besoin que le conducteur intervienne. Cependant, la surconfiance est un défi significatif de nombreux modèles utilisés en conduite autonome. En enregistrant et apprenant de ces situations, nous pouvons apprendre à détecter si une nouvelle situation est problématique même si la voiture est surconfiante à son sujet.

De plus, observer des séquences de patterns sur l'état et l'environnement de la voiture permet à notre modèle d'extrapoler efficacement dans le futur pour prédire des désengagements jusqu'à sept secondes à l'avance. Cette avance, l'évaluation de la scène par la voiture pourrait encore être complètement correcte, signifiant qu'elle ne pourrait pas être utilisée pour prédire le scénario difficile. Les données brutes collectées, en revanche, pourraient déjà contenir des patterns qui ont mené à des échecs avant et permettent donc de prédire les désengagements à l'avance.

Tech Briefs : Comment le système détermine-t-il un scénario « critique » sept secondes à l'avance ? Aussi, quand cette détection se produit, qu'est-ce qui se passe ensuite ? Que voit le conducteur dans la voiture, et que fait la voiture ?

Prof. Eckehard Steinbach : La clé est d'observer des séquences de données et chercher des patterns temporels. En considérant les trois dernières secondes de données enregistrées, notre modèle est capable de détecter des patterns qui évoluent éventuellement en un scénario où le conducteur humain doit reprendre le contrôle. Si vous savez quoi chercher, vous pouvez repérer les premiers signes de situations difficiles plusieurs secondes à l'avance.

Notre méthode y parvient environ 85 % du temps sept secondes à l'avance. Les 15 % restants s'expliquent par le fait que certains scénarios difficiles se développent en très peu de temps, comme des piétons surgissant soudainement entre voitures garées et s'approchant de la route. Quand la détection se produit, le conducteur doit être alerté.

Tech Briefs : Comment le conducteur est-il alerté ?

Prof. Eckehard Steinbach : L'implémentation de cette alerte dépend du choix spécifique de l'interface homme-machine, mais le conducteur doit savoir que son contrôle de la voiture sera requis dans les sept prochaines secondes. Ce temps permet aussi à la voiture de planifier une manœuvre d'arrêt sûre au cas où le conducteur humain ne réagirait pas à l'invite.

Tech Briefs : Comment s'est passé votre test de conduite ? Quelle a été la détection la plus impressionnante que vous ayez vue ?

Prof. Eckehard Steinbach : Puisque les tests de conduite étaient effectués par le groupe BMW, je n'y ai pas participé dans la voiture. Notre groupe a travaillé plus tard avec les enregistrements des conduites. L'élément le plus impressionnant du système de détection est à quel point la prédiction survient souvent tôt. Au moment de la détection, le scénario de conduite peut encore sembler régulier, par exemple, seulement pour que le trafic au prochain carrefour devienne un environnement compliqué, bondé où l'humain a repris le contrôle pour assurer la sécurité quelques secondes plus tard.

Tech Briefs : Qu'est-ce qui reste difficile à détecter pour les voitures autonomes ?

Prof. Eckehard Steinbach : Un défi important en conduite autonome est les données nouvelles ou hors distribution. Si la voiture entre dans une situation pour laquelle elle n'a pas été entraînée ou voit un objet qu'elle ne connaît pas, des problèmes peuvent survenir. De telles scènes nouvelles causent l'intervention humaine, ce qui mène à ces scènes étant utilisées comme données d'entraînement pour notre approche. Bien que notre méthode puisse alors aider à détecter un tel nouvel environnement difficile la prochaine fois qu'il est rencontré, détecter et gérer correctement une scène entièrement nouvelle la première fois qu'elle est rencontrée reste une tâche difficile.

Qu'en pensez-vous ? Partagez vos questions et commentaires ci-dessous.