Un système d'avertissement pour les voitures autonomes apprend des pannes

Un nouveau modèle de voitures autonomes apprend des pannes passées en les repérant à l'avance, parfois jusqu'à 7 secondes.

Avec les véhicules autonomes, une situation de conduite inconnue ou complexe (comme un carrefour encombré) peut entraîner un désengagement du système de conduite autonome, soit par des mesures de sécurité automatiques, soit par une intervention humaine.

Un modèle d'intelligence artificielle de l'Université technique de Munich (TUM) utilise des milliers de situations de circulation réelles (en particulier, des séquences de désengagement enregistrées lors d'essais routiers) comme données d'entraînement pour prévoir les pannes futures.

Afin de prédire les échecs le plus tôt possible, l'approche d'apprentissage automatique classe les séquences de données de capteurs en échec ou en succès.

Si le système détecte une nouvelle situation de conduite que le système de contrôle n'était pas en mesure de gérer auparavant, par exemple, le conducteur sera averti à l'avance d'une éventuelle situation critique.

La technologie de sécurité développée par TUM utilise des capteurs et des caméras pour capturer les conditions environnantes, telles que l'angle du volant, les conditions de la route, la météo, la visibilité et la vitesse. L'I.A. basé sur un réseau neuronal récurrent (RNN) et des milliers de situations de trafic réel, apprend à reconnaître des modèles avec les données.

La voiture elle-même est traitée comme une boîte noire, axée uniquement sur l'entrée et la sortie de données. Selon l'équipe de Munich, le système apprend de manière introspective à partir de ses propres erreurs précédentes.

"Le gros avantage de notre technologie :nous ignorons complètement ce que pense la voiture. Au lieu de cela, nous nous limitons aux données basées sur ce qui se passe réellement et recherchons des modèles", a déclaré le chercheur principal, le professeur Eckehard Steinbach , qui est également membre du conseil d'administration de la Munich School of Robotics and Machine Intelligence (MSRM) à TUM,. « De cette façon, l'I.A. découvre des situations potentiellement critiques que les modèles ne sont peut-être pas capables de reconnaître ou n'ont pas encore découvertes."

Le système offre une fonction de sécurité qui sait quand et où les voitures ont des faiblesses, explique Steinbach.

La méthode de Steinbach et de son équipe combine deux types de capteurs. Un modèle basé sur l'image apprend à détecter des situations généralement difficiles, comme une rue animée d'une ville. Un modèle supplémentaire basé sur des données détecte les changements rapides immédiatement avant une panne, comme un freinage ou une embardée soudains. Le résultat des modèles individuels est fusionné en faisant la moyenne des probabilités de défaillance individuelles.

Le groupe BMW a évalué « l'approche introspective de prédiction des pannes » à travers 14 heures de conduite autonome sur la voie publique, en analysant environ 2 500 situations où le conducteur a dû intervenir.

Selon une étude publiée en décembre 2020 , l'approche de fusion tardive permet de prédire les défaillances avec une précision supérieure à 85 %, jusqu'à sept secondes avant qu'elles ne se produisent, et à un taux de faux positifs de 20 %.

Dans une courte interview avec Tech Briefs ci-dessous, Steinbach parle des points forts d'une approche de boîte noire, ainsi que des limites des mesures de sécurité des véhicules d'aujourd'hui.

Fiches techniques :Je pense que c'est une idée intéressante :« Nous ignorons complètement ce que pense la voiture. Au lieu de cela, nous nous limitons aux données basées sur ce qui se passe réellement et recherchons des modèles. Quels sont des exemples de modèles qu'un modèle peut ne pas reconnaître ?

Prof. Eckhard Steinbach :Dans notre travail, nous examinons l'état de la voiture, comme le freinage et la direction, ainsi que les images de caméra que la voiture obtient pour détecter les schémas qui conduisent à des désengagements. Bien que cela permette à notre modèle de détecter un grand pourcentage de situations où un humain doit prendre le relais, toutes les informations sur une scène de conduite ne sont pas capturées dans ces données.

À titre d'exemple simple, un schéma de freinage répété peut être une conduite régulière par temps chaud, mais peut indiquer un désengagement imminent si les routes sont verglacées et glissantes. Si les images de la caméra ne capturent pas ces informations sur l'environnement, ce modèle ne peut pas être utilisé pour faire la distinction entre une conduite régulière et une conduite perturbée. Bien que les informations de la caméra soient généralement suffisantes pour évaluer les conditions de la route, de tels schémas peuvent toujours être difficiles à reconnaître.

En savoir plus sur les voitures autonomes

Regardez sur Tech Briefs TV :le Michigan développe un corridor unique en son genre pour les véhicules connectés et autonomes.

Sur le blog :une enquête d'experts explore la question :quel impact les systèmes autonomes auront-ils sur la nature ?

Fiches techniques  :Pourquoi est-ce un avantage d'"ignorer ce que pense la voiture ?"

Prof. Eckhard Steinbach :Si la voiture évalue parfaitement une situation, le conducteur n'aura pas besoin d'intervenir. Cependant, l'excès de confiance est un défi important pour de nombreux modèles utilisés dans la conduite autonome. En enregistrant et en apprenant de ces situations, nous pouvons apprendre à détecter si une nouvelle situation est problématique même si la voiture est trop confiante à ce sujet.

De plus, l'observation de séquences de modèles sur l'état et l'environnement de la voiture permet à notre modèle d'extrapoler efficacement dans le futur pour prédire les désengagements jusqu'à sept secondes à l'avance. Si tôt à l'avance, l'évaluation de la scène par la voiture pourrait encore être tout à fait correcte, ce qui signifie qu'elle ne pourrait pas être utilisée pour prédire le scénario difficile. Les données brutes collectées, en revanche, peuvent déjà contenir des modèles qui ont déjà conduit à des échecs et permettent donc de prédire les désengagements à l'avance.

Fiches techniques :Comment le système est-il capable de déterminer un scénario « critique », sept secondes à l'avance ? De plus, lorsque cette détection se produit, que se passe-t-il ensuite ? Que voit le conducteur dans la voiture et que fait la voiture ?

Prof. Eckhard Steinbach :La clé est d'observer des séquences de données et de rechercher des modèles temporels. En considérant les trois dernières secondes de données enregistrées, notre modèle est capable de détecter des modèles qui finissent par évoluer vers un scénario où le conducteur humain doit prendre le contrôle. Si vous savez ce qu'il faut rechercher, vous pouvez repérer les premiers signes d'une situation difficile plusieurs secondes à l'avance.

Notre méthode y parvient environ 85 % du temps sept secondes à l'avance. Les 15 % de situations restantes peuvent s'expliquer par le fait que certains scénarios difficiles se développent en très peu de temps, comme des piétons sortant soudainement d'entre des voitures en stationnement et s'approchant de la route. Lorsque la détection se produit, le conducteur doit être alerté.

Fiches techniques  :Comment le conducteur est-il alerté ?

Prof. Eckhard Steinbach :La mise en œuvre de cette alerte dépend du choix précis de l'interface homme-machine, mais le conducteur doit savoir que son contrôle de la voiture sera requis dans les sept prochaines secondes. Ce temps permet également à la voiture de planifier une manœuvre d'arrêt en toute sécurité au cas où le conducteur humain ne réagirait pas à l'invite.

Fiches techniques :Comment s'est passé ton essai routier ? Quelle a été la détection la plus impressionnante que vous ayez vue ?

Prof. Eckhard Steinbach :Étant donné que les essais routiers ont été effectués par le groupe BMW, je n'y ai pas participé à l'intérieur de la voiture. Notre groupe a ensuite travaillé avec les enregistrements des disques. L'élément le plus impressionnant du système de détection est la rapidité avec laquelle la prédiction se produit souvent. Au moment de la détection, le scénario de conduite peut encore sembler régulier, par exemple uniquement pour que le trafic à l'intersection suivante se transforme en un environnement compliqué et encombré où l'humain prend le relais pour assurer la sécurité quelques secondes plus tard.

Fiches techniques  :Qu'est-ce qui est encore difficile à détecter pour les voitures autonomes ?

Prof. Eckhard Steinbach :Un défi important dans la conduite autonome est les données nouvelles ou non distribuées. Si la voiture entre dans une situation pour laquelle elle n'a pas été entraînée ou voit un objet qu'elle ne connaît pas, des problèmes peuvent survenir. Ces nouvelles scènes provoquent une intervention humaine, ce qui conduit à utiliser ces scènes comme données de formation pour notre approche. Alors que notre méthode peut alors aider à détecter un tel nouvel environnement difficile la prochaine fois qu'il est rencontré, détecter et gérer correctement une scène entièrement nouvelle la première fois qu'elle est rencontrée reste une tâche difficile.

Qu'en pensez-vous ? Partagez vos questions et commentaires ci-dessous.