Débloquer la valeur de l'IA avec données non étiquetées : comment Hologram stress-teste la perception autonome

Les données sont le sang vital du développement de véhicules autonomes (AV), alimentant les modèles de deep learning qui permettent les systèmes de conduite autonome.

Pour rester compétitifs, les vendeurs AV enregistrent des millions de miles sur routes publiques, stockant des pétaoctets de footage brut. Waymo, par exemple, a dépassé 10 millions de miles réels et 10 milliards de miles simulés de données enregistrées.

Pourtant, l'industrie pose rarement une question critique : Combien de cette vaste archive a été réellement étiquetée, et quelle est la précision de ces étiquettes ?

Phil Koopman, co-fondateur et CTO d'Edge Case Research, a averti dans une récente interview EE Times que « personne ne peut se permettre d'étiqueter tout ça. »

L'étiquetage de données est à la fois chronophage et coûteux

L'annotation demande des réviseurs humains experts pour regarder de courts clips vidéo et dessiner des boîtes englobantes autour de chaque véhicule, piéton, panneau, et feu de circulation pertinent pour un algorithme de conduite autonome. Le processus est laborieux et cher.

Un article Medium intitulé « Data Annotation: The Billion Dollar Business Behind AI Breakthroughs » met en lumière l'essor de services d'étiquetage gérés livrant des datasets domaine-spécifiques de haute qualité. L'article note que certaines startups de conduite autonome paient ces firmes jusqu'à des millions de dollars par mois.

IEEE Spectrum a rapporté que Carol Reiley, co-fondatrice et présidente de Drive.ai, a dit : « Des milliers de gens étiquettent des boîtes autour d'objets. Pour chaque heure de conduite, il faut environ 800 heures humaines pour étiqueter. » Ces équipes peinent à suivre l'afflux de données.

Des entreprises comme Drive.ai explorent des assistants d'annotation basés deep-learning pour accélérer le processus d'étiquetage fastidieux.

Exploiter les données non étiquetées

Koopman croit qu'il y a une alternative à l'étiquetage de pétaoctets de footage : exploiter les données elles-mêmes. Edge Case Research a développé « Hologram », un système d'analyse de risque et stress-test de perception IA conçu pour accélérer le développement logiciel de perception sans annotation exhaustive.

Hologram traite le même footage non étiqueté deux fois. D'abord, il le fait passer par un moteur de perception de base. Puis il retrait le clip avec une perturbation de bruit subtile, créant un scénario « stressé ». Le bruit expose les faiblesses cachées dans les frontières de décision de l'IA.

Alors qu'un humain pourrait voir un objet flou et hésiter, l'IA peut soit le manquer entièrement, soit le mal classer. En révélant de telles défaillances, Hologram aide les développeurs à identifier les conditions exactes déclenchant les mauvais comportements.

Comme le système opère sur données non étiquetées, il contourne le goulot d'étranglement de l'étiquetage tout en fournissant des insights actionnables. Hologram signale les scènes problématiques avec des barres colorées : orange indique un near-miss suggérant réentraînement, et rouge marque un échec complet invitant à une investigation plus profonde sur facteurs déclenchants comme bruit de fond ou contraste faible.

Koopman a souligné que les « sauces secrètes » de Hologram — ingénierie avancée et algorithmes propriétaires — lui permettent de faire surface seulement les anomalies les plus critiques, rendant la revue humaine bien plus efficace.

Il a aussi mis en garde que les datasets publics utilisés par Hologram sont restreints à la communauté de recherche et devraient être couplés avec le même moteur de perception qui a généré les données pour une analyse significative.

Visualiser l'impact de Hologram

Le moteur Hologram met en évidence où un système de perception échoue à détecter un panneau stop, révélant conditions déclenchantes comme fonds bruyants. (Source : Edge Case Research)

L'interface de Hologram marque les near-misses avec barres orange, incitant au réentraînement algorithmique, et barres rouges signalant des échecs de détection complets, permettant aux concepteurs de tracer les causes comme proximité d'un poteau ou contraste faible.

Hologram aide les concepteurs AV à découvrir les edge cases où le logiciel de perception se comporte bizarrement, potentiellement compromettant la sécurité. (Source : Edge Case Research)

Partenariat stratégique avec Ansys

Ansys a récemment annoncé une collaboration avec Edge Case Research pour intégrer Hologram dans sa plateforme de simulation. L'objectif est de construire le premier pipeline de simulation complet pour le développement de véhicules autonomes. Ansys travaille aussi avec BMW, qui vise à livrer son premier AV d'ici 2021.

ANSYS et BMW créent une chaîne d'outils de simulation pour la conduite autonome. (Source : Ansys)

— Junko Yoshida, Co-Rédactrice en chef mondiale, AspenCore Media, Correspondante internationale en chef, EE Times

>> Cet article a été publié à l'origine sur notre site frère, EE Times : « Use Unlabeled Data to See If AI Is Just Faking It. »