NVIDIA utilise l'IA pour aider les caméras à voir clairement

• Les chercheurs développent un réseau de neurones profonds qui évalue la capacité d'une caméra à voir clairement.
• Les véhicules autonomes peuvent utiliser ce réseau pour prendre de meilleures décisions.

Des dizaines d'entreprises travaillent sur la technologie des véhicules autonomes et elles abordent toutes les défis d'ingénierie de différentes manières. Pour imiter la capacité de voir de l'humain, la technologie repose principalement sur trois éléments de base :le radar, les caméras et le lidar.

Cependant, plusieurs facteurs comme la pluie, la neige et d'autres types de blocages peuvent dégrader la vision de la caméra. Cela entrave la capacité du système de perception robuste à donner un sens à son environnement et à valider les données provenant des capteurs.

Afin de détecter efficacement l'invalidité des données des capteurs aussi rapidement que possible dans le pipeline de traitement avant qu'elles n'atteignent les modules en aval, les chercheurs de NVIDIA ont développé un modèle d'IA qui évalue la capacité d'une caméra à voir clairement.

Ce modèle utilise un réseau neuronal profond - nommé ClearSightNet - pour découvrir les causes profondes des blocages, des occlusions et des réductions de visibilité. Il a le potentiel de

1. Raison parmi un large éventail de causes possibles de la réduction de la visibilité de la caméra.
2. Fournir des données exploitables.
3. Exécution de diverses caméras avec une faible surcharge de calcul

Comment ça marche ?

Le réseau divise les images de la caméra en deux parties différentes ; l'un d'eux est associé à l'occlusion tandis que l'autre correspond à la réduction de la visibilité.

Source :NVIDIA | YouTube

L'occlusion représente la partie spécifique du champ de vision de la caméra qui est bloquée par des objets opaques (comme la neige, la boue ou la poussière) ou ne contient aucune donnée (par exemple des pixels saturés dus à la lumière du soleil). Dans ces portions, la perception est entièrement altérée.

La visibilité réduite représente des portions partiellement bloquées en raison du brouillard, de l'éblouissement ou de fortes pluies. Dans de tels cas, la décision prise par les algorithmes doit être marquée avec une « confiance inférieure ».

Le côté gauche montre l'image d'entrée tandis que le côté droit est l'image superposée avec le masque de sortie du réseau neuronal. Près de 84 pour cent des pixels de l'image sont affectés par une occlusion partielle et complète.

Pour afficher ces portions, ClearSightNet place un masque sur une vidéo/image d'entrée en temps réel. Les régions à visibilité réduite sont marquées par la couleur verte et les régions complètement occluses sont marquées par le rouge. Le réseau affiche également la zone de la vidéo d'entrée affectée par une visibilité réduite ou une occlusion.

Ces données peuvent être utilisées de plusieurs manières. Les voitures autonomes, par exemple, peuvent choisir de ne pas appliquer de fonction automatique lorsque la visibilité est faible et alerter les conducteurs pour qu'ils nettoient le pare-brise ou l'objectif de la caméra. Les véhicules peuvent utiliser ce réseau pour connaître la perception de la caméra.

L'équipe prévoit d'améliorer encore ClearSightNet pour fournir des calculs de bout en bout et des informations plus détaillées sur la visibilité de la caméra, permettant un meilleur contrôle sur le processus de mise en œuvre des véhicules autonomes.

Lire :Nvidia AI peut convertir des vidéos de 30 ips en 240 ips

En ce qui concerne les performances [du ClearSightNet actuel], le réseau s'exécute en environ 1,3 milliseconde (GPU intégré) et 0,7 milliseconde (GPU discret) par image sur Xavier. Il est déjà disponible dans NVIDIA DRIVE 9.0.