NVIDIA déploie l'IA pour améliorer la clarté des caméras des véhicules autonomes

Des dizaines d'entreprises travaillent sur la technologie des véhicules autonomes et elles abordent toutes les défis d'ingénierie de différentes manières. Pour imiter la capacité humaine à voir, la technologie repose principalement sur trois éléments de base : radar, caméras et lidar.

Comment cela fonctionne ?

Le réseau divise les images de la caméra en deux parties différentes ; l'une est associée à l'occlusion tandis que l'autre correspond à la réduction de visibilité.

Source : NVIDIA | YouTube

L'occlusion représente la partie spécifique du champ de vision de la caméra qui est bloquée par des objets opaques (comme la neige, la boue ou la poussière) ou qui ne contient pas de données (par exemple pixels saturés dus à la lumière du soleil). Dans ces parties, la perception est entièrement altérée.

La visibilité réduite représente les parties qui sont partiellement bloquées en raison du brouillard, de l'éblouissement ou de la pluie forte. Dans de tels cas, la décision prise par les algorithmes devrait être marquée avec « confiance inférieure ».

Le côté gauche montre l'image d'entrée tandis que le côté droit est l'image superposée avec le masque de sortie du réseau neuronal. Près de 84 pour cent des pixels de l'image sont affectés par une occlusion partielle et complète.

Pour afficher ces parties, ClearSightNet met un masque sur une vidéo/image d'entrée en temps réel. Les régions de visibilité réduite sont marquées en vert, et les régions complètement occluses sont marquées en rouge. Le réseau affiche également quelle proportion de la zone de la vidéo d'entrée est affectée par la visibilité réduite ou l'occlusion.

Ces données pourraient être utilisées de plusieurs façons. Les voitures autonomes, par exemple, peuvent choisir de ne pas appliquer de fonction automatique lorsque la visibilité est faible, et alerter les conducteurs pour nettoyer le pare-brise ou l'objectif de la caméra. Les véhicules peuvent utiliser ce réseau pour connaître la perception de la caméra.

L'équipe prévoit d'améliorer davantage ClearSightNet pour fournir des calculs de bout en bout et des informations plus détaillées sur la visibilité de la caméra, permettant un meilleur contrôle sur le processus d'implémentation des véhicules autonomes.

En ce qui concerne les performances [du ClearSightNet actuel], le réseau s'exécute en environ 1,3 milliseconde (GPU intégré) et 0,7 milliseconde (GPU discret) par image sur Xavier. Il est déjà disponible dans NVIDIA DRIVE 9.0.