Le système à double caméra surveille le conducteur et la route avec un seul SoC AI

la nouvelle dashcam de KeepTruckin, basée sur le système CV22 d'Ambarella sur une puce, utilise l'IA pour surveiller les conducteurs de camions et autres véhicules utilitaires.

Les systèmes de surveillance du conducteur sont devenus un élément essentiel de la conversation en matière de sécurité automobile. Bien qu'une grande partie de la discussion sur la surveillance des conducteurs ait porté sur son utilisation pour les particuliers dans les voitures particulières, il existe un énorme marché dans le secteur des véhicules commerciaux pour surveiller les conducteurs dans leurs camions afin d'assurer la sécurité et d'essayer de prévenir les accidents, ainsi que de permettre aux gestionnaires de flotte pour évaluer les risques et réduire les coûts d'assurance.

Au service de ce marché, la société de technologie de gestion de flotte KeepTruckin a déclaré cette semaine qu'elle s'était associée à la société de système de vision sur puce (SoC) d'intelligence artificielle (IA) de pointe Ambarella pour développer sa nouvelle dashcam de rechange pour les grands véhicules utilitaires. La nouvelle dashcam utilise un seul SoC Ambarella CV22 pour fournir simultanément l'IA et le traitement d'image pour son système à double caméra, qui intègre une caméra pour le système avancé d'aide à la conduite (ADAS) avant avec enregistrement d'incident, et une deuxième caméra RVB-IR pour le système de surveillance du conducteur (DMS) avec enregistrement du conducteur.

La spécification de performances par watt du CV22 permet également à la petite dashcam IA d'exécuter les algorithmes d'IA propriétaires de KeepTruckin pour la détection en temps réel des comportements à haut risque et les avertissements actifs directement sur l'appareil avec une dissipation thermique minimale.

EE Times s'est entretenu avec des dirigeants de KeepTruckin et d'Ambarella pour en savoir plus sur le développement du produit. Jai Ranganathan, vice-président directeur des produits chez KeepTruckin, a déclaré :« La sécurité des conducteurs est devenue plus importante que jamais, d'autant plus qu'il y a plus de litiges contre les opérateurs commerciaux. Ainsi, le concept de dashcams est devenu très populaire. Nous nous sommes associés à Ambarella pour développer notre dashcam de nouvelle génération. Une mesure clé pour nous lorsque nous examinons leur puce est l'inférence par watt ; la performance par rapport au coût était également importante. Nous devions faire des choses comme la détection de profondeur avec un seul objectif, ce qui peut être difficile. »

Il a déclaré que l'ensemble du processus, du début à la sortie de la dashcam aujourd'hui, a duré environ 18 mois. « Le facteur le plus important pour nous [pour permettre cette mise sur le marché rapide] était d'avoir un partenaire capable de nous aider dans l'ensemble du processus de développement. Autrement, il n'aurait pas été possible d'arriver sur le marché aussi rapidement. »

Le directeur de produit de KeepTruckin, Abhishek Gupta, a ajouté :"Le support des développeurs a été extrêmement bénéfique, d'autant plus que nous l'avons construit pendant une pandémie alors que de nombreuses personnes travaillaient à distance."

Ranganathan a déclaré que la dashcam AI de KeepTruckin exploite les performances de traitement de la vision et de l'intelligence artificielle d'Ambarella pour fournir des fonctionnalités avancées basées sur l'intelligence artificielle qui détectent les comportements à haut risque avec une précision et une efficacité élevées. « Notre innovation continue en matière de gestion de flotte est rendue possible par la gamme évolutive de SoC de vision CVflow AI d'Ambarella, qui sont tous pris en charge par un SDK commun et robuste, permettant une approche de plate-forme pour le développement de nos produits. »

Offrant le point de vue de l'analyste, Ian Riches, vice-président de la pratique automobile et directeur de Strategy Analytics, a commenté :« La sélection de KeepTruckin de SoC Ambarella pour sa nouvelle caméra de tableau de bord AI lui donne une plate-forme puissante, rentable et efficace sur laquelle s'appuyer. L'écosystème d'Ambarella lui donne les outils nécessaires pour développer des solutions d'IA sur mesure qui profiteront à ses clients de flotte. »

Les fonctionnalités ADAS avant activées par le CV22 incluent des avertissements pour le suivi rapproché, les sorties de voie, les collisions avant, les excès de vitesse et les infractions au code de la route. Utilisant le même SoC, exécutant plusieurs modèles de réseaux neuronaux simultanés, les capacités DMS de la caméra embarquée incluent la surveillance de la fatigue du conducteur, de la distraction et des violations des politiques, telles que l'utilisation contextuelle du téléphone portable ou la surveillance de la ceinture de sécurité, en combinaison avec les données de la caméra avant.

L'IA Dashcam est connectée à la passerelle de véhicule KeepTruckin, qui télécharge les données, les vidéos et les images fixes pré-analysées vers le logiciel de gestion de flotte basé sur le cloud de KeepTruckin en temps réel. Le SoC CV22 intègre le processeur de signal d'image d'Ambarella, qui fournit des vidéos HDR de haute qualité avec une résolution de 1440p dans toutes les conditions d'éclairage, tout en utilisant son encodage H.264/H.265 sur puce pour réduire la bande passante de transmission et les coûts de stockage.

KeepTruckin peut télécharger des fonctionnalités supplémentaires sur le CV22 au fil du temps, via des mises à jour logicielles en direct, pour offrir une valeur ajoutée aux clients qui investissent dans la plate-forme. De plus, la formation sur les modèles de KeepTruckin devient de plus en plus précise grâce à son équipe de sécurité interne qui évalue la qualité en temps réel, ajoute un contexte de risque supplémentaire et fournit des informations qui raccourcissent les cycles de formation et de développement des modèles.

Udit Budhia, directeur du marketing chez Ambarella, a déclaré :« Pour le marché secondaire, il s'agit probablement du produit de vision IA le plus sophistiqué pour l'automobile. Nous avons constaté une croissance rapide des systèmes d'avertissement ADAS, tels que les avertissements de sortie de voie. Parlant de l'avantage du SoC CV22 dans cette application, il a ajouté :« Un composant clé est le processeur de signal d'image (ISP). Nous prenons en charge divers types de capteurs, notamment RGGB, RGB-IR, monochrome, RCCB et RCCC, et prenons en charge le traitement HDR. Nous pouvons détecter des objets dans la scène et également avoir un filtrage de faible luminosité, ce qui se traduit par moins de bruit et donc un traitement plus efficace de la vidéo. Nous utilisons moins de bande passante et beaucoup moins de DRAM. »

Concernant les outils, Budhia a déclaré :« Notre outil permet de développer simultanément des caméras de surveillance frontale et de surveillance du conducteur. » La programmabilité et l'efficacité de l'architecture CVflow AI d'Ambarella permettent des performances de vision par ordinateur significatives avec une très faible consommation d'énergie, ce qui augmente la fiabilité et l'efficacité pour exécuter plus de modèles en parallèle, ce qui améliore la détection et la visibilité tout autour. Son ensemble complet d'outils CV aide les clients comme KeepTruckin à porter leurs propres réseaux de neurones et inclut la prise en charge des frameworks d'apprentissage automatique standard tels que PyTorch, ONNX, Caffe et TensorFlow.

>> Cet article a été initialement publié sur notre site frère, EE Fois.

---

Contenus associés :

• Les systèmes de surveillance du conducteur basés sur la vision gagnent du terrain
• Détruire les idées fausses sur les systèmes de surveillance des conducteurs
• Le système de numérotation de l'automatisation des véhicules est-il utile ?
• Les capteurs d'image offrent des images plus nettes en cabine
• Les technologies clés qui nous rapprochent de la mobilité sans conducteur

Pour plus d'informations sur Embedded, abonnez-vous à la newsletter hebdomadaire d'Embedded.