Le processeur de vision AI permet la vidéo 8K à 30fps en moins de 2W

En utilisant le CES 2021 comme plate-forme de lancement, Ambarella a annoncé son système de processeur de vision sur puce (SoC) d'intelligence artificielle (IA) de cinquième génération qui, selon lui, établit une nouvelle norme en matière d'efficacité énergétique. Son processeur CV5 AI vision CVflow fabriqué selon un processus Samsung 5 nm avancé permet l'encodage d'une vidéo 8K complète à 30 images par seconde en moins de 2 watts, ce qui est important pour les systèmes de caméras intelligents dans les caméras automobiles, grand public (y compris les drones) et robotiques.

Le nouveau CV5 combine le moteur d'IA CVflow d'Ambarella avec des processeurs à double bras A76 pour fournir les performances nécessaires à une large gamme d'algorithmes basés sur l'IA. En permettant l'entrée de jusqu'à 14 caméras, le processeur de signal d'image (ISP) peut traiter simultanément des images pour une visualisation humaine et un traitement machine. Lors d'un briefing avec Embarella.com, Chris Day, vice-président du marketing et du développement commercial chez Ambarella, a déclaré :« Il s'agit de notre cinquième génération de processeurs d'image, avec un traitement séparé pour la vidéo et l'IA. C'est la première puce 5 nm, permettant une faible consommation d'énergie, ce qui est essentiel pour de nombreuses applications, et en particulier dans les caméras de sport. "

Il a ajouté :« Nous travaillons en étroite collaboration avec l'usine Samsung et avons l'une des meilleures équipes de conception VLSI de l'industrie. Cela signifie que nous avons un bon accès anticipé aux bibliothèques de processus grâce à notre étroite relation de travail avec Samsung. »

Dans les applications de télématique vidéo automobile, CV5 fournit les performances nécessaires pour encoder plusieurs flux vidéo à partir des systèmes avancés d'aide à la conduite (ADAS), de surveillance du conducteur, de surveillance de la cabine et de caméras latérales. Son moteur CVflow AI peut exécuter simultanément des algorithmes ADAS tels que la sortie de voie et l'avertissement de collision avant ainsi que des algorithmes de surveillance du conducteur tels que la détection de conducteur somnolent. La combinaison de la capture vidéo haute résolution et du traitement avancé de l'IA permet aux caméras ADAS de reconnaître les images sur de longues distances et avec une grande précision.

Day a déclaré que l'intérêt initial se porte sur le marché automobile, car ce segment représente environ 20 % de l'activité d'Ambarella.

La faible consommation d'énergie du SoC CV5 le rend également adapté aux caméras d'action haute résolution et à fréquence d'images élevée de nouvelle génération, à 360° et de réalité virtuelle (VR), offrant un enregistrement et une lecture 8K dans des conceptions à très petit facteur de forme. En particulier, il dispose également de fonctionnalités telles que la stabilisation d'image sur puce et l'assemblage adapté aux caméras VR.

Dans les applications robotiques et de drones, le moteur CVflow AI de CV5 peut accélérer la localisation et la cartographie simultanées (SLAM), la planification de trajectoire, la détection d'obstacles et les algorithmes d'évitement pour la navigation et le fonctionnement autonome. Pour la vidéographie et la cinématographie aériennes basées sur des drones, le CV5 peut exécuter simultanément des fonctions de contrôle de vol et de navigation tout en enregistrant jusqu'à une résolution de 8K à 60 images par seconde.

Day a commenté qu'il y a deux domaines sur le marché des drones pour lesquels le CV5 est particulièrement bon :l'un est l'amélioration de la vidéographie, mais l'autre est l'ajout de la vision par ordinateur et de l'IA pour des choses comme la détection d'objets.

Dans toutes les différentes applications, Day a déclaré que le principal avantage du CV5 est la possibilité d'ajouter un enregistrement 8K sur tous les marchés. Il a également déclaré que c'était la première fois que la société incluait l'interface PCIe sur puce, ouvrant ainsi des options de connectivité. Alors que l'accent initial est mis sur l'automobile, les caméras de sport, les drones et les caméras VR, il s'attend à avoir des versions de CV5 pour la sécurité et la surveillance plus tard cette année

Le nouveau SoC partage des outils SDK et de vision par ordinateur (CV) communs avec les autres familles de SoC CVflow d'Ambarella, simplifiant le développement de caméras avec plusieurs options de prix et de performances. Un ensemble complet d'outils CV aide les clients à porter leurs propres réseaux neuronaux sur CV5, y compris un compilateur, un débogueur et la prise en charge des frameworks d'apprentissage automatique standard, tels que PyTorch, ONNX, Caffe et TensorFlow, ainsi que des directives détaillées pour les neurones convolutifs. optimisation des performances du réseau (CNN).

Les principales caractéristiques du SoC CV5 incluent :

• Architecture CVflow avec prise en charge DNN
• Arm Cortex-A76 à double cœur jusqu'à 1,6 GHz avec extensions NEON DSP et FPU
• Interfaces SLVS-EC, MIPI-CSI (C/D PHY) haute vitesse, connectant jusqu'à 14 caméras
• FAI multicanal avec un débit allant jusqu'à 8 KP60
• Prise en charge native des formats de capteur RGGB, RCCB, RCCC, RVB-IR et monochrome
• Traitement multi-exposition à plage dynamique élevée (HDR)
• Déformation du fisheye et correction de la distorsion de l'objectif (LDC) en temps réel avec accélération matérielle
• Encodage AVC et HEVC avec un débit jusqu'à 8 KP60 et prise en charge de plusieurs flux
• Un riche ensemble d'interfaces comprend PCIe à 4 voies, CAN FD, Gigabit Ethernet, hôte et périphérique USB 3.1, trois contrôleurs de carte SD, des sorties vidéo MIPI DSI/CSI-2 et HDMI
• Prise en charge LPDDR4x / LPDDR5 / LPDDR5x, bus de données 64 bits et capacité jusqu'à 32 Go
• Fonctionnalités de sécurité, notamment démarrage sécurisé avec TrustZone et mémoire sécurisée, TRNG, OTP, brouillage DRAM et virtualisation
• Technologie de traitement 5 nm
• Boîtier FBGA 16×16 avec pas de billes de 0,5 mm