Ambarella présente des SoC alimentés par IA pour flux vidéo multi-capteurs

Ambarella, une entreprise leader en traitement d'image, a annoncé deux nouvelles solutions de système sur puce (SoC) qui combinent la capture vidéo haute résolution avec un traitement avancé d'intelligence artificielle (IA). Conçus pour les caméras de sécurité et les déploiements de villes intelligentes, les CV5S et CV52S offrent un encodage vidéo 4K et des tâches IA sophistiquées telles que la reconnaissance faciale et de plaques d'immatriculation.

Le CV5S cible les systèmes de caméras multi-capteurs, gérant jusqu'à quatre flux de 8 mégapixels (8MP) — équivalent à une résolution 4K — à 30 images par seconde (fps) chacun. Il peut traiter 14 flux vidéo séparés simultanément, effectuant de l'IA en temps réel sur chaque image 4K. Comparé à la génération précédente d'Ambarella, le CV5S double à la fois la résolution d'encodage et la bande passante mémoire tout en réduisant la consommation d'énergie de 30 %. Il fonctionne sous 5 W et délivre 12 eTOPS (une métrique Ambarella pour la performance équivalente GPU).

Le CV52S est optimisé pour les caméras mono-capteur et supporte la résolution 4K à 60 fps. Il offre une performance IA quadruplée, un débit CPU doublé et 50 % de bande passante mémoire en plus par rapport aux modèles antérieurs. Consommant moins de 3 W, il fournit 6 eTOPS de puissance de calcul.

Les deux SoC sont construits sur le procédé 5 nm d'Ambarella et présentent un accélérateur IA CVflow étendu, permettant des opérations de convolution et autres d'apprentissage profond efficaces. « Avoir un accélérateur IA seul ne suffit pas ; tout le pipeline d'imagerie doit fonctionner harmonieusement », a déclaré Jerome Gigot, directeur senior marketing d'Ambarella. « Notre ISP intégré, contrôleur mémoire et pile logicielle nous permettent de garder les données sur place, éliminant les copies coûteuses et atteignant un traitement vidéo basse consommation, haute qualité. »

En plus du moteur CVflow, chaque SoC inclut le processeur de signal d'image (ISP) de longue date d'Ambarella, qui gère la correction des couleurs, l'auto-exposition, la balance des blancs automatique et le filtrage du bruit. Gigot a souligné l'historique de développement de 16 ans de l'ISP, soulignant la profondeur d'intégration que les nouveaux entrants manquent généralement.

L'accélérateur IA est un processeur vectoriel qui peut accélérer les réseaux de neurones convolutifs (CNN) et les algorithmes de vision par ordinateur classiques. Il supporte la sparsification — l'élagage des coefficients proches de zéro — pour réduire la charge de calcul jusqu'à 80 %. Après une brève phase de réentraînement, les modèles retrouvent une précision à 1 % de l'original, tandis que la taille du modèle peut se réduire de cinq fois.

Avec sa capacité à gérer jusqu'à 14 flux vidéo indépendants, le CV5S peut exécuter plusieurs réseaux neuronaux simultanément. Gigot a expliqué que le moteur CVflow emploie le multiplexage temporel et des chemins parallèles, permettant un fonctionnement efficace à travers différents réseaux sans le traitement par lots typique des GPU.

Les CV5S et CV52S entreront en échantillonnage en octobre 2021.

Le CV52S cible les designs mono-capteur tels que la surveillance du trafic et autres applications de ville intelligente (Source : Ambarella)

Le SoC CV5S pour systèmes de caméras multi-capteurs inclut la dernière génération de l'accélérateur IA et vision par ordinateur CVflow d'Ambarella (Source : Ambarella)

Jerome Gigot (Source : Ambarella)

Pour plus de détails, voir la publication originale sur EE Times.

Contenus connexes :

• Processeur vision IA permet vidéo 8K à 30fps sous 2W
• Ambarella cible la détection intelligente en périphérie avec nouveau SoC caméra
• FPGA déplacent les ASIC dans Subaru Eyesight ADAS basé vision
• Arm ajoute CPU, GPU et ISP pour sécurité autonome et vision
• Carte vision IA basse consommation dure « des années » sur une seule batterie

Pour plus de contenu Embedded, abonnez-vous à la newsletter hebdomadaire d'Embedded.