Arm propose une adresse IP de traitement neuronal pour les processeurs d'applications

Arm a créé une nouvelle version de son IP microNPU (unité de traitement neuronal) qui peut être utilisée avec les cœurs de processeur Cortex-A dans les processeurs d'application. Le titulaire de licence principal NXP prévoit d'utiliser cette adresse IP dans une prochaine famille de processeurs d'applications capables de gérer des applications d'IA telles que l'estimation de pose, la reconnaissance multi-faces et la détection d'objets dans les vidéos, ainsi que la reconnaissance vocale au-delà de la détection de mots clés de base.

Ethos-U65

Le produit microNPU existant d'Arm, l'Ethos-U55, lancé en février 2020, est destiné aux produits de classe microcontrôleur aux côtés des cœurs Cortex-M. Il fournit jusqu'à 0,5 TOPS d'accélération (basé sur des géométries plus petites telles que 16 ou 7 nm, fonctionnant à 1 GHz), avec entre 3 et 256 unités d'accumulation multiple (MAC). Le portefeuille d'Arm comprend également les Ethos-N77, N57 et N37 qui offrent respectivement 4, 2 et 1 TOPS.

L'Ethos-U65 est conçu pour maintenir l'efficacité énergétique de l'Ethos-U55 tout en doublant les MAC disponibles - jusqu'à 512 MAC parallèles à 1 GHz - pour un total de 1 TOPS. Cette combinaison puissance/performance est spécifiquement destinée à être utilisée avec les cœurs Cortex-A dans les appareils de classe processeur d'application. La prise en charge native de la ligne Ethos-U pour les opérateurs ML a également été mise à jour et étendue, selon Arm.

Titulaire de licence principal

Le partenaire technologique principal (et titulaire de licence principal) NXP a travaillé en étroite collaboration avec Arm sur les aspects définissant le niveau système de l'Ethos-U65 et a déclaré qu'il intégrerait l'IP Ethos-U65 dans sa prochaine génération de processeurs d'application i.MX.

L'architecture NXP pour un processeur d'applications avec un microNPU utilise à la fois des cœurs Cortex-A et Cortex-M (Image :NXP)

L'architecture que NXP envisage pour un processeur d'applications d'IA verrait le microNPU Ethos-U65 assis aux côtés des cœurs Cortex-M et Cortex-A, a expliqué Ben Eckermann, ingénieur en chef du matériel AI/ML, NXP. Le Cortex-A exécute l'application, gère les pilotes pour (disons) un microphone ou une caméra et présente une charge de travail à la NPU. Le microNPU et le Cortex-M calculent la charge de travail d'apprentissage automatique et présentent la réponse au Cortex-A.

« Tout comme un Ethos-U55, [l'Ethos-U65] s'appuie sur un processeur Cortex-M pour se trouver quelque part à proximité du système, juste au cas où il y aurait des opérateurs d'apprentissage automatique du réseau de neurones qui n'auraient pas de sens d'être entièrement déchargés dans le matériel », a déclaré Eckermann. « Il existe de nombreux opérateurs d'apprentissage automatique qui sont rarement appelés et peuvent ne pas justifier une implémentation purement matérielle. »

La flexibilité offerte par le Cortex-M dans cette configuration permet également une certaine pérennité, a déclaré Eckermann.

L'U65 a été doté de bus système internes plus larges que l'U55 et a été conçu pour faire face à la mise en mémoire tampon et à la latence supplémentaires associées à la DRAM (commune dans les systèmes qui utilisent des processeurs d'application, alors que les systèmes Cortex-M utilisent généralement la SRAM).

Remplir le portefeuille

NXP complète son portefeuille de SoC compatibles avec l'IA.

Les processeurs d'application i.MX 8M+ précédemment annoncés par la société disposent d'un bloc accélérateur NPU AI aux côtés de cœurs Cortex-A53 double ou quadruple. L'IP NPU incluse dans ces produits ne provient pas d'Arm. Il s'agit d'une conception Verisilicon qui offre 2,3 TOPS, suffisamment pour la segmentation de scènes, la reconnaissance vidéo en direct des visages et des objets ou l'interprétation des accents de la parole. À l'extrémité inférieure du spectre, les microcontrôleurs de NXP avec NPU Arm Ethos-U55 peuvent gérer la détection de personnes, la détection de mots d'éveil et le débruitage vidéo.

Les produits compatibles Ethos-U65 se situeront entre ces deux catégories de produits, gérant des applications d'IA telles que la reconnaissance multiface, la reconnaissance vocale plus complexe ou l'estimation de pose. Aucun nouveau produit de cette catégorie ne chevauchera donc l'i.MX 8M+, a déclaré Eckermann.

La quantité de calcul requise pour diverses applications d'IA (axe des X) et le NPU correspondant (Image :NXP)

>> Cet article a été initialement publié le notre site partenaire, EE Times.