Les architectures des microcontrôleurs évoluent pour l'IA

Qu'obtenez-vous si vous croisez l'IA avec l'IoT ? L'AIoT est la réponse simple, mais vous obtenez également un nouveau domaine d'application énorme pour les microcontrôleurs, rendu possible par les avancées des techniques de réseau neuronal qui signifient que l'apprentissage automatique ne se limite plus au monde des superordinateurs. De nos jours, les processeurs d'applications pour smartphones peuvent (et font) effectuer des inférences d'IA pour le traitement d'images, les moteurs de recommandation et d'autres fonctionnalités complexes.

Un écosystème de milliards d'appareils IoT bénéficiera de capacités d'apprentissage automatique au cours des deux prochaines années (Image :NXP)

Apporter ce type de capacité à l'humble microcontrôleur représente une énorme opportunité. Imaginez une aide auditive qui peut utiliser l'IA pour filtrer le bruit de fond des conversations, des appareils ménagers intelligents qui peuvent reconnaître le visage de l'utilisateur et basculer vers leurs paramètres personnalisés, et des nœuds de capteurs compatibles avec l'IA qui peuvent fonctionner pendant des années avec la plus petite des batteries. Le traitement des données au point de terminaison offre des avantages de latence, de sécurité et de confidentialité qui ne peuvent être ignorés.

Cependant, réaliser un apprentissage automatique significatif avec des appareils de niveau microcontrôleur n'est pas une tâche facile. La mémoire, un critère clé pour les calculs de l'IA, est souvent sévèrement limitée, par exemple. Mais la science des données progresse rapidement pour réduire la taille des modèles, et les fournisseurs d'appareils et d'adresses IP réagissent en développant des outils et en incorporant des fonctionnalités adaptées aux exigences de l'apprentissage automatique moderne.

TinyML décolle

Signe de la croissance rapide de ce secteur, le TinyML Summit (un nouvel événement de l'industrie tenu plus tôt ce mois-ci dans la Silicon Valley) ne cesse de se renforcer. Le premier sommet, qui s'est tenu l'année dernière, comptait 11 entreprises sponsors alors que l'événement de cette année en comptait 27, avec des créneaux épuisés beaucoup plus tôt, selon les organisateurs, qui ont également déclaré que le nombre d'adhésions à leurs rencontres mensuelles mondiales pour les designers avait considérablement augmenté.

"Nous voyons un nouveau monde avec des milliards d'appareils intelligents activés par les technologies TinyML qui détectent, analysent et agissent de manière autonome pour créer un environnement plus sain et plus durable pour tous", a déclaré le coprésident du comité TinyML, Evgeni Gousev de Qualcomm, dans son allocution d'ouverture au spectacle.

Gousev a attribué cette croissance au développement de matériel et d'algorithmes plus économes en énergie, combinés à des outils logiciels plus matures. Les investissements des entreprises et des capital-risque sont en augmentation, tout comme les activités de démarrage et de fusions et acquisitions, a-t-il noté.

Aujourd'hui, le comité TinyML pense que la technologie a été validée et que les premiers produits utilisant l'apprentissage automatique dans les microcontrôleurs devraient arriver sur le marché dans 2-3 ans. On pense que les "applications tueuses" seront dans 3 à 5 ans.

Une grande partie de la validation technique a eu lieu au printemps dernier lorsque Google a présenté pour la première fois une version de son framework TensorFlow pour microcontrôleurs. TensorFlow Lite pour microcontrôleurs est conçu pour fonctionner sur des appareils ne disposant que de quelques kilo-octets de mémoire (le cœur d'exécution tient dans 16 Ko sur un Arm Cortex M3, et avec suffisamment d'opérateurs pour exécuter un modèle de détection de mots clés vocaux, il occupe un total de 22 Ko). Il ne prend en charge que l'inférence (pas la formation).

Grands joueurs

Les grands fabricants de microcontrôleurs suivent bien entendu avec intérêt les évolutions de la communauté TinyML. À mesure que la recherche permet aux modèles de réseaux de neurones de devenir plus petits, la taille de leur opportunité augmente.

La plupart ont une sorte de support pour les applications d'apprentissage automatique. Par exemple, STMicroelectronics dispose d'un pack d'extension, STM32Cube.AI, qui permet de cartographier et d'exécuter des réseaux de neurones sur sa famille STM32 de microcontrôleurs basés sur Arm Cortex-M.

Renesas dispose de son environnement de développement e-AI qui permet d'implémenter l'inférence de l'IA sur des microcontrôleurs. Il traduit efficacement le modèle en une forme utilisable dans son e ² studio, compatible avec les projets C/C++.

NXP a déclaré avoir des clients utilisant ses microcontrôleurs Kinetis et LPC bas de gamme pour les applications d'apprentissage automatique. La société adopte l'IA avec des solutions matérielles et logicielles, bien qu'elles soient principalement axées sur ses plus gros processeurs d'application et ses processeurs croisés (entre les processeurs d'application et les microcontrôleurs).

Armes fortes

La plupart des entreprises établies dans l'espace des microcontrôleurs ont une chose en commun :Arm. Le géant des cœurs de processeurs embarqués domine le marché des microcontrôleurs avec sa série Cortex-M. La société a récemment annoncé le tout nouveau noyau Cortex-M55, conçu spécifiquement pour les applications d'apprentissage automatique, en particulier lorsqu'il est utilisé en combinaison avec l'accélérateur Ethos-U55 AI. Les deux sont conçus pour les environnements aux ressources limitées.

Utilisés en tandem, Arm's Cortex-M55 et Ethos-U55 ont une puissance de traitement suffisante pour des applications telles que la reconnaissance de gestes, la biométrie et la reconnaissance vocale (Image :Arm)

Mais comment les startups et les petites entreprises peuvent-elles chercher à rivaliser avec les grands acteurs de ce marché ?

« Pas en construisant des SoC basés sur Arm ! Parce qu'ils le font très bien », a déclaré en riant le PDG de XMOS, Mark Lippett. « La seule façon de rivaliser avec ces gars-là est d'avoir un avantage architectural… [cela signifie] les capacités intrinsèques du Xcore en termes de performances, mais aussi de flexibilité. »

Bien que Xcore.ai de XMOS, son nouveau processeur croisé pour les interfaces vocales, ne concurrencera pas directement les microcontrôleurs, le sentiment reste vrai. Toute entreprise fabriquant un SoC basé sur ARM pour rivaliser avec les grands a intérêt à avoir quelque chose d'assez spécial dans sa sauce secrète.

Mise à l'échelle de la tension et de la fréquence

La startup Eta Compute a sorti son appareil ultra-basse consommation très attendu lors du salon TinyML. Il peut être utilisé pour l'apprentissage automatique dans les applications de traitement d'images et de fusion de capteurs en permanence avec un budget de puissance de 100 µW. La puce utilise un cœur Arm Cortex-M3 plus un cœur NXP DSP - l'un ou les deux cœurs peuvent être utilisés pour la charge de travail ML. La sauce secrète de la société contient plusieurs ingrédients, mais la clé est la façon dont elle met à l'échelle la fréquence d'horloge et la tension de manière continue, pour les deux cœurs. Cela permet d'économiser beaucoup d'énergie, d'autant plus qu'il est réalisé sans PLL (boucle à verrouillage de phase).

L'ECM3532 d'Eta Compute utilise un noyau Arm Cortex-M3 plus un noyau NXP CoolFlux DSP. La charge de travail d'apprentissage automatique peut être gérée par l'un ou par les deux (Image :Eta Compute)

Avec des concurrents viables d'Arm désormais disponibles, y compris l'architecture de jeu d'instructions à venir offerte par la fondation RISC-V, pourquoi Eta Compute a-t-elle choisi d'utiliser un noyau Arm pour l'accélération de l'apprentissage automatique à très faible consommation ?

"La réponse simple est que l'écosystème d'Arm est tellement bien développé", a déclaré Tewksbury à EETimes . « C'est juste beaucoup plus facile de passer en production [avec Arm] qu'avec RISC-V en ce moment. Cette situation pourrait changer à l'avenir… RISC-V a son propre ensemble d'avantages; c'est certainement bon pour le marché chinois, mais nous examinons principalement les marchés nationaux et européens en ce moment avec l'écosystème pour [notre appareil]. "

Tewksbury a noté que le défi majeur auquel est confronté l'AIoT est l'étendue et la diversité des applications. Le marché est plutôt fragmenté, avec de nombreuses applications relativement de niche ne commandant que de faibles volumes. Dans l'ensemble, cependant, ce secteur s'étend potentiellement à des milliards d'appareils.

« Le défi pour les développeurs est qu'ils ne peuvent pas se permettre d'investir du temps et de l'argent dans le développement de solutions personnalisées pour chacun de ces cas d'utilisation », a déclaré Tewksbury. « C’est là que la flexibilité et la facilité d’utilisation deviennent absolument primordiales. Et c'est une autre raison pour laquelle nous avons choisi Arm - parce que l'écosystème est là, les outils sont là, et il est facile pour les clients de développer rapidement des produits et de les commercialiser rapidement sans beaucoup de personnalisation. "

Après avoir gardé son ISA sous clé pendant des décennies, Arm a finalement annoncé en octobre dernier qu'il permettrait aux clients de créer leurs propres instructions personnalisées pour gérer les charges de travail spécialisées telles que l'apprentissage automatique. Cette capacité, entre de bonnes mains, peut également offrir la possibilité de réduire davantage la consommation d'énergie.

Eta Compute ne peut pas encore en profiter car il ne s'applique pas rétrospectivement aux cœurs Arm existants, et n'est donc pas applicable au cœur M3 qu'Eta utilise. Mais Tewksbury pourrait-il voir Eta Compute utiliser les instructions personnalisées d'Arm dans les futures générations de produits pour réduire davantage la consommation d'énergie ?

« Absolument, oui », a-t-il dit.

Autres ISA

RISC-V a reçu beaucoup d'attention cette année. L'ISA open source permet la conception de processeurs sans frais de licence, tandis que les conceptions basées sur l'ISA RISC-V peuvent être protégées comme avec tout autre type d'IP. Les concepteurs peuvent choisir les extensions à ajouter et peuvent ajouter leurs propres extensions personnalisées.

La startup française GreenWaves est l'une des nombreuses entreprises à utiliser des cœurs RISC-V pour cibler l'espace d'apprentissage automatique à très faible consommation d'énergie. Ses appareils, GAP8 et GAP9, utilisent respectivement des clusters de calcul à 8 et 9 cœurs.

L'architecture de la puce IA ultra basse consommation GAP9 de GreenWaves utilise désormais 10 cœurs RISC-V (Image :GreenWaves)

Martin Croome, vice-président du développement commercial chez GreenWaves, a expliqué à EETimes pourquoi l'entreprise utilise des cœurs RISC-V.

"La première raison est que RISC-V nous donne la possibilité de personnaliser les cœurs au niveau du jeu d'instructions, que nous utilisons beaucoup", a déclaré Croome, expliquant que les extensions personnalisées sont utilisées pour réduire la puissance des charges de travail d'apprentissage automatique et de traitement du signal. . « Lorsque l'entreprise a été créée, si vous vouliez le faire avec une autre architecture de processeur, c'était soit impossible, soit cela vous coûterait une fortune. Et la fortune que cela allait vous coûter était essentiellement l'argent de votre investisseur allant à une autre entreprise, et c'est très difficile à justifier. »

Les extensions personnalisées de GreenWaves à elles seules donnent à ses cœurs une amélioration de 3,6 fois la consommation d'énergie par rapport aux cœurs RISC-V non modifiés. Mais Croome a également déclaré que RISC-V présente des avantages techniques fondamentaux simplement parce qu'il est nouveau.

« C'est un jeu d'instructions très propre et moderne. Il n'a pas de bagages. Ainsi, du point de vue de la mise en œuvre, le noyau RISC-V est en fait une structure plus simple, et simple signifie moins de puissance », a-t-il déclaré.

Croome a également cité le contrôle comme un facteur important. Le périphérique GAP8 a 8 cœurs dans son cluster de calcul, et GreenWaves a besoin d'un contrôle très fin et détaillé sur l'exécution du cœur pour permettre une efficacité énergétique maximale. RISC-V permet cela, a-t-il déclaré.

"En fin de compte, si nous avions pu faire tout cela avec Arm, nous aurions fait tout cela avec Arm, cela aurait été un choix beaucoup plus logique… Parce que personne n'a jamais été licencié pour avoir acheté Arm", a-t-il plaisanté. . « Les outils logiciels sont là à un niveau de maturité bien supérieur à RISC-V… mais cela dit, l'accent est désormais tellement mis sur RISC-V que ces outils gagnent en maturité très rapidement. »

En résumé, alors que certains considèrent que l'emprise d'Arm sur le marché des microprocesseurs s'affaiblit, en partie à cause de la concurrence accrue de RISC-V, la société réagit en autorisant certaines extensions personnalisées et en développant de nouveaux cœurs conçus pour l'apprentissage automatique dès le départ.

En fait, des appareils Arm et non Arm arrivent sur le marché pour des applications d'apprentissage automatique à très faible consommation. Alors que la communauté TinyML continue de travailler sur la réduction de la taille du modèle de réseau neuronal et le développement de frameworks et d'outils dédiés, ce secteur deviendra un domaine d'application sain qui prendra en charge une variété de types d'appareils différents.