Les accélérateurs matériels servent les applications d'IA

Les accélérateurs matériels - des appareils spécialisés utilisés pour effectuer des tâches spécifiques telles que la classification d'objets - sont de plus en plus intégrés dans des systèmes sur puces (SoC) servant diverses applications d'IA. Ils aident à créer des processeurs personnalisés étroitement intégrés qui offrent une puissance inférieure, une latence inférieure, une réutilisation des données et une localisation des données.

Pour commencer, il est nécessaire d'accélérer matériellement les algorithmes d'IA. Les accélérateurs d'IA sont spécialement conçus pour permettre un traitement plus rapide des tâches d'IA ; ils effectuent des tâches particulières d'une manière qui n'est pas possible avec les processeurs traditionnels.

De plus, aucun processeur ne peut répondre aux divers besoins des applications d'IA, et ici, les accélérateurs matériels intégrés aux puces d'IA offrent des avantages en termes de performances, d'efficacité énergétique et de latence pour des charges de travail spécifiques. C'est pourquoi les architectures personnalisées basées sur les accélérateurs d'IA commencent à remettre en question l'utilisation de CPU et de GPU pour les applications d'IA.

Les concepteurs de puces d'IA doivent déterminer ce qu'il faut accélérer, comment l'accélérer et comment interconnecter cette fonctionnalité avec le réseau neuronal. Vous trouverez ci-dessous un aperçu des principales tendances du secteur qui définissent l'utilisation d'accélérateurs matériels dans l'évolution des charges de travail de l'IA. Inévitablement, cela commence par des accélérateurs d'IA disponibles pour une intégration dans une variété de puces et de cartes d'IA.

IP d'accélérateur d'IA

Les accélérateurs matériels sont largement utilisés dans les puces d'IA pour segmenter et accélérer les tâches gourmandes en données telles que la vision par ordinateur et l'apprentissage en profondeur pour les applications de formation et d'inférence. Ces cœurs d'IA accélèrent les réseaux de neurones sur des frameworks d'IA tels que Caffe, PyTorch et TensorFlow.

Gyrfalcon Technology Inc. (GTI) conçoit des puces d'IA et fournit des accélérateurs d'IA à utiliser dans des conceptions de SoC personnalisées via un modèle de licence IP. La start-up d'IA basée à Milpitas, en Californie, propose les accélérateurs d'IA Lightspeeur 2801 et 2803 pour les applications de périphérie et de cloud, respectivement.

Il est important de noter que Gyrfalcon a également développé des puces AI autour de ces accélérateurs matériels, ce qui rend ces IP d'accélérateurs AI éprouvées sur silicium. La puce AI 2801 de la société pour les conceptions de pointe effectue 9,3 téra d'opérations par seconde par watt (TOPS/W), tandis que sa puce AI 2803 pour les applications de centre de données peut fournir 24 TOPS/W.

En plus des outils de développement IP et de la documentation technique, Gyrfalcon fournit aux concepteurs d'IA des dongles USB 3.0 pour la création de modèles, l'évaluation de puces et les conceptions de validation de principe. Les titulaires de licence peuvent utiliser ces dongles sur des PC Windows et Linux ainsi que sur des kits de développement matériel comme Raspberry Pi.

Architecture matérielle

Le principe de base des accélérateurs d'IA est de traiter les algorithmes plus rapidement que jamais tout en utilisant le moins d'énergie possible. Ils effectuent une accélération à la périphérie, dans le centre de données ou quelque part entre les deux. Et les accélérateurs d'IA peuvent effectuer ces tâches dans les ASIC, les GPU, les FPGA, les DSP ou une version hybride de ces appareils.

Cela conduit inévitablement à plusieurs architectures d'accélérateurs matériels optimisées pour l'apprentissage automatique (ML), l'apprentissage en profondeur, le traitement du langage naturel et d'autres charges de travail d'IA. Par exemple, certains ASIC sont conçus pour fonctionner sur des réseaux de neurones profonds (DNN), qui, à leur tour, auraient pu être entraînés sur un GPU ou un autre ASIC.

Ce qui rend l'architecture de l'accélérateur d'IA cruciale, c'est le fait que les tâches d'IA peuvent être massivement parallèles. De plus, la conception de l'accélérateur d'IA est étroitement liée à la mise en œuvre multicœur, ce qui accentue l'importance critique de l'architecture de l'accélérateur d'IA.

Ensuite, les conceptions de l'IA découpent de plus en plus finement les algorithmes en ajoutant de plus en plus d'accélérateurs spécialement créés pour augmenter l'efficacité du réseau neuronal. Plus le cas d'utilisation est spécifique, plus il y a d'opportunités pour l'utilisation granulaire de nombreux types d'accélérateurs matériels.

Ici, il convient de mentionner qu'en plus des accélérateurs d'IA intégrés dans des puces personnalisées, des cartes d'accélérateur sont également utilisées pour améliorer les performances et réduire la latence dans les serveurs cloud et les centres de données sur site. Les cartes accélératrices Alveo de Xilinx Inc., par exemple, peuvent accélérer radicalement la recherche dans les bases de données, le traitement vidéo et l'analyse des données par rapport aux processeurs (Fig. 1 ).

Fig. 1:Les cartes accélératrices Alveo U250 augmentent le débit d'inférence en temps réel de 20 fois par rapport aux processeurs haut de gamme et réduisent la latence inférieure à 2 ms de plus de 4 fois par rapport aux accélérateurs à fonction fixe comme les GPU haut de gamme. (Image :Xilinx Inc.)

Programmabilité

De nombreux changements dynamiques se produisent dans les conceptions d'IA et, par conséquent, les algorithmes logiciels changent plus rapidement que les puces d'IA ne peuvent être conçues et fabriquées. Cela souligne un défi majeur pour les accélérateurs matériels qui ont tendance à devenir des dispositifs à fonction fixe dans de tels cas.

Il doit donc y avoir une sorte de programmabilité dans les accélérateurs qui permet aux concepteurs de s'adapter à l'évolution des besoins. La flexibilité de conception qui accompagne les fonctionnalités de programmabilité permet également aux concepteurs de gérer une grande variété de charges de travail d'IA et de topologies de réseaux neuronaux.

Intel Corp. a répondu à cet appel à la programmabilité dans les conceptions d'IA en acquérant un développeur israélien d'accélérateurs programmables d'apprentissage en profondeur pour environ 2 milliards de dollars. Le processeur Gaudi de Habana pour la formation et le processeur Goya pour l'inférence offrent un environnement de développement facile à programmer (Fig. 2 ).

Fig. 2:C'est ainsi que les plates-formes et outils de développement accélèrent la conception de puces d'IA à l'aide des accélérateurs de formation Gaudi. (Image :La Havane)

IA à la limite

Il est maintenant évident que le marché de l'inférence de l'IA est bien plus important que celui de la formation à l'IA. C'est pourquoi l'industrie est témoin d'une variété de puces optimisées pour un large éventail de charges de travail d'IA allant de la formation à l'inférence.

Cela amène les microcontrôleurs (MCU) dans le domaine de la conception de l'IA qui ont par ailleurs été principalement associés à de puissants SoC. Ces MCU intègrent des accélérateurs d'IA pour servir des appareils de périphérie industriels et IoT à ressources limitées dans des applications telles que la détection d'objets, la reconnaissance faciale et gestuelle, le traitement du langage naturel et la maintenance prédictive.

Prenons l'exemple de l'accélérateur microNPU ML Ethos U-55 d'Arm que NXP Semiconductors intègre dans ses microcontrôleurs basés sur Cortex-M, ses microcontrôleurs croisés et ses sous-systèmes en temps réel dans les processeurs d'application. L'accélérateur Ethos U-55 fonctionne de concert avec le noyau Cortex-M pour obtenir un faible encombrement. Ses techniques de compression avancées permettent d'économiser de l'énergie et de réduire considérablement la taille des modèles de ML pour permettre l'exécution de réseaux de neurones qui ne fonctionnaient auparavant que sur des systèmes plus importants.

L'environnement de développement eIQ ML de NXP offre aux concepteurs d'IA un choix de moteurs d'inférence open source. Selon les exigences spécifiques de l'application, ces accélérateurs d'IA peuvent être intégrés à divers éléments de calcul :CPU, GPU, DSP et NPU.