Intel propose une puce neuromorphique et un framework logiciel Loihi 2

Intel a dévoilé sa puce informatique neuromorphique de deuxième génération, Loihi 2, la première puce à être construite sur sa technologie de processus Intel 4. Conçu pour la recherche sur les réseaux de neurones neuromorphiques de pointe, Loihi 2 apporte une série d'améliorations. Ils incluent un nouveau jeu d'instructions pour les neurones qui offre plus de programmabilité, permettant aux pics d'avoir des valeurs entières au-delà de 1 et 0, et la possibilité de s'adapter à des maillages tridimensionnels de puces pour des systèmes plus grands.

Le fabricant de puces a également dévoilé Lava, un framework logiciel open source pour le développement d'applications neuro-inspirées. Intel espère impliquer des chercheurs en neuromorphisme dans le développement de Lava, qui, une fois opérationnel, permettra aux équipes de recherche de s'appuyer sur les travaux de chacun.

Loihi est la version Intel de ce à quoi devrait ressembler le matériel neuromorphique, conçu pour les réseaux de neurones à pointes (SNN) inspirés du cerveau. Les SNN sont utilisés dans l'informatique basée sur les événements, dans laquelle la synchronisation des pics d'entrée code les informations. En général, les pics qui arrivent plus tôt ont plus d'effet de calcul que ceux qui arrivent plus tard.

Processeur neuromorphique Loihi 2 de deuxième génération d'Intel. (Source :Intel)

L'une des principales différences entre le matériel neuromorphique et les processeurs standard est la distribution fine de la mémoire, ce qui signifie que la mémoire de Loihi est intégrée dans des cœurs individuels. Étant donné que les pics de Loihi dépendent du timing, l'architecture est asynchrone.

« Dans l'informatique neuromorphique, le calcul émerge à travers l'interaction entre ces éléments dynamiques », a expliqué Mike Davies, directeur du Neuromorphic Computing Lab d'Intel. "Dans ce cas, ce sont les neurones qui ont cette propriété dynamique de s'adapter en ligne à l'entrée qu'ils reçoivent, et le programmeur peut ne pas connaître la trajectoire précise des étapes que la puce suivra pour arriver à une réponse.

« Il passe par un processus dynamique d'auto-organisation de ses états et il s'installe dans une nouvelle condition. Ce dernier point fixe, comme nous l'appelons, ou état d'équilibre, est ce qui code la réponse au problème que vous souhaitez résoudre », a ajouté Davies. "C'est donc très fondamentalement différent de la façon dont nous pensons même à l'informatique dans d'autres architectures."

Les puces Loihi de première génération ont jusqu'à présent été démontrées dans diverses applications de recherche, y compris le contrôle adaptatif du bras de robot, où le mouvement s'adapte aux changements du système, réduisant ainsi la friction et l'usure du bras. Loihi est capable d'adapter son algorithme de contrôle pour compenser les erreurs ou les comportements imprévisibles, permettant aux robots de fonctionner avec la précision souhaitée. Loihi a également été utilisé dans un système qui reconnaît différentes odeurs. Dans ce scénario, il peut apprendre et détecter de nouvelles odeurs beaucoup plus efficacement qu'un équivalent basé sur l'apprentissage en profondeur. Un projet avec la Deutsche Bahn a également utilisé Loihi pour la programmation des trains. Le système a réagi rapidement aux changements tels que les fermetures de voies ou les trains en panne.

Fonctionnalités de deuxième génération

Construit sur une version de pré-production du processus Intel 4, Loihi 2 vise à augmenter la programmabilité et les performances sans compromettre l'efficacité énergétique. Comme son prédécesseur, il consomme généralement environ 100 mW (jusqu'à 1 W).

Une augmentation de la densité des ressources est l'un des changements les plus importants; alors que la puce intègre encore 128 cœurs, le nombre de neurones est multiplié par huit.

« Atteindre une plus grande quantité de stockage, de neurones et de synapses dans une seule puce est essentiel pour la viabilité commerciale… et les commercialiser d'une manière qui a du sens pour les applications clientes », a déclaré Davies.

cliquez pour l'image en taille réelle

Fonctionnalités de Loihi 2. (Source :Intel)

Avec Loihi 1, les charges de travail étaient souvent mappées sur l'architecture de manière non optimale. Par exemple, le nombre de neurones était souvent au maximum alors que la mémoire libre était encore disponible. La quantité de mémoire dans Loihi 2 est similaire au total, mais a été divisée en banques de mémoire plus flexibles. Une compression supplémentaire a été ajoutée aux paramètres réseau pour minimiser la quantité de mémoire requise pour les modèles plus volumineux. Cela libère de la mémoire qui peut être réaffectée aux neurones.

Le résultat est que Loihi 2 peut résoudre des problèmes plus importants avec la même quantité de mémoire, offrant une augmentation d'environ 15 fois de la capacité du réseau neuronal par millimètre ² de la surface de la puce, en gardant à l'esprit que la surface de la matrice est globalement réduite de moitié par la nouvelle technologie de processus.

Programmabilité des neurones

La programmabilité est une autre modification architecturale importante. Les neurones qui étaient auparavant à fonction fixe, bien que configurables, dans Loihi 1 obtiennent un jeu d'instructions complet dans Loihi 2. Le jeu d'instructions comprend des instructions communes d'arithmétique, de comparaison et de contrôle de programme. Ce niveau de programmabilité permettrait d'exécuter plus efficacement divers types de SNN.

"C'est une sorte de microcode qui nous permet de programmer des modèles de neurones presque arbitraires", a déclaré Davies. « Cela couvre les limites de Loihi [1], et là où nous trouvons généralement plus de valeur d'application, cela pourrait être débloqué avec des modèles de neurones encore plus complexes et plus riches, ce qui n'est pas ce à quoi nous nous attendions au début de Loihi. Mais maintenant, nous pouvons réellement englober toute l'étendue des modèles de neurones que nos partenaires essaient d'étudier, et ce que le domaine des neurosciences computationnelles [est] propose et caractérise. »

La matrice Loihi 2 est la première à être fabriquée sur une version de pré-production de la technologie de processus Intel 4. (Source :Intel)

Pour Loihi 2, l'idée de pointes a également été généralisée. Loihi 1 a utilisé des pointes binaires strictes pour refléter ce que l'on voit en biologie, où les pointes n'ont aucune magnitude. Toutes les informations sont représentées par la synchronisation des pics, et les pics antérieurs auraient un effet de calcul plus important que les pics ultérieurs. Dans Loihi 2, les pointes transportent une charge utile entière configurable disponible pour le modèle de neurone programmable. Bien que les cerveaux biologiques ne fassent pas cela, Davies a déclaré qu'il était relativement facile pour Intel d'ajouter à l'architecture silicium sans compromettre les performances.

"C'est un cas où nous nous écartons de la stricte fidélité biologique, en particulier parce que nous comprenons quelle est l'importance, l'aspect de codage temporel de celui-ci", a-t-il déclaré. "Mais [nous avons réalisé] que nous pouvons faire mieux et que nous pouvons résoudre les mêmes problèmes avec moins de ressources si nous avons cette ampleur supplémentaire qui peut être envoyée avec ce pic."

La messagerie généralisée basée sur les événements est la clé de la prise en charge par Loihi 2 d'un réseau de neurones profonds appelé réseau de neurones sigma-delta (SDNN), qui est beaucoup plus rapide que l'approche de synchronisation utilisée sur Loihi 1. Les SDNN calculent les valeurs d'activation graduée de la même manière. que font les DNN conventionnels, mais ne communiquent que les changements importants lorsqu'ils se produisent de manière éparse et événementielle.

Mise à l'échelle 3D

Loihi 2 est présenté comme jusqu'à 10 fois plus rapide que son prédécesseur au niveau du circuit. Combinée à des améliorations fonctionnelles, la conception peut offrir des gains de vitesse jusqu'à 10X, a déclaré Davies. Loihi 2 prend en charge les pas de temps minimaux à l'échelle de la puce inférieurs à 200 ns; il peut également traiter les réseaux neuromorphiques jusqu'à 5 000 fois plus rapidement que les neurones biologiques.

La nouvelle puce comporte également des ports d'évolutivité qui permettent à Intel de faire évoluer les réseaux de neurones dans la troisième dimension. Sans mémoire externe sur laquelle exécuter de plus grands réseaux de neurones, Loihi 1 nécessitait plusieurs périphériques (comme dans le système de puces 768-Loihi d'Intel, Pohoiki Springs). Les maillages planaires des puces Loihi 1 deviennent des maillages 3D dans Loihi 2. Pendant ce temps, la bande passante puce à puce a été améliorée d'un facteur quatre, la compression et les nouveaux protocoles fournissant un dixième du trafic de pointe redondant envoyé entre les puces. Davies a déclaré que l'augmentation de la capacité combinée est d'environ 60 fois pour la plupart des charges de travail, évitant les goulots d'étranglement causés par les liaisons inter-puces.

L'apprentissage à trois facteurs est également pris en charge, ce qui est populaire dans la recherche de pointe sur les algorithmes neuromorphiques. La même modification, qui mappe les troisièmes facteurs à des synapses spécifiques, peut être utilisée pour approximer la rétro-propagation, la méthode d'entraînement utilisée dans l'apprentissage en profondeur. Cela crée de nouvelles façons d'apprendre via Loihi.

Loihi 2 sera disponible pour les chercheurs en tant que carte à puce unique pour le développement d'applications de pointe (Oheo Gulch). Il sera également proposé sous la forme d'une carte à huit puces destinée à évoluer pour des applications plus exigeantes. (Source :Intel)

Lave

Le framework logiciel Lava complète les améliorations de Loihi. Le projet open source est disponible pour la communauté de recherche neuromorphique.

"Le logiciel continue de freiner le terrain", a déclaré Davies. « Il n’y a pas eu beaucoup de progrès, pas au même rythme que le matériel ces dernières années. Et il n'y a pas eu d'émergence d'un framework logiciel unique, comme nous l'avons vu dans le monde de l'apprentissage en profondeur où nous avons TensorFlow et PyTorch qui prennent une énorme impulsion et une base d'utilisateurs. »

Alors qu'Intel a démontré un portefeuille d'applications pour Loihi, le partage de code entre les équipes de développement a été limité. Cela rend plus difficile pour les développeurs de s'appuyer sur les progrès réalisés ailleurs.

Présenté comme un nouveau projet et non comme un produit, Davies a déclaré que Lava est conçu comme un moyen de créer un cadre qui prend en charge les chercheurs de Loihi travaillant sur une gamme d'algorithmes. Alors que Lava vise à transmettre des messages asynchrones basés sur des événements, il prendra également en charge l'exécution hétérogène. Cela permet aux chercheurs de développer des applications qui s'exécutent initialement sur des processeurs. Avec l'accès au matériel Loihi, les chercheurs peuvent ensuite mapper des parties de la charge de travail sur la puce neuromorphique. L'espoir est que cette approche aiderait à réduire la barrière à l'entrée.

"Nous voyons un besoin de convergence et de développement commun ici vers cet objectif plus vaste qui sera nécessaire pour commercialiser la technologie neuromorphique", a déclaré Davies.

Loihi 2 sera utilisé par des chercheurs développant des algorithmes neuromorphiques avancés. Oheo Gulch, un système à puce unique pour les tests en laboratoire, sera initialement disponible pour les chercheurs, suivi de Kapoho Point, une version Loihi 2 à huit puces de Kapoho Bay. Kapoho Point comprend une interface Ethernet conçue pour permettre l'empilement de cartes pour des applications telles que la robotique nécessitant plus de puissance de calcul.

Lava est disponible en téléchargement sur GitHub.

>> Cet article a été initialement publié sur notre site frère, EE Fois.

---

Contenus associés :

• Présentation des arguments en faveur des puces neuromorphiques pour le calcul de l'IA
• Le réseau de neurones à impulsion cible les puces Arm
• Puces d'IA avancées pour s'appuyer sur les technologies de mémoire émergentes
• Puces d'IA neuromorphiques pour les débuts des réseaux de neurones à pic
• L'énigme de l'analyse comparative de l'informatique neuromorphique

Pour plus d'informations sur Embedded, abonnez-vous à la newsletter hebdomadaire d'Embedded.