Puce IA révolutionnaire : transcender les limites du transistor pour une puissance de calcul massive

Electronics & Sensors INSIDER

Des chercheurs de Princeton ont totalement réinventé la physique de l'informatique pour construire une puce pour les charges de travail IA modernes. Et avec le soutien du gouvernement américain, ils verront à quel point cette puce peut être rapide, compacte et économe en énergie. Un premier prototype est illustré ci-dessus. (Image : Hongyang Jia / Université de Princeton)

La plus grande organisation de recherche du Département de la Défense s'est associée à un effort mené par l'Université de Princeton pour développer des micropuces avancées pour l'intelligence artificielle.

Le nouveau matériel réinvente les puces pour les charges de travail modernes pouvant exécuter de puissants systèmes IA en utilisant beaucoup moins d'énergie que les semi-conducteurs les plus avancés d'aujourd'hui, selon Naveen Verma, professeur de génie électrique et informatique. Verma, qui dirigera le projet, affirme que les avancées franchissent des barrières clés qui ont freiné les puces pour l'IA, notamment la taille, l'efficacité et l'évolutivité.

Les puces nécessitant moins d'énergie peuvent être déployées pour exécuter l'IA dans des environnements plus dynamiques, des ordinateurs portables et téléphones aux hôpitaux et autoroutes, jusqu'à l'orbite basse terrestre et au-delà. Les puces qui alimentent les modèles les plus avancés d'aujourd'hui sont trop volumineuses et inefficaces pour fonctionner sur de petits appareils, elles sont donc principalement confinées aux baies de serveurs et grands centres de données.

Maintenant, la Defense Advanced Research Projects Agency (DARPA) a annoncé qu'elle soutiendrait le travail de Verma, basé sur une suite d'inventions clés de son laboratoire, avec une subvention de 18,6 millions de dollars. Le financement DARPA pilotera une exploration sur la vitesse, la compacité et l'efficacité énergétique de la nouvelle puce.

« Il y a une limitation assez importante avec la meilleure IA disponible seulement dans le centre de données », dit Verma. « La sortir de là et les façons dont nous pouvons tirer valeur de l'IA explosent. »

L'annonce s'inscrit dans un effort plus large de la DARPA pour financer des « avancées révolutionnaires en science, dispositifs et systèmes » pour la prochaine génération de calcul IA. Le programme, appelé OPTIMA, inclut des projets dans plusieurs universités et entreprises. L'appel à propositions du programme estimait le financement total à 78 millions de dollars, bien que la DARPA n'ait pas divulgué la liste complète des institutions ni le montant total alloué à ce jour.

Dans le projet dirigé par Princeton, les chercheurs collaboreront avec la startup de Verma, EnCharge AI. Basée à Santa Clara, CA, EnCharge AI commercialise des technologies basées sur des découvertes du laboratoire de Verma, incluant plusieurs articles clés co-écrits avec des doctorants en génie électrique remontant à 2016.

Verma a cofondé EnCharge AI en 2022 avec Kailash Gopalakrishnan, ancien IBM Fellow, et Echere Iroaga, leader en conception de systèmes semi-conducteurs.

Gopalakrishnan a déclaré que l'innovation au sein des architectures de calcul existantes, ainsi que les améliorations de la technologie silicium, ont commencé à ralentir exactement au moment où l'IA a commencé à créer des demandes massives de puissance de calcul et d'efficacité. Même le meilleur unité de traitement graphique (GPU), utilisé pour exécuter les systèmes IA d'aujourd'hui, ne peut atténuer les goulets d'étranglement en mémoire et en énergie de calcul auxquels l'industrie fait face. « Bien que les GPU soient le meilleur outil disponible aujourd'hui », dit-il, « nous avons conclu qu'un nouveau type de puce sera nécessaire pour libérer le potentiel de l'IA. »

Entre 2012 et 2022, la puissance de calcul requise par les modèles IA a crû d'environ un million de pour cent, selon Verma, qui est également directeur du Keller Center for Innovation in Engineering Education à l'Université de Princeton. Pour répondre à la demande, les puces les plus récentes intègrent des dizaines de milliards de transistors, chacun séparé par la largeur d'un petit virus. Et pourtant, les puces ne sont toujours pas assez denses en puissance de calcul pour les besoins modernes.

Les modèles actuels de pointe, qui combinent grands modèles de langage avec vision par ordinateur et autres approches d'apprentissage automatique, ont été développés en utilisant plus d'un trillion de variables chacun. Les GPU conçus par Nvidia qui ont alimenté le boom de l'IA sont devenus si précieux que de grandes entreprises les transportent rapportément en voiture blindée. Les listes d'attente pour acheter ou louer ces puces s'étendent à l'infini.

Quand Nvidia est devenue seulement la troisième entreprise à atteindre une valorisation de 2 000 milliards de dollars, le Wall Street Journal a rapporté qu'une part rapidement croissante des revenus croissants de l'entreprise provenait non pas du développement des modèles, appelé entraînement, mais des puces qui permettent l'utilisation des systèmes IA une fois qu'ils sont déjà entraînés. Les technologues appellent cette phase de déploiement « inférence ». Et c'est là que Verma dit que sa recherche aura le plus d'impact à court et moyen terme.

« Tout cela concerne la décentralisation de l'IA, la libérer du centre de données », dit-il. « Elle doit sortir du centre de données vers les endroits où nous et les processus qui nous importent pouvons accéder au calcul le plus, et ce sont les téléphones, ordinateurs portables, usines, ce genre de choses. »

Pour créer des puces capables de gérer les charges de travail IA modernes dans des environnements compacts ou contraints en énergie, les chercheurs ont dû complètement réinventer la physique de l'informatique tout en concevant et empaquetant du matériel pouvant être fabriqué avec les techniques de fabrication existantes et fonctionnant bien avec les technologies de calcul existantes, comme une unité centrale de traitement.

« Les modèles IA ont explosé en taille », dit Verma, « et cela signifie deux choses. » Les puces IA doivent devenir bien plus efficaces pour faire des maths et bien plus efficaces pour gérer et déplacer les données.

Leur approche en trois parties clés

Partie 1 : Calcul en mémoire (In-memory computing)

L'architecture de base de pratiquement tous les ordinateurs numériques a suivi un schéma trompeusement simple, développé dans les années 1940 : stocker les données en un endroit, faire le calcul ailleurs. Cela signifie faire la navette d'informations entre cellules de mémoire et processeur. Au cours de la dernière décennie, Verma a été pionnier dans la recherche d'une approche mise à jour où le calcul est effectué directement dans les cellules de mémoire, appelé calcul en mémoire. C'est la première partie. La promesse est que le calcul en mémoire réduira le temps et l'énergie nécessaires pour déplacer et traiter de grandes quantités de données.

Partie 2 : Calcul analogique

Mais jusqu'ici, les approches numériques du calcul en mémoire ont été très limitées. Verma et son équipe se sont tournés vers une approche alternative : le calcul analogique. C'est la deuxième partie.

« Dans le cas particulier du calcul en mémoire, vous n'avez pas seulement besoin de calculer efficacement », dit Verma, « vous avez aussi besoin de le faire avec une densité très élevée car maintenant cela doit tenir à l'intérieur de ces minuscules cellules de mémoire. » Plutôt que d'encoder l'information en une série de 0 et 1, et de traiter cette information en utilisant des circuits logiques traditionnels, les ordinateurs analogiques exploitent la physique plus riche des dispositifs. La courbure d'un engrenage. La capacité d'un fil à retenir une charge électrique.

Les signaux numériques ont commencé à remplacer les signaux analogiques dans les années 1940 principalement parce que le code binaire s'échelonnait mieux avec la croissance exponentielle de l'informatique. Mais les signaux numériques n'exploitent pas profondément la physique des dispositifs, et par conséquent ils peuvent nécessiter plus de stockage et de gestion de données. Ils sont moins efficaces à cet égard. L'analogique tire son efficacité du traitement de signaux plus fins en utilisant la physique intrinsèque des dispositifs. Mais cela peut s'accompagner d'un compromis en précision.

« La clé est de trouver la bonne physique pour le travail dans un dispositif qui peut être contrôlé de manière extrêmement précise et fabriqué à grande échelle », dit Verma.

Partie 3 : Condensateurs de précision

Son équipe a trouvé un moyen de faire un calcul hautement précis en utilisant le signal analogique généré par des condensateurs spécialement conçus pour commuter avec une précision exacte. C'est la troisième partie. Contrairement aux dispositifs semi-conducteurs comme les transistors, l'énergie électrique traversant les condensateurs ne dépend pas de conditions variables comme la température et la mobilité des électrons dans un matériau. « Ils ne dépendent que de la géométrie », dit Verma. « Ils dépendent de l'espace entre un fil métallique et l'autre fil métallique. » Et la géométrie est une chose que les techniques de fabrication de semi-conducteurs les plus avancées d'aujourd'hui peuvent contrôler extrêmement bien.

Source