Pionnier de l'IA avertit : le focus matériel actuel est mal orienté

Yann LeCun, Chief AI Scientist de Facebook, a mis en garde dans son keynote NeurIPS que se focaliser sur du matériel exotique est une erreur. Il a passé en revue l'évolution de puces spécialisées pour réseaux de neurones, partagé les travaux actuels de Facebook, et offert des prédictions pour le matériel d'apprentissage profond.

Histoire ancienne

LeCun, figure pionnière de l'IA depuis les années 1980, fut parmi les premiers à développer des processeurs dédiés aux réseaux de neurones chez Bell Labs. Ces premiers dispositifs, construits à partir de réseaux de résistances pour effectuer la multiplication matricielle, furent la fondation pour les avancées ultérieures.

Alors que les réseaux de neurones tombèrent en disgrâce à la fin des années 1990 et début 2000, LeCun fut l'un des rares scientifiques à maintenir le domaine en vie. Dans son keynote, il a réfléchi aux leçons matérielles apprises durant cette ère.

Yann LeCun, Chief AI Scientist de Facebook

Premièrement, les outils sont cruciaux. Dans les années 90, seule une poignée de chercheurs — LeCun inclus — avait un logiciel capable d'entraîner des réseaux de neurones. L'équipe a passé des années à construire ce qu'on appellerait maintenant un framework d'apprentissage profond, une couche flexible qui traduit le code haut niveau en routines d'entraînement efficaces. Cette percée a posé les bases pour les frameworks modernes comme TensorFlow et PyTorch, où les modèles sont assemblés depuis des modules différentiables qui peuvent être auto-différenciés.

Les bons outils ont donné à l'équipe de LeCun un « super-pouvoir » et permis la recherche reproductible. Il a souligné que des résultats solides doivent être reproductibles ; sinon, la communauté reste sceptique.

La performance matérielle est tout aussi importante. LeCun a noté que les capacités du matériel de recherche façonnent l'agenda de recherche. « Les idées abandonnées le sont souvent parce que le matériel disponible est insuffisant », a-t-il dit. « Un décalage entre ambitions de recherche et réalités matérielles peut faire dérailler des directions prometteuses. »

LeCun a mis en garde contre la poursuite de méthodes de fabrication exotiques qui échouent à s'intégrer avec l'écosystème informatique existant.

Il a aussi souligné un décalage clé dans les accélérateurs d'aujourd'hui : la plupart sont optimisés pour la multiplication matricielle plutôt que la convolution, l'opération centrale des réseaux modernes de traitement d'image et de parole. « L'approche dominante deviendra de plus en plus mal alignée alors que les demandes de puissance croissent », a-t-il averti. « Si 95 % des cycles sont dépensés en convolutions, le matériel est fondamentalement sous-optimal. »

Killer app

Regardant vers l'avant, LeCun voit les réseaux de neurones convolutionnels permeer les appareils quotidiens — des jouets aux aspirateurs en passant par l'équipement médical. La seule « killer app » qui débloquera la valeur de l'IA dans les appareils grand public, cependant, est le casque de réalité augmentée.

Facebook développe activement du matériel pour lunettes AR. Le défi réside dans la délivrance de calcul à faible latence, alimenté par batterie. « Quand l'utilisateur bouge, les objets virtuels doivent rester ancrés au monde, pas au casque », a expliqué LeCun, soulignant le besoin de tracking temps réel.

Facebook envisage des lunettes AR répondant aux commandes vocales et au suivi gestuel des mains. Bien que ces capacités existent aujourd'hui, elles manquent en termes de puissance, performance, et facteur de forme. LeCun a décrit plusieurs astuces pratiques pour combler l'écart.

Par exemple, quand le même réseau de neurones traite chaque frame d'une vidéo — comme la détection d'objets — les inexactitudes par frame peuvent être tolérées car la cohérence temporelle à travers les frames peut être imposée. Cela permet l'utilisation de matériel ultra-basse consommation, imparfait, qui peut subir des bit-flips occasionnels, réalisable en réduisant la tension d'alimentation.

Développements réseaux de neurones

L'évolution rapide des architectures de réseaux de neurones pose un défi de design pour le matériel. Les réseaux dynamiques qui apprennent des patterns séquentiels, comme beaucoup de modèles NLP, requièrent une optimisation de graphe à l'exécution et luttent avec le batching. LeCun a noté que la plupart du matériel existant assume une taille de batch >1, ce qui force les chercheurs à traiter des batches plus larges que le réglage optimal du modèle.

Il a exhorté la communauté matérielle à créer des architectures qui performent bien avec batch size 1, tant pour l'inférence que pour l'entraînement, où la taille de batch idéale est souvent un.

Apprentissage auto-supervisé

LeCun a averti que les paradigmes d'apprentissage changeront dramatiquement. Humains et animaux apprennent par observation — un processus qu'il appelle apprentissage auto-supervisé — plutôt que par étiquettes explicites ou signaux de renforcement. Cette approche, maintenant standard dans les NLP basés sur transformers, entraîne un modèle à prédire des portions masquées des données d'entrée.

Alors que l'apprentissage auto-supervisé est hautement efficace, il fait grimper les exigences mémoire. Les plus grands modèles transformer d'aujourd'hui contiennent jusqu'à cinq milliards de paramètres et ne tiennent pas dans un seul GPU, nécessitant du partitionnement de modèle.

« L'apprentissage auto-supervisé est le futur », a affirmé LeCun. « Il demande une mémoire et des ressources computationnelles massives, et la course au matériel s'intensifiera alors que nous entraînons des modèles toujours plus larges sur des données non étiquetées abondantes. »

Tendances matérielles

LeCun garde un œil sur les concepts matériels émergents comme le calcul analogique, la spintronique, et les systèmes optiques. Il a souligné que les goulets d'étranglement de communication — convertir signaux entre matériel nouveau et systèmes mainstream — sont un obstacle majeur. Les designs analogiques reposent sur des activations parcimonieuses pour réduire la consommation d'énergie, mais la faisabilité de soutenir la parcimonie reste incertaine.

Il reste sceptique sur les approches futuristes comme les réseaux de neurones à impulsions et puces neuromorphiques. « Avant de construire des puces, les algorithmes doivent se prouver », a-t-il dit. « Piloter le design matériel en avance de la maturité algorithmique est risqué. »

Chronologie du traitement de réseaux de neurones

Fin des années 1980 : Des réseaux de résistances sont utilisés pour la multiplication matricielle. À la fin des années 1980, les réseaux ont gagné amplificateurs et convertisseurs autour d'eux mais restent assez primitifs par les standards d'aujourd'hui. La limitation est la vitesse à laquelle les données peuvent être alimentées dans la puce.
1991 : La première puce conçue pour réseaux de neurones convolutionnels (CNN) est construite. La puce est capable de 320 giga-opérations par seconde (GOPS) sur données binaires, avec registres à décalage numériques qui minimisent le trafic externe nécessaire pour effectuer une convolution, accélérant ainsi l'opération. La puce n'a pas vu d'usage au-delà de l'académique.
1992 : ANNA, une puce ALU réseau de neurones analogique, débute. Conçue pour CNN avec poids 6 bits et activations 3 bits, ANNA contient 180 000 transistors en CMOS 0,9 µm. Elle est utilisée pour la reconnaissance optique de caractères de texte manuscrit.
1996 : DIANA, une version numérique d'ANNA, est publiée. Mais avec les réseaux de neurones tombant en disgrâce au milieu des années 1990, DIANA est éventuellement repurpousée pour le traitement de signal dans les tours de téléphonie cellulaire.
2009–2010 : Des chercheurs démontrent un accélérateur matériel de réseau de neurones sur FPGA (le Xilinx Virtex 6). Il exécute une démo pour segmentation sémantique pour conduite automatisée et est capable de 150 GOPS vers 0,5 W. L'équipe, de Purdue University, essaie de faire un ASIC basé sur ce travail, mais le projet s'avère infructueux. (Source : Yann Le Cun/Facebook)