Les outils logiciels migrent le code GPU vers les FPGA pour les applications d'IA

Le démarrage du logiciel d'IA Mipsology travaille avec Xilinx pour permettre aux FPGA de remplacer les GPU dans les applications d'accélérateur d'IA à l'aide d'une seule commande supplémentaire. Le logiciel « zéro effort » de Mipsology, Zebra, convertit le code GPU pour qu'il s'exécute sur le moteur de calcul AI de Mipsology sur un FPGA sans aucune modification de code ni formation nécessaire.

Xilinx a annoncé aujourd'hui la livraison de Zebra avec la dernière version de ses cartes Alveo U50 pour le centre de données. Zebra prend déjà en charge l'accélération d'inférence sur d'autres cartes Xilinx, notamment Alveo U200 et Alveo U250.

La dernière version de la carte d'accélérateur de centre de données Alveo U50 de Xilinx est désormais livrée avec le logiciel Zebra de Mipsology pour la conversion du code GPU AI pour qu'il s'exécute sur des FPGA (Image :Xilinx)

"Le niveau d'accélération que Zebra apporte à nos cartes Alveo fait honte aux accélérateurs CPU et GPU", a déclaré Ramine Roane, vice-président du marketing de Xilinx. « Combiné à Zebra, l'Alveo U50 répond aux besoins de flexibilité et de performances des charges de travail d'IA et offre des avantages de performances à haut débit et à faible latence pour tout déploiement. »

Plug-and-play

Historiquement, les FPGA étaient considérés comme notoirement difficiles à programmer pour les non-spécialistes, mais Mipsology souhaite faire des FPGA une solution plug-and-play aussi facile à utiliser qu'un CPU ou un GPU. L'idée est de faciliter au maximum le passage d'autres types d'accélération au FPGA.

"La meilleure façon de voir [Mipsology] est de créer le logiciel qui s'ajoute aux FPGA pour les rendre transparents de la même manière que Nvidia a fait Cuda CuDNN pour rendre le GPU complètement transparent pour les utilisateurs d'IA", a déclaré Ludovic Larzul, PDG de Mipsology. , dans une interview avec EE Times .

Surtout, cela peut être fait par des non-experts, sans expertise approfondie en IA ou compétences FPGA, car aucun recyclage de modèle n'est nécessaire pour la transition.

"La facilité d'utilisation est très importante, car lorsque vous regardez les projets d'IA des gens, ils n'ont souvent pas accès à l'équipe d'IA qui conçoit le réseau de neurones", a déclaré Larzul. « Généralement, si quelqu'un met en place un système de robots ou un système de vidéosurveillance… il a d'autres équipes ou d'autres parties qui développent les réseaux neuronaux et les forment. Et une fois qu'ils obtiennent [le modèle formé], ils ne veulent pas le changer parce qu'ils n'ont pas l'expertise. »

Pile de Zebra. La technologie est applicable aux applications de centre de données, de périphérie et intégrées (Image :Mipsology)

Vers Vitis

Pourquoi Xilinx prendrait-il en charge des logiciels tiers alors qu'il dispose déjà d'une solution complète destinée à rendre les FPGA accessibles à la fois aux scientifiques des données et aux développeurs de logiciels (à savoir, Vitis) ?

"Le pitch en une phrase est:nous faisons mieux", a déclaré Larzul. « Une autre phrase serait : les nôtres fonctionnent. »

Mipsology n'utilise aucune partie de Vitis ou ne s'y associe de quelque manière que ce soit, ni n'utilise XDNN, le moteur d'accélérateur de réseau neuronal de Xilinx. Mipsology possède son propre moteur de calcul au sein de Zebra, qui prend en charge les modèles de réseaux de neurones convolutifs (CNN) existants des clients, contrairement à XDNN qui, selon Larzul, prend en charge de nombreuses démos mais est moins bien adapté aux réseaux de neurones personnalisés. Cela, a-t-il dit, a rendu « douloureux » la mise en place de réseaux personnalisés avec XDNN. Alors que XDNN peut rivaliser dans des applications où il n'y a aucune menace de GPU, Zebra est destiné à permettre aux FPGA de s'attaquer de front aux GPU en fonction des performances, du coût et de la facilité d'utilisation.

La pile de Zebra en détail. L'objectif est de faire des FPGA un passage plus simple des GPU ou des CPU pour l'accélération de l'IA en masquant autant que possible le matériel (Image :Mipsology)

La motivation de la plupart des clients à changer des solutions GPU est le coût, a déclaré Larzul.

"Ils veulent réduire le coût du matériel, mais ne veulent pas avoir à reconcevoir le réseau de neurones", a-t-il déclaré. « Il y a un coût non récurrent [qui est évité] car nous sommes en mesure de remplacer les GPU de manière transparente, et il n'y a pas de réentraînement ou de modification du réseau de neurones. »

Selon Larzul, les FPGA offrent également une fiabilité, en partie parce qu'ils sont moins agressifs pour l'immobilier en silicium et qu'ils fonctionnent souvent plus froids que les autres types d'accélérateurs, y compris les GPU. Ceci est particulièrement important dans le centre de données où les coûts de maintenance à long terme sont importants.

"Le coût total de possession n'est pas seulement le prix de la carte", a déclaré Larzul. « Il y a aussi le prix à payer pour s'assurer que le système est opérationnel. »

Zebra vise également à rendre les FPGA compétitifs en termes de performances. Alors que les FPGA offrent généralement moins de TOPS (tera opérations par seconde) que les autres accélérateurs, ils sont capables d'utiliser ces TOPS plus efficacement grâce au moteur de calcul soigneusement conçu de Zebra, a déclaré Larzul.

Ludovic Larzul (Image :Mipsologie)

« C'est quelque chose que la plupart des start-up ASIC accélérant l'IA ont oublié - elles fabriquent un très gros morceau de silicium, essayant d'intégrer plus de TOPS, mais elles n'ont pas pensé à la façon dont vous mappez votre réseau dessus pour être efficace. ", a-t-il déclaré, notant que le moteur basé sur FPGA de Zebra est capable de traiter plus d'images par seconde qu'un GPU avec 6 fois plus de TOPS.

Comment y parvenir ? Bien que Larzul n'ait pas donné de détails exacts, il a dit qu'ils ne s'appuyaient pas sur l'élagage, car la réduction de la précision est trop importante pour être acceptable sans recyclage. Ils n'utilisent pas la quantification extrême (inférieure à 8 bits) pour la même raison.

Le moteur de Zebra accélère les CNN, qui sont principalement utilisés aujourd'hui par les applications de traitement d'images et de vidéos, mais Zebra peut également être appliqué au BERT (le modèle de traitement du langage naturel de Google), qui utilise des concepts mathématiques similaires. Les futures itérations de Zebra pourraient couvrir d'autres types de réseaux de neurones, notamment le LSTM (mémoire à long terme) et les RNN (réseaux de neurones récurrents), mais cela est plus difficile à réaliser car les RNN sont mathématiquement plus diversifiés.

L'équipe d'EVE

Mipsology a été fondée en 2015, avec une trentaine de personnes travaillant sur la R&D en France, et une petite équipe en Californie couvrant principalement le développement commercial. L'entreprise a reçu un financement total de 7 millions de dollars, dont 2 millions de dollars en récompense d'un concours d'innovation du gouvernement français en 2019.

L'équipe principale de Mipsology provient d'EVE - une société d'émulateurs ASIC acquise par Synopsys en 2012 pour ses produits de vérification assistée par matériel ZeBu (Zero Bug), à l'époque concurrent de la plate-forme de vérification Palladium de Cadence. Selon Larzul, la technologie EVE a été utilisée par presque toutes les grandes sociétés ASIC pour vérifier les ASIC pendant le cycle de conception; cette technologie reposait sur des milliers de FPGA connectés entre eux pour reproduire le comportement des ASIC.

Mipsology a 12 brevets en instance et travaille en étroite collaboration avec Xilinx tout en étant compatible avec les cartes accélératrices tierces telles que les cartes Western Digital Small Form Factor (SFF U.2) et les cartes Advantech comme la Vega-4001.

>> Cet article a été initialement publié le notre site partenaire, EE Times.