Qualcomm prépare l'offre Edge AI

Près de 18 mois après l'annonce initiale de l'accélérateur Cloud AI 100 AI, Qualcomm a publié quelques détails supplémentaires sur les facteurs de forme de solution dans lesquels cette puce sera disponible, ainsi que quelques chiffres de performances pour ces cartes. Le géant du silicium mobile a révélé que le silicium final de Cloud AI 100 est en production et sera expédié au cours du premier semestre 2021.

Le Cloud AI 100 a été lancé il y a près de 18 mois en avril 2019. Alors que Qualcomm domine le marché des processeurs pour smartphones avec sa gamme Snapdragon, les offres de Qualcomm pour les serveurs n'avaient pas décollé auparavant - sa gamme Centriq basée sur Arm a été retirée en 2018 juste un an après lancement. Le fabricant de silicium mobile voit donc le Cloud AI 100 comme une voie vers le marché des serveurs de périphérie.

Cloud AI 100 de Qualcomm est destiné aux applications de proximité, y compris les centres de données d'entreprise et l'infrastructure 5G (Image :Qualcomm)

Facteurs de forme

Alors que de nombreux détails de la puce Cloud AI 100 sont encore secrets, nous savons désormais qu'elle sera initialement disponible sur trois types de cartes. Il s'agit d'un double facteur de forme M.2 edge (DM.2e) qui offre plus de 50 TOPS à 15 watts, une double carte M.2 (DM.2) qui est configurée pour 200 TOPS à 25 watts et une carte PCIe qui vient dans environ 400 TOPS à 75 Watts. (Qualcomm a noté qu'il s'agit de chiffres TOPS « bruts », le maximum théorique, et ne représentent pas le calcul qui pourrait être réalisé dans une application réelle).

Qualcomm semble avoir transféré ses compétences dans la conception de processeurs à faible consommation de l'espace mobile au marché des accélérateurs d'IA de pointe. Bien que la conception du Cloud AI 100 ne soit pas basée sur les blocs d'accélération AI trouvés dans les processeurs Snapdragon, les performances par watt semblent impressionnantes. Les diapositives présentées par Qualcomm lors de son point de presse contenaient un graphique montrant que la version de carte PCIe du Cloud AI 100 surpassait la plupart des solutions les plus populaires de l'industrie tout en utilisant seulement une fraction de la puissance. Il s'agit de chiffres de performance mesurés par rapport aux chiffres notés publiquement par d'autres fournisseurs, selon Qualcomm.

cliquez pour agrandir l'image

Resnet-50 inférences AI par seconde pour le matériel d'inférence AI populaire par rapport à la consommation d'énergie, selon les chiffres de Qualcomm. Les cartes de Qualcomm semblent particulièrement performantes en termes d'efficacité énergétique. La taille du lot est de 8 pour tous les points du graphique, à l'exception de Nvidia A100. (Image :Qualcomm)

"Chez Qualcomm, nous avons un long héritage de R&D en IA", a déclaré John Kehrli, directeur principal de la gestion des produits pour Qualcomm. « Nous sommes en fait dans notre solution de cinquième génération du côté mobile, nous avons plus de 11 ans de R&D très active. Nous tirons donc parti de ces connaissances, de cette expertise de l'industrie, mais il s'agit d'un noyau d'IA différent, ce n'est pas la même chose que le mobile, mais nous tirons parti de cet espace. »

Le Cloud AI 100 est un accélérateur d'inférence avec jusqu'à 16 cœurs de processeur AI qui prennent en charge INT8, INT16, FP16 et FP32. Il est construit sur une technologie de processus FinFET de 7 nm. Il y a jusqu'à 144 Mo de SRAM sur puce – 128 Mo sont partagés entre les cœurs, chaque cœur ayant 1 Mo supplémentaire. La carte prend en charge jusqu'à 32 Go de DRAM au niveau de la carte avec une bande passante mémoire de 4x 64 LPDDR4x fonctionnant jusqu'à 2,1 GHz.

Applications de pointe

Le Cloud AI 100 peut être utilisé pour la vision par ordinateur, la parole, la conduite autonome, la traduction linguistique et les systèmes de recommandation. Aujourd'hui, Qualcomm positionne son silicium Cloud AI 100 pour l'inférence d'IA sur quatre marchés clés. Ce sont des centres de données en dehors du cloud, des ADAS, des boîtiers de périphérie 5G et une infrastructure 5G.

L'inférence de l'IA dans les centres de données à la périphérie du cloud alimente tout, des moteurs de recommandation utilisés pour diffuser des annonces et personnaliser les flux d'actualités aux calculs d'IA plus spécifiques aux applications.

Ce que Qualcomm appelle les « boîtes de bord 5G » ressemblent davantage à des appareils autonomes intégrés sur site. Ceux-ci peuvent être déployés dans le cadre d'une infrastructure de ville intelligente sur des poteaux télégraphiques ou dans des entreprises, et utilisés pour piloter des applications de ville intelligente, de sécurité publique et de gestion du trafic.

Un dérivé du Cloud AI 100 est utilisé pour alimenter le traitement de l'IA pour la conduite autonome dans la plate-forme Qualcomm Snapdragon Ride (ce dérivé partage une architecture commune et une chaîne d'outils logiciels, a déclaré Kehrli).

L'application du Cloud AI 100 dans l'infrastructure 5G consisterait à accélérer des algorithmes complexes tels que la formation de faisceaux, qui utilisent désormais l'IA pour gérer efficacement les stations de base 5G.

Conception de référence

Qualcomm a également annoncé son nouveau kit de développement Cloud AI 100. Cela inclut une conception de référence pour un boîtier Edge 5G alimenté par le Cloud AI 100 avec une application Snapdragon 865 et un processeur vidéo en tant que processeur hôte (qui fournit un pipeline vidéo complet prenant en charge jusqu'à 24 flux de décodage vidéo Full HD, avec une marge pour le client développement d'applications). La conception de référence utilise également un module 5G pré-certifié basé sur un modem Snapdragon X55 5G.

"C'est vraiment une nouvelle opportunité pour nous dont nous sommes très enthousiastes", a déclaré Kehrli. « L'objectif [pour le kit de développement] est que les clients intéressés par cet espace exécutent rapidement et facilement une application de démonstration prête à l'emploi - elle est même livrée avec un ResNet-50 précompilé en tant que démo. »

Un boîtier de périphérie 5G comme celui-ci peut effectuer des analyses sur site pour le streaming vidéo de sécurité dans un centre commercial ou une application de sécurité dans une usine de fabrication, a déclaré Kehrli.

Calendrier

Les premiers clients à adopter le Cloud AI 100 seront très probablement à la périphérie, dans la ville intelligente, la vente au détail et la fabrication, a déclaré Kehrli.

« Je m'attends à ce que nos premiers déploiements commerciaux soient davantage du côté de la périphérie que du côté du centre de données, où le cycle de mise en production est beaucoup, beaucoup plus long », a-t-il déclaré. « Cela ne veut pas dire que nous n'avons pas de traction et d'opportunités importantes là-bas, mais je m'attends davantage à ce que les déploiements de périphérie 5G soient beaucoup plus rapides et des choses comme notre module 5G pré-certifié rendent cela beaucoup plus facile. Beaucoup de ces clients avec lesquels nous travaillons ne sont pas vos clients mobiles traditionnels. Ainsi, en leur fournissant une solution déjà pré-certifiée, ils peuvent rapidement être commercialisés. Ainsi, les [applications] dans cet espace apparaîtront plus rapidement. »

Le silicium final pour le Qualcomm Cloud AI 100 est passé en production, est actuellement échantillonné à plusieurs clients et sera expédié au cours du premier semestre 2021. Le kit de développement Edge sera échantillonné le mois prochain, mais uniquement pour certains clients.

>> Cet article a été initialement publié le notre site partenaire, EE Times.