Qu'est-ce qui pousse l'IA à la limite

En 2020, nous prévoyons que plus de 750 millions de puces IA de pointe - des puces ou des parties de puces qui exécutent ou accélèrent des tâches d'apprentissage automatique sur l'appareil, plutôt que dans un centre de données distant - seront vendues, ce qui représente 2,6 milliards de dollars de revenus. De plus, le marché des puces IA de pointe connaîtra une croissance beaucoup plus rapide que le marché global des puces. D'ici 2024, nous prévoyons que les ventes de puces IA de pointe dépasseront 1,5 milliard, peut-être beaucoup. Cela représente une croissance annuelle des ventes unitaires d'au moins 20 %, soit plus du double des prévisions à long terme de 9 % du TCAC pour l'ensemble de l'industrie des semi-conducteurs.

Ces puces d'intelligence artificielle de pointe se retrouveront probablement dans un nombre croissant d'appareils grand public, tels que les smartphones haut de gamme, les tablettes, les haut-parleurs intelligents et les appareils portables. Ils seront également utilisés sur plusieurs marchés d'entreprise :robots, caméras, capteurs et autres appareils IoT (Internet des objets) en général.

Le marché des puces d'IA de bord grand public est beaucoup plus grand que le marché des entreprises, mais il devrait croître plus lentement, avec un TCAC de 18% attendu entre 2020 et 2024. Le marché des puces d'IA de bord d'entreprise croît beaucoup plus rapidement, avec un TCAC prévu de 50 % sur la même période.

Néanmoins, à l'heure actuelle, en 2020, le marché des appareils grand public représentera probablement plus de 90 % du marché des puces IA de pointe, à la fois en termes de nombre de ventes et de valeur en dollars. La grande majorité de ces puces d'IA de pointe seront intégrées aux smartphones haut de gamme, qui représentent plus de 70 % de toutes les puces d'IA de pointe des consommateurs actuellement utilisées. Ainsi, en 2020 et au cours des prochaines années, la croissance des puces IA sera principalement tirée par les smartphones. Nous pensons que plus d'un tiers du marché des smartphones de 1,56 milliard d'unités pourrait avoir des puces d'IA de pointe en 2020.

En raison des exigences extrêmement gourmandes en processeurs, les calculs d'IA ont presque tous été effectués à distance dans des centres de données, sur des appliances de base d'entreprise ou sur des processeurs de périphérie de télécommunications, et non localement sur des appareils. Les puces Edge AI changent tout cela. Ils sont physiquement plus petits, relativement peu coûteux, consomment beaucoup moins d'énergie et génèrent beaucoup moins de chaleur, ce qui permet de les intégrer dans des appareils portables ainsi que dans des appareils non grand public tels que des robots. En permettant à ces appareils d'effectuer localement des calculs d'IA gourmands en processeurs, les puces d'IA de périphérie réduisent ou éliminent le besoin d'envoyer de grandes quantités de données vers un emplacement distant, offrant ainsi des avantages en termes de convivialité, de vitesse, de sécurité et de confidentialité des données.

Garder le traitement sur l'appareil est meilleur en termes de confidentialité et de sécurité ; les informations personnelles qui ne quittent jamais un téléphone ne peuvent pas être interceptées ou utilisées à mauvais escient. Et lorsque la puce Edge AI est sur le téléphone, elle peut faire toutes ces choses même lorsqu'elle n'est pas connectée à un réseau.

Bien sûr, tous les calculs d'IA ne doivent pas avoir lieu localement. Pour certaines applications, l'envoi de données à traiter par une matrice d'IA distante peut être adéquat ou même préférable - par exemple, lorsqu'il y a tout simplement trop de données à gérer pour la puce d'IA de bord d'un appareil. En fait, la plupart du temps, l'IA se fera de manière hybride :une partie sur l'appareil et une partie dans le cloud. Le mélange préféré dans une situation donnée variera en fonction du type de traitement d'IA à effectuer.

Figure 1 : emplacements où l'intelligence peut être intégrée (Image :Deloitte Insights)

L'économie de l'intelligence artificielle de pointe dans les smartphones

Les smartphones ne sont pas les seuls appareils à utiliser des puces Edge AI ; d'autres catégories d'appareils - tablettes, appareils portables, haut-parleurs intelligents - les contiennent également. À court terme, ces appareils autres que les smartphones auront probablement beaucoup moins d'impact sur les ventes de puces IA de pointe que les smartphones, soit parce que le marché ne se développe pas (comme pour les tablettes), soit parce qu'il est trop petit pour faire une différence matérielle ( par exemple, les haut-parleurs intelligents et les appareils portables combinés ne devraient vendre que 125 millions d'unités en 2020). Cependant, de nombreux appareils portables et haut-parleurs intelligents dépendent des puces d'intelligence artificielle de pointe, la pénétration est donc déjà élevée.

Figure 2 :Le marché des puces Edge AI (Image :Deloitte Insights)

Actuellement, seuls les smartphones les plus chers - ceux du tiers supérieur de la distribution des prix - sont susceptibles d'utiliser des puces IA de pointe. L'intégration d'une puce IA dans un smartphone n'a pas besoin d'être prohibitive pour le consommateur.

Il est possible d'arriver à une estimation assez solide de la puce AI de bord d'un smartphone. À ce jour, les images des processeurs de téléphone de Samsung, Apple et Huawei montrent la matrice de silicium nue avec toutes ses caractéristiques visibles, permettant d'identifier quelles parties des puces sont utilisées pour quelles fonctions. Un cliché de la puce pour l'Exynos 9820 de Samsung montre qu'environ 5% de la surface totale de la puce est dédiée aux processeurs d'IA. Le coût de Samsung pour l'ensemble du processeur d'application SoC est estimé à 70,50 $, ce qui est le deuxième composant le plus cher du téléphone (après l'écran), représentant environ 17 % de la nomenclature totale de l'appareil. En supposant que la partie AI coûte le même prix que le reste des composants sur une base de zone de matrice, l'unité de traitement neuronal (NPU) AI Edge d'Exynos représente environ 5% du coût total de la puce. Cela se traduit par environ 3,50 $ chacun.

Figure 3 :Un cliché de la puce de l'Exynos 9820 de Samsung montre qu'environ 5 % de la surface totale de la puce est dédiée aux processeurs d'IA. (Image :ChipRebel, annotation :AnandTech)

De même, la puce A12 Bionic d'Apple consacre environ 7 % de la surface de la matrice à l'apprentissage automatique. À environ 72 $ pour l'ensemble du processeur, cela suggère un coût de 5,10 $ pour la partie Edge AI. La puce Huawei Kirin 970, estimée à 52,50 $ pour le fabricant, consacre 2,1 % du dé au NPU, suggérant un coût de 1,10 $. (Cependant, la zone de matrice n'est pas le seul moyen de mesurer le pourcentage du coût total d'une puce qui est consacré à l'IA. Selon Huawei, le NPU du Kirin 970 compte 150 millions de transistors, ce qui représente 2,7% du total de 5,5 milliards de transistors de la puce. suggèrent un coût NPU légèrement plus élevé de 1,42 $).

Figure 4 :la puce A12 Bionic d'Apple consacre environ 7 % de la surface de la matrice à l'apprentissage automatique. (Image :TechInsights / AnandTech)

Bien que cette fourchette de coûts soit large, il peut être raisonnable de supposer que les NPU coûtent en moyenne 3,50 $ par puce. Multiplié par un demi-milliard de smartphones (sans parler des tablettes, des haut-parleurs et des appareils portables), cela constitue un marché important, malgré le faible prix par puce. Plus important encore, à un coût moyen de 3,50 $ pour le fabricant, et un minimum probable de 1 $, l'ajout d'une NPU AI de pointe dédiée aux puces de traitement des smartphones commence à ressembler à une évidence. En supposant une majoration normale, ajouter 1 $ au coût de fabrication se traduit par seulement 2 $ de plus pour le client final. Cela signifie que les NPU et les avantages qui en découlent (un meilleur appareil photo, une assistance vocale hors ligne, etc.) peuvent être intégrés même dans un smartphone à 250 $ pour une augmentation de prix inférieure à 1 %.

Approvisionnement en puces IA :interne ou tiers ?

Les entreprises qui fabriquent des smartphones et d'autres types d'appareils adoptent différentes approches pour obtenir des puces d'IA de pointe, la décision étant motivée par des facteurs tels que le modèle de téléphone et (parfois) la géographie. Certains achètent des processeurs d'application/puces de modem à des sociétés tierces spécialisées dans leur fabrication et leur vente aux fabricants de téléphones, mais ne fabriquent pas leurs propres téléphones. Qualcomm et MediaTek sont deux exemples marquants; Ensemble, ces deux sociétés ont capturé environ 60 % du marché des puces SoC pour smartphones en 2018.

Qualcomm et MediaTek proposent tous deux une gamme de SoC à différents prix; Bien que tous n'incluent pas une puce IA de pointe, les offres haut de gamme (y compris les Snapdragon 845 et 855 de Qualcomm et Helio P60 de MediaTek) le font généralement. À l'autre extrémité de l'échelle, Apple n'utilise pas du tout de puces AP externes :elle conçoit et utilise ses propres processeurs SoC tels que les puces A11, A12 et A13 Bionic, qui ont toutes une IA de pointe.

D'autres fabricants d'appareils, tels que Samsung et Huawei, utilisent une stratégie hybride, achetant des SoC auprès de fournisseurs de silicium du marché marchand et utilisant leurs propres puces (telles que l'Exynos 9820 de Samsung et le Kirin 970/980 de Huawei) pour le reste.

Plus de 50 entreprises d'accélérateurs d'IA en lice pour l'IA de pointe dans les entreprises et l'industrie

Si les processeurs Edge AI utilisés dans les smartphones et autres appareils sont si géniaux, pourquoi ne pas les utiliser également pour les applications d'entreprise ? Cela s'est d'ailleurs déjà produit pour certains cas d'utilisation, comme pour certains drones autonomes. Équipé d'un processeur d'application SoC pour smartphone, un drone est capable d'effectuer une navigation et d'éviter les obstacles en temps réel et entièrement sur l'appareil, sans aucune connexion réseau.

Cependant, une puce optimisée pour un smartphone ou une tablette n'est pas le bon choix pour de nombreuses applications d'entreprise ou industrielles. Comme indiqué précédemment, la partie Edge AI d'un SoC pour smartphone ne représente qu'environ 5 % de la surface totale, environ 3,50 $ du coût total, et utiliserait environ 95 % moins d'énergie que l'ensemble du SoC. Et si quelqu'un construisait une puce qui n'avait que la partie Edge AI (ainsi que quelques autres fonctions requises telles que la mémoire) qui coûtait moins cher, utilisait moins d'électricité et était plus petite ?

Eh bien, ils l'ont fait. Au total, pas moins de 50 entreprises différentes travailleraient sur des accélérateurs d'IA de toutes sortes. Les puces IA de pointe autonomes disponibles en 2019 étaient destinées aux développeurs, qui les achèteraient une à la fois pour environ 80 $ chacune. En volumes de milliers ou de millions, ces puces coûteront probablement beaucoup moins cher aux fabricants d'appareils :certaines à peine 1 $ (ou peut-être même moins), certaines dans des dizaines de dollars. Nous supposons, pour l'instant, un coût moyen d'environ 3,50 $, en utilisant la puce IA de bord du smartphone comme proxy.

En plus d'être relativement peu coûteux, les processeurs autonomes Edge AI ont l'avantage d'être petits. Ils sont également d'une puissance relativement faible, consommant entre 1 et 10 watts. À titre de comparaison, un cluster de centre de données (bien que très puissant) de 16 GPU et de deux processeurs coûte 400 000 $, pèse 350 livres et consomme 10 000 watts.

Avec des puces telles que celles-ci en préparation, l'intelligence artificielle de pointe peut ouvrir de nombreuses nouvelles possibilités pour les entreprises, en particulier en ce qui concerne les applications IoT. En utilisant des puces d'intelligence artificielle de pointe, les entreprises peuvent considérablement augmenter leur capacité à analyser - pas seulement à collecter - les données des appareils connectés et à convertir cette analyse en action, tout en évitant les coûts, la complexité et les défis de sécurité liés à l'envoi d'énormes quantités de données dans le cloud. Les problèmes que les puces d'IA peuvent aider à résoudre incluent :

Sécurité et confidentialité des données. La collecte, le stockage et le déplacement de données vers le cloud exposent inévitablement une organisation à des menaces de cybersécurité et de confidentialité, même lorsque les entreprises sont vigilantes quant à la protection des données. Ce risque extrêmement important devient de plus en plus critique à traiter avec le temps. Des réglementations concernant les informations personnellement identifiables apparaissent dans toutes les juridictions et les consommateurs sont de plus en plus conscients des données collectées par les entreprises, 80 % d'entre eux déclarant qu'ils n'ont pas le sentiment que les entreprises font tout leur possible pour protéger la vie privée des consommateurs. Certains appareils, tels que les haut-parleurs intelligents, commencent à être utilisés dans des environnements tels que les hôpitaux, où la confidentialité des patients est réglementée de manière encore plus stricte.

En permettant le traitement local de grandes quantités de données, les puces Edge AI peuvent réduire le risque d'interception ou d'utilisation abusive des données personnelles ou d'entreprise. Les caméras de sécurité avec traitement d'apprentissage automatique, par exemple, peuvent réduire les risques de confidentialité en analysant la vidéo pour déterminer quels segments de la vidéo sont pertinents et en envoyant uniquement ceux-ci vers le cloud. Les puces d'apprentissage automatique peuvent également reconnaître une gamme plus large de commandes vocales, de sorte que moins d'audio doit être analysé dans le cloud. Une reconnaissance vocale plus précise peut offrir l'avantage supplémentaire d'aider les haut-parleurs intelligents à détecter le "mot d'éveil" avec plus de précision, l'empêchant d'écouter une conversation sans rapport.

Faible connectivité. Un appareil doit être connecté pour que les données soient traitées dans le cloud. Dans certains cas, cependant, la connexion de l'appareil n'est pas pratique. Prenons l'exemple des drones. Le maintien de la connectivité avec un drone peut être difficile selon l'endroit où ils opèrent, et la connexion elle-même et le téléchargement de données dans le cloud peuvent réduire la durée de vie de la batterie. En Nouvelle-Galles du Sud, en Australie, des drones avec apprentissage automatique intégré patrouillent les plages pour assurer la sécurité des nageurs. Ils peuvent identifier les nageurs qui ont été emportés par les contre-courants, ou avertir les nageurs des requins et des crocodiles avant une attaque, le tout sans connexion Internet.

(Trop) big data. Les appareils IoT peuvent générer d'énormes quantités de données. Par exemple, un avion Airbus A-350 possède plus de 6 000 capteurs et génère 2,5 téraoctets de données chaque jour de vol. À l'échelle mondiale, les caméras de sécurité créent environ 2 500 pétaoctets de données par jour. L'envoi de toutes ces données vers le cloud pour le stockage et l'analyse est coûteux et complexe. Placer des processeurs d'apprentissage automatique sur les points de terminaison, qu'il s'agisse de capteurs ou de caméras, peut résoudre ce problème. Les caméras, par exemple, pourraient être équipées d'unités de traitement de vision (VPU), des processeurs SoC à faible consommation spécialisés dans l'analyse ou le prétraitement des images numériques. Avec les puces Edge AI intégrées, un appareil peut analyser les données en temps réel, ne transmettre que ce qui est pertinent pour une analyse plus approfondie dans le cloud et « oublier » le reste, réduisant ainsi le coût du stockage et de la bande passante.

Contraintes de puissance. Les puces d'apprentissage automatique à faible consommation peuvent permettre même aux appareils dotés de petites batteries d'effectuer des calculs d'IA sans consommation d'énergie excessive. Par exemple, des puces Arm sont intégrées dans des inhalateurs respiratoires pour analyser des données, telles que la capacité pulmonaire d'inhalation et le flux de médicament dans les poumons. L'analyse de l'IA est effectuée sur l'inhalateur, et les résultats sont ensuite envoyés à une application pour smartphone, aidant les professionnels de la santé à développer des soins personnalisés pour les patients asthmatiques. En plus des NPU IA basse consommation actuellement disponibles, les entreprises s'efforcent de développer un « petit apprentissage automatique » :un apprentissage en profondeur sur des appareils aussi petits que des unités de microcontrôleur. Google, par exemple, développe une version de TensorFlow Lite qui peut permettre aux microcontrôleurs d'analyser les données, en condensant ce qui doit être envoyé hors puce en quelques octets.

Exigences de faible latence. Que ce soit sur un réseau filaire ou sans fil, effectuer des calculs d'IA dans un centre de données distant signifie une latence aller-retour d'au moins 1 à 2 millisecondes dans le meilleur des cas, et des dizaines, voire des centaines de millisecondes dans le pire des cas. L'exécution de l'IA sur l'appareil à l'aide d'une puce d'IA de pointe réduirait cela à des nanosecondes, ce qui est essentiel pour les utilisations où l'appareil doit collecter, traiter et agir sur les données de manière quasi-instantanée. Les véhicules autonomes, par exemple, doivent collecter et traiter d'énormes quantités de données provenant des systèmes de vision par ordinateur pour identifier les objets, ainsi que des capteurs qui contrôlent les fonctions du véhicule. Ils doivent ensuite convertir ces données en décisions immédiatement - quand tourner, freiner ou accélérer - afin de fonctionner en toute sécurité. Pour ce faire, les véhicules autonomes doivent traiter une grande partie des données qu'ils collectent dans le véhicule lui-même. Une faible latence est également importante pour les robots, et elle le deviendra davantage à mesure que les robots sortiront des paramètres d'usine pour travailler aux côtés des humains.

En résumé :l'intelligence artificielle de pointe sera vitale pour les applications gourmandes en données

La propagation des puces IA de pointe entraînera probablement des changements importants pour les consommateurs et les entreprises. Pour les consommateurs, les puces Edge AI peuvent rendre possible une pléthore de fonctionnalités - du déverrouillage de leur téléphone à la conversation avec son assistant vocal, à la prise de photos époustouflantes dans des conditions extrêmement difficiles et sans avoir besoin d'une connexion Internet.

Mais à long terme, le plus grand impact des puces IA de pointe peut provenir de leur utilisation en entreprise, où elles peuvent permettre aux entreprises de faire passer leurs applications IoT à un tout autre niveau. Les machines intelligentes alimentées par des puces d'IA pourraient aider à élargir les marchés existants, menacer les opérateurs historiques et modifier la répartition des bénéfices dans des secteurs tels que la fabrication, la construction, la logistique, l'agriculture et l'énergie. La capacité de collecter, d'interpréter et d'agir immédiatement sur de grandes quantités de données est essentielle pour de nombreuses applications à forte densité de données que les futurologues considèrent comme se généralisant :surveillance vidéo, réalité virtuelle, drones et véhicules autonomes, etc. Cet avenir dépend en grande partie de ce que les puces d'IA de pointe rendent possible :apporter l'intelligence à l'appareil.

Duncan Stewart et Jeff Loucks font partie du Center for Technology, Media and Telecommunications de Deloitte. Cet article est basé sur un article initialement publié par Deloitte pour son rapport TMT Predictions 2020.