Ajout de l'intelligence de pointe :un entretien avec NXP

Un sujet clé aujourd'hui et clairement couvert dans de nombreuses conférences à Embedded World 2021 est l'adoption généralisée de l'informatique de périphérie pour permettre l'intelligence de la périphérie. Certaines projections prévoient que 90 % de tous les appareils périphériques utiliseront une forme d'apprentissage automatique ou d'intelligence artificielle d'ici 2025.

Quels sont les problèmes liés à l'activation de cette intelligence de pointe et comment y parvenir ? C'est le sujet de conversation dans un podcast récent avec Ron Martino, vice-président senior et directeur général de l'activité de traitement de pointe chez NXP Semiconductors. Alors que vous pouvez écouter le podcast complet ici, nous présentons quelques extraits de la discussion dans cet article.

Définition de l'informatique de pointe

À la base, l'edge computing est la capacité d'un traitement efficace au plus près de l'utilisateur. Nous pouvons apporter des informations plus rapidement sur les données. Pouvez-vous définir l'edge computing dans le contexte de la façon dont NXP l'aborde ?

Martino :L'Edge computing, en termes simples, est un calcul local distribué et une capacité sensorielle. Il interprète, analyse et agit efficacement sur les données du capteur pour exécuter un ensemble de fonctions significatives. Il ne cherche pas à être un remplacement ou une alternative au cloud, il devient complémentaire. Classiquement, dans l'assistance vocale par exemple, beaucoup de données sont envoyées vers le cloud où la capacité de calcul plus élevée est utilisée pour améliorer l'expérience. L'Edge computing évolue pour devenir plus intelligent, puis plus intelligent. L'informatique de périphérie intelligente équilibre l'utilisation de l'informatique locale avec l'informatique centrale ou en nuage. Au fur et à mesure que cela évolue, il y a plus d'intelligence où nous voulons que les appareils finaux aient plus de capacité pour faire l'interprétation, l'analyse, puis prendre des décisions localement.

Pouvez-vous donner quelques exemples d'utilisation de l'informatique de pointe pour améliorer la productivité et la sécurité ?

Martino :Dans le cas de la productivité, un bon exemple est l'amélioration de la main-d'œuvre :en tirant parti du traitement de pointe ou des appareils portables dotés de la vision et de l'apprentissage automatique, où un travailleur peut diagnostiquer un problème et le réparer plus rapidement, que ce soit dans une maison ou dans une usine .

Les dispositifs de bord intelligents améliorent la sécurité en reconnaissant divers signaux dangereux :en reconnaissant les alarmes, une personne qui est tombée ou un bris de verre, puis en déterminant le problème en utilisant des informations de capteur et des calculs supplémentaires. Qu'il utilise des dispositifs de détection radar que NXP développe, qu'il utilise une capacité de vision ou simplement l'interprétation de l'entrée audio dans l'appareil.

Si nous allons vers une conscience plus verte et énergétique, un concept à aborder est celui de l'énergie vampirique, où vous branchez des appareils et ils ne font rien mais consomment toujours de l'énergie.

Nous passons également à un concept de « bord conscient » où les appareils répondent davantage à un comportement humain. Ils commencent à comprendre leur environnement, ils agrègent les entrées et interagissent avec d'autres appareils pour collecter des informations et comprendre le contexte de la situation, puis prendre des décisions en conséquence. Un exemple pratique simple de ceci est les modèles de circulation avec une capacité locale qui peuvent interpréter les foules et différents points de congestion et optimiser la situation localement, en observant et en détectant le nombre de voitures et les conditions pour rendre la conduite plus efficace afin que vous ne perdiez pas de temps.

Les éléments technologiques permettant l'intelligence de pointe

Du point de vue technologique, quels sont les éléments qui composent cet avantage intelligent et cet avantage conscient ?

Martino :Commençons par la fondation. Vous devez disposer de plates-formes de calcul et elles doivent évoluer. Ils doivent être économes en énergie. Contrairement au passé, il s'agit désormais de plusieurs sous-systèmes de calcul hétérogènes indépendants. Il s'agit essentiellement d'avoir un GPU, un CPU, une unité de traitement de réseau neuronal, une unité de traitement vidéo et un DSP.

Comment optimiser ces différents accélérateurs matériels et périphériques de calcul et optimiser pour une application finale donnée ? C'est là que NXP excelle vraiment en ayant une plage de calcul évolutive avec tous ces autres éléments. Ensuite, il y a l'intégration d'accélérateurs matériels optimisés ou de capacités ciblées sur les applications vocales, l'interaction homme-machine, qui implique à la fois la vision et la voix, puis le faire d'une manière où cela implique vraiment des fuites ultra-faibles avec des modes opérationnels qui peuvent s'adapter à optimisez vraiment la consommation d'énergie, même avec ces grandes mémoires sur puce, nécessaires lorsque vous examinez certaines des charges de travail.

Cela passe par l'optimisation de la capacité d'apprentissage automatique, l'intégration de la sécurité avec les niveaux de couverture les plus élevés pour de nombreuses surfaces d'attaque différentes, une connectivité efficace, une utilisation efficace de l'énergie, ainsi que des normes ouvertes. Il peut également tirer parti de la technologie proposée par NXP, telle que la mesure de distance de haute précision, qu'il utilise notre technologie UWB pour localiser, de manière très précise, l'emplacement physique d'une personne ou d'un dispositif de suivi donné.

La dernière chose est d'envelopper tout cela dans une expérience utilisateur transparente, car si ce n'est pas facile à utiliser, et ce n'est pas naturel à utiliser, alors il ne sera pas utilisé. Il est donc absolument essentiel de mettre en place une expérience fluide et confortable.

Comment un utilisateur parvient-il à créer de telles solutions ?

Martino :Nous offrons tout, depuis une offre de base d'un processeur ou d'un microcontrôleur, jusqu'à une plate-forme de référence pré-optimisée pour la voix locale, pour la vision, la détection et la capacité d'inférence, ou la combinaison de celles-ci. Nous mettons en place des plateformes de référence qu'un client peut acheter, telles que notre famille d'appareils RT. Nous avons une offre de reconnaissance faciale qui peut être achetée, et c'est un système entièrement activé et conçu qu'un client peut prendre comme point de départ pour modifier ses besoins là où il veut se spécialiser ou là où il veut le marquer.

Différences technologiques dans les cas d'utilisation grand public et industriel

La plupart des industriels conviendront que les appareils et systèmes intelligents dans nos maisons et au travail gagnent du terrain. Quelles sont certaines des différences technologiques entre l'IdO ordinaire, comme vous diriez, et les marchés industriels ?

Martino :Les normes de connectivité, les exigences environnementales, les besoins de longévité (qui peuvent être de plus de 15 ans) et les exigences de sécurité sont beaucoup plus étendues et exigeantes dans l'espace industriel lorsque vous le comparez au monde IoT [des consommateurs]. Un domaine dans lequel NXP investit est le réseau sensible au temps (TSN) et l'intégration à la fois du Mac et du commutateur dans un ensemble complet d'appareils pouvant prendre en charge les configurations en guirlande de plusieurs machines, travailler et prendre en charge les fonctions de point de terminaison, en tirant parti de ce plus déterministe Le réseau fédérateur TSN, qui prend également en charge des débits et des débits de données beaucoup plus élevés sur lesquels convergent de nombreuses normes héritées.

Comparez cela aux marchés IoT [de consommation]. Il existe un besoin beaucoup plus large d'efficacité énergétique extrême, d'utilisation accrue de l'IHM vocale, de connectivité sans fil et de cycle de vie plus court pour des applications telles que les maisons intelligentes et les appareils portables. Côté portable, vous voulez une excellente expérience utilisateur, mais vous voulez la plus longue durée de vie de la batterie. L'optimisation de ces appareils périphériques pour qu'ils remplissent leurs fonctions, mais s'arrêtent ensuite et préservent la durée de vie de la batterie est très importante, et cette expérience utilisateur vraiment riche doit être réalisée de la manière la plus efficace, car c'est le moment où la batterie brûle.

Le défi de l'interopérabilité

Dans le domaine de la maison intelligente, il est souvent difficile de prendre un produit d'une entreprise et de le faire fonctionner également avec d'autres appareils. Comment NXP essaie-t-il de changer ce défi d'interopérabilité sans fil pour la maison intelligente ?

Martino :En prenant comme exemple les appareils domestiques intelligents, les normes et la capacité d'interopérabilité sont très fragmentées. Nous avons un projet nommé CHIP, ou « Connected Home over IP », projet de normes. NXP ainsi qu'un certain nombre d'autres leaders de l'industrie travaillent ensemble pour essayer de consolider, non pas selon une norme propriétaire, mais selon une norme ouverte commune à toute l'industrie, et permet aux gens de s'appuyer sur cette norme ouverte.

L'objectif de ce projet est de s'appuyer sur les nombreuses années de travail que NXP et d'autres ont effectué autour de ZigBee et Thread et de la ZigBee Alliance, puis de s'appuyer sur cela avec une capacité de couche supérieure, en tirant parti des technologies d'Amazon, d'Apple, et Google se sont lancés dans la création de cette norme ouverte que nous appelons CHIP et établissent ce lien commun entre les appareils. Lorsque vous branchez quelque chose, il sera très simple à connecter.

Le plan de NXP est d'avoir des produits réels sur le marché plus tard cette année, avec les premières versions de la norme CHIP.

Résoudre la complexité et le coût de l'ajout d'intelligence de pointe

Passons à l'apprentissage automatique et à l'IA à la périphérie. Tout cela semble plutôt complexe et coûteux, n'est-ce pas ?

Martino :Pour beaucoup, quand vous parlez d'IA et de ML, c'est un concept abstrait très complexe. Il y a des projections selon lesquelles 90 % de tous les appareils périphériques utiliseront une forme d'apprentissage automatique ou d'intelligence artificielle d'ici 2025. Nous pensons vraiment que c'est le cas, et nous déployons des produits optimisés autour de cela. C'est une combinaison de ce que nous faisons pour optimiser le matériel utilisé, les processeurs et les microcontrôleurs pour exécuter cette capacité. Pour l'utilisateur final, il s'agit davantage de savoir à quel point il est complexe de déployer un ML pratique et significatif pour le cas d'utilisation final.

De nombreuses entreprises souhaitent collecter des données et créer leurs propres modèles. Ce sur quoi NXP se concentre, c'est comment activer une capacité agnostique du cloud qui permet la flexibilité dans une interface utilisateur ou un environnement de développement simple ?

C'est ce que nous avons récemment annoncé avec nos investissements avec Au-Zone, et en 2021, nous déploierons un environnement de développement amélioré dans lequel vous pourrez choisir le type de contenu que vous apporterez. Vos propres données, modèles que vous possédez ou modèles que vous avez choisi d'acquérir via votre source ou fournisseur de cloud préféré, et de l'apporter, puis de l'optimiser et de le déployer sur l'appareil final. Parce que c'est cette optimisation.

Comment le machine learning augmente-t-il le coût de la solution finale ?

Martino :Si vous avez un modèle ou une capacité d'apprentissage machine très complexe et lourd, cela nécessitera une capacité de calcul beaucoup plus élevée, et plus la capacité de calcul est élevée, plus elle sera chère. Vous pouvez choisir de le faire sur un processeur de périphérie, ou vous pouvez choisir de le déployer sur un cloud. Lorsque nous essayons d'ajuster ces cas d'utilisation ou ces modèles pour un cas d'utilisation spécifique, vous pouvez alors devenir très efficace, puis vous pouvez tirer parti de la mise à l'échelle de la technologie traditionnelle et de la loi de Moore pour vraiment ajouter une accélération matérielle spécifique au ML, cela ne prend pas. beaucoup de surface de silicium.

Cela devient un petit supplément de coût, mais une capacité très optimale pour effectuer le travail donné que vous souhaitez. Qu'il s'agisse de détecter des personnes et d'identifier qui elles sont localement, par exemple, vous pouvez maintenant le faire très efficacement sur un microcontrôleur, optimisé avec une implémentation très, très efficace du silicium. Ensuite, vous pouvez également le rendre évolutif avec certains de nos processeurs, où vous pouvez évoluer vers un processeur de réseau neuronal externe plus performant, ou vous travaillez de manière complémentaire avec le cloud. Encore une fois, tous ont un coût pour eux, et cela dépend de la complexité de la tâche, mais cela peut être très efficace jusqu'à une capacité très complexe que vous pouvez déployer.

IA éthique

Les biais dans les modèles de ML et d'IA sont de plus en plus préoccupants. Quel est le rôle de l'industrie pour aider à garantir une IA éthique ?

Martino :Il a besoin d'une transparence de fonctionnement claire, qu'il s'agisse de concepts simples autour de « Je veux savoir qu'il m'écoute ou qu'il me regarde », mais aussi, comment déterminer sa conclusion pour ensuite prendre une action devient très important. Normes de sécurité pour s'assurer que les systèmes sont sécurisés et n'ont pas d'accès de porte dérobée ou d'autres sensibilités ou vulnérabilités en termes de surface d'attaque, de sorte que quelqu'un puisse accéder à un système d'IA et ensuite l'influencer pour faire certaines choses ou prendre certaines décisions qui peut être favorable à la personne qui attaque le système.

Comment implémentez-vous des systèmes d'IA qui n'ont pas de biais prédéfini qui, d'un point de vue de principe, est faux ? Chez NXP, nous avons déployé une initiative d'éthique de l'IA, qui souligne notre engagement envers ce développement éthique. Dans ce cadre, nous parlons d'être bon, nous parlons de préserver l'IA centrée sur l'humain, ce qui consiste vraiment à éviter la subordination ou la coercition par un système d'IA, ainsi que cette transparence, les normes élevées d'excellence scientifique, ainsi que la confiance dans les systèmes d'IA.

Quels défis voyez-vous rester avec la mise en œuvre de la technologie de pointe ?

Martino :Il s'agit d'une activité continue et il existe de nombreux domaines pour une optimisation continue. L'efficacité énergétique, la conduite et l'exploitation des concepts de récupération d'énergie et le fonctionnement proche du seuil des appareils constituent un investissement continu pour de nombreux acteurs de l'industrie. La sécurité et la nécessité de protéger les données et de continuer à faire progresser cela est une activité continue.

Investissements dans des signatures spécifiques au silicium, et différents types de cryptographie, et des moyens d'effectuer des calculs de manière protégée tels que le cryptage homomorphe, effectuer des calculs dans un environnement crypté et ne jamais le décrypter. Puis étendre cela autour de la connectivité du débit dans les exigences de latence, ainsi que la consommation d'énergie. Dans l'optimisation de cela, nous continuerons à optimiser la connectivité et à l'intégrer dans ces appareils de périphérie de manière de plus en plus efficace.

Enfin, tout ce concept d'intelligence finale consciente, nous sommes dans une troisième génération de développement et de mise en œuvre de processeurs ou de sous-systèmes de réseaux neuronaux qui entrent dans nos processeurs. Cela entraîne des améliorations en termes d'efficacité et de mise à l'échelle, mais des recherches se poursuivent dans ce domaine en termes d'amélioration des niveaux d'efficacité avec des accélérateurs et différentes technologies autour des réseaux de neurones à pointes, ainsi que de l'IA quantique. À court terme, il est clair que nous assisterons à une évolution continue autour d'accélérateurs plus traditionnels et à l'intégration de ceux-ci dans ces processeurs évolutifs que NXP met sur le marché.

Vous pouvez écouter l'intégralité du podcast de 27 minutes, « Donner du pouvoir partout », ici.