Les fournisseurs de cloud citent le rôle de l'inférence de l'IA se déplaçant vers la périphérie

La réalisation d'inférences d'IA sur des périphériques de périphérie embarqués est intéressante dans les situations où une faible latence est requise, ou lorsque les volumes de données collectées à la périphérie coûteraient trop cher à envoyer dans le cloud. Les avancées dans les accélérateurs d'apprentissage automatique dédiés, les microcontrôleurs de pointe et les modèles et logiciels d'IA signifient que plus d'inférences d'IA peuvent être effectuées à des budgets de puissance de pointe que jamais auparavant. Cependant, même lorsque toutes les déductions sont effectuées à la périphérie, le cloud reste un outil utile pour gérer les appareils sur le terrain, selon les fournisseurs de cloud.

AWS IoT

Lors du salon Embedded World Digital 2021, les fournisseurs de cloud AWS et Microsoft ont présenté leurs solutions d'écosystème pour les appareils d'IA de périphérie.

"L'exécution de TensorFlow Light ou de modèles d'apprentissage automatique sur les appareils eux-mêmes est une capacité", a déclaré Rajeev Muralidhar, principal architecte de solutions spécialisé chez AWS. « Mais la possibilité de créer un pipeline complet pour le cycle de vie des appareils de manière sécurisée, en les gérant à grande échelle, la possibilité de déployer des mises à niveau formelles sur les appareils afin que vous puissiez gérer les versions qui y sont exécutées, fournir plus de fonctionnalités et plus de sécurité, et aussi la possibilité de mettre à jour les modèles ML qui y sont exécutés - c'est une autre capacité importante. "

AWS fournit une infrastructure pour cela via sa plateforme AWS IoT. Cette plate-forme, a déclaré Muralidhar, comprend trois parties clés :un logiciel côté appareil (FreeRTOS ou AWS Greengrass), des composants de contrôle et de connectivité (AWS IoT Core) et des services d'analyse.

AWS propose une prise en charge des appareils Edge AI via sa plate-forme IoT (Image :AWS)

FreeRTOS est un système d'exploitation open source largement utilisé pour les appareils de niveau microcontrôleur. Il est livré avec un support à long terme (RTS), qui garantit des mises à jour de sécurité, des mises à niveau de fonctionnalités et des corrections de bogues pendant deux ans. Il est également doté de capacités permettant d'effectuer des mises à jour sans fil en toute sécurité et de déployer le micrologiciel sur les appareils à grande échelle qui ont été déployés sur le terrain. Le noyau FreeRTOS peut communiquer directement avec une passerelle d'appareil pouvant exécuter AWS Greengrass.

AWS IoT Core est le point d'entrée des données dans le cloud. Il comprend un courtier de messages qui peut édicter des règles sur les données, qu'il s'agisse de les stocker ou de les déplacer dans une base de données ou un tableau de bord à des fins d'analyse, comme SageMaker pour l'analyse d'apprentissage automatique.

La plate-forme AWS IoT possède également des composants pour la gestion de flotte à grande échelle, la gestion des appareils et l'analyse IoT, ainsi qu'une capacité de gestion des événements qui peut automatiser la détection et la réponse aux événements provenant de vos appareils IoT.

« La gestion du cycle de vie des appareils de bout en bout est cruciale lorsque vous envisagez des appareils à grande échelle, et la possibilité de mettre à jour le système d'exploitation sous-jacent de ces appareils est également cruciale », a déclaré Muralidhar. "Vous voulez pouvoir le faire en toute sécurité, vous voulez pouvoir alterner les informations d'identification de sécurité afin de ne pas compromettre la sécurité de votre parc d'appareils."

La situation idéale est d'envoyer les données entrantes dans le cloud afin qu'il puisse y avoir une évaluation et une formation continues, a déclaré Muralidhar.

« [Then] lorsque vous avez mis à jour de nouveaux modèles plus précis, vous pouvez les extraire dans l'appareil et les déployer sur l'ensemble de votre flotte d'appareils dans l'atelier industriel ou sur votre flotte de véhicules connectés », a-t-il déclaré. « De cette façon, les appareils qui fonctionnent dans vos véhicules sont plus performants et peuvent réagir plus rapidement et avec plus de précision. »

Azure Percept

Lors du salon, Microsoft a également fait des présentations sur son tout nouveau concept Azure Percept. Azure Percept est une plate-forme matérielle et logicielle pour l'IA de périphérie qui tire parti de certaines des offres cloud d'Azure, notamment la gestion des appareils, le développement de modèles d'IA et l'analyse. Les outils cloud Azure sont utilisés pour gérer les appareils et accéder aux modèles d'IA open source ou en créer de nouveaux.

La plateforme Azure Percept de Microsoft est à la fois matérielle et logicielle. Le matériel comprend un module de plateforme sécurisée (au centre), un module Azure Percept Audio (à gauche) et un module Azure Percept Vision (à droite) (Image :Microsoft)

La société a également lancé un kit de développement matériel avec deux modules. Le module Azure Percept Vision pour la vision par ordinateur à la périphérie est basé sur l'accélérateur Movidius Myriad X AI d'Intel. Il existe également un module Azure Percept Audio, mais aucun détail sur ce module n'était disponible.

Avec cette nouvelle offre, Microsoft souhaite apporter une solution de bout en bout qui abaisse les barrières à l'entrée pour les non-spécialistes. L'idée est de simplifier le développement, la formation et le déploiement de l'IA de pointe.

Azure Percept se connecte également à Azure IoT Hub, conçu pour faciliter la communication sécurisée entre les appareils IoT et le cloud Azure.

À l'avenir, Microsoft prévoit d'étendre le nombre d'appareils Azure Percept disponibles auprès de tiers. Les développeurs utilisant le kit de développement matériel actuel pourront alors déployer leur solution sur des appareils certifiés Percept disponibles sur le marché.

>> Cet article a été initialement publié le notre site frère, EE Times Europe.