Utilisation de l'IA et du ML pour extraire des informations exploitables dans les applications Edge

Si les données commencent à la périphérie, pourquoi ne pouvons-nous pas en faire autant que possible du point de vue de l'IA ?

La croissance explosive des appareils et applications Edge nécessite une nouvelle réflexion sur l'endroit et la manière dont les données sont analysées et les informations en sont dérivées. Les nouvelles options d'Edge computing, associées à des exigences de vitesse d'accès plus exigeantes dans de nombreux cas d'utilisation, stimulent l'utilisation de l'intelligence artificielle (IA) et de l'apprentissage automatique (ML) dans les applications Edge.

L'endroit où l'IA et le ML sont appliqués (à la périphérie ou dans un centre de données ou une installation cloud) est une question complexe. Pour avoir un aperçu des stratégies et des meilleures pratiques actuelles, nous avons récemment rencontré Said Tabet, architecte en chef, AI/ML &Edge ; et Calvin Smith, CTO, Emerging Technology Solutions ; tous deux au bureau du directeur technique mondial de Dell Technologies.

Nous avons discuté du besoin croissant d'IA et de ML pour donner un sens à la grande quantité de données Edge générées aujourd'hui, des exigences de calcul pour l'IA/ML dans les applications Edge et de la question de savoir si ces calculs doivent être effectués à la périphérie ou dans un centre de données ou une installation cloud.

Tendances émergentes

RTInsights : Quelles sont les tendances émergentes d'aujourd'hui, et comment l'IA et le ML s'intègrent-ils dans la discussion Edge ?

Tabet : Aujourd'hui, lorsque les gens parlent de tendances émergentes, ils mentionnent souvent beaucoup de choses comme Edge, IoT, AI/ML, réalité augmentée, réalité virtuelle, blockchain et 5G. Nous positionnons Edge comme la prochaine chose en termes de direction que nous prenons avec ces technologies - pas seulement les tendances, mais la véritable adoption. Je pense que du point de vue des données et de l'expérience utilisateur, il y a un besoin de perspicacité et, grâce à notre impatience en tant qu'êtres humains, associée à des problèmes de latence dans le monde réel, d'obtenir cette perspicacité le plus rapidement possible. Aussi, l'idée que si les données commencent à la périphérie, pourquoi ne pouvons-nous pas en faire autant que possible du point de vue de l'IA ?

De toute évidence, l'IA, et en particulier le ML, est gourmande en termes de quantité de données dont elle a besoin. Il faut apprendre vite. Qu'est-ce qu'on peut vraiment faire à Edge ? Je pense que c'est là que cette discussion commence. La blockchain ou les registres distribués sont d'autres domaines à considérer ici. En règle générale, vous allez voir un besoin de grande confiance, en particulier du point de vue des données. Il faut également faire confiance aux informations que nous générons, à la façon dont nous réagissons et aux éléments exploitables qui découlent de ces découvertes. Cela entraîne des besoins supplémentaires du point de vue global de la sécurité, de la confidentialité et de la gouvernance. Vous devez tenir compte de tout cela dans cette expérience, que vous soyez un homme d'affaires, un particulier ou une flotte de véhicules.

Smith : Si on prend une estimation générale de ce qu'il y a, disons entre 20 et 30 milliards d'appareils IoT connectés aujourd'hui. Pour en revenir, Said, je pense que c'était en 2014 ou alors que le nombre d'appareils mobiles connectés dépassait le nombre de personnes dans le monde, n'est-ce pas ? Puis, en 2017, les appareils IoT ont également dépassé la population humaine mondiale.

Tabet : Oui. C'est vrai.

Smith : Ça a été un grand saut, et ça va continuer à sauter. Allez-vous embaucher 27 milliards de personnes pour entretenir ces appareils Edge ? Ensuite, en remontant la pile de l'infrastructure, évidemment, ce n'est pas une cartographie 1:1, mais il est physiquement impossible d'embaucher suffisamment d'administrateurs de base de données, de datascientists, d'architectes et d'ingénieurs. Au lieu de cela, il s'agit de conduire l'automatisation et l'optimisation à l'Edge. Juste le volume de données, et, asDr. Tabet a mentionné, la gourmandise des applications et des fonctions, en particulier dans l'IA. Vous devez être en mesure de traiter une grande quantité d'informations pour plusieurs raisons, dont le coût. Vous souhaitez analyser ce qui constitue réellement des données précieuses à la périphérie avant de commencer à les envoyer au centre de données ou au cloud.

Le rôle de l'IA/ML avec Edge

RTInsights : Pourquoi avons-nous besoin d'IA/ML lorsque nous parlons d'Edge ?

Tabet : Il existe plusieurs raisons. D'abord, il y a le pourquoi. Du point de vue de l'automatisation, l'IA et le ML sont un moyen d'automatiser davantage et d'être un peu plus discipliné à ce sujet, et vous le faites à la périphérie. Vous le voyez aujourd'hui. Il doit être renforcé par cette vision de la construction de ce continuum du cloud vers l'Edge, y compris le plan de données, ou le plan de contrôle, et les kits de développement, etc., que les développeurs estiment que si j'écris pour l'Edge, c'est le même que le nuage.

Du point de vue de l'IA, l'automatisation est un élément important. À l'Edge, vous n'y ferez pas le traitement vraiment profond (c'est-à-dire Deep Learning - DL), du moins pas généralement. L'autre aspect qui, à mon avis, est vraiment important, est le fait que les informations que vous obtiendrez très rapidement à la périphérie seront souvent différentes de celles que vous apporterez à vos centres de données ou à votre cloud, en les connectant avec d'autres types d'informations. À ce stade, vous perdez une grande partie de l'élan de l'intelligence, en termes d'informations que vous récupérez ou de prise de décision que vous allez prendre si vous le faites à la périphérie. Pourtant, Edge a besoin de l'IA. Ils vont de pair.

Smith : Je pense que l'autre raison est commerciale. Toutes ces « choses, capteurs, actionneurs, appareils », peuvent être aussi grosses qu'une maison connectée, un bateau de croisière connecté ou une voiture connectée. Ou ils peuvent être dans ou sur une usine, un tracteur ou une pompe. Pour faire court, toutes les industries sont maintenant en train de se banaliser, n'est-ce pas ? Il y a la possibilité de construire et d'acheter des choses partout dans le monde. Les entreprises tentent de se différencier par le biais de services en association avec les produits et les actifs qu'elles vendent. Plus vous en tirez de valeur, de nombreuses entreprises passent d'un produit à un service. C'est ce qu'on appelle la transformation du produit en service.

Ils essaient à nouveau de vendre leurs actifs en tant que services. Parfois, il s'agit même d'un changement de modèle économique et passe de CapEx à OpEx. Parfois, ils ne vendent que des CapEx, mais ils peuvent vendre un ensemble supplémentaire de services ou simplement l'utiliser comme différenciateur lorsque leurs produits sont intelligents et connectés. Encore une fois, comme Said l'a mentionné, optimiser et automatiser et être capable extraire les bonnes données au bon moment, et le bon endroit permet aux entreprises d'être compétitives. Le simple fait de fabriquer un article ne génère plus toujours de valeur.

Tabet : Une autre chose que je veux ajouter est qu'à la périphérie, si nous examinons ces dizaines ou centaines de milliers d'appareils d'une seule entreprise ou organisation, que ce soit dans des véhicules autonomes, vous regardez les voitures comme des instances, chacune de ces voitures peuvent se comporter différemment dans différents environnements. Apprendre de cela est très important lorsque vous le rassemblez. C'est la même chose dans l'automatisation industrielle. Vous pouvez regarder les éoliennes, les moteurs des avions ou les soins de santé. Dans bon nombre de ces environnements différents, vous disposez de performances beaucoup plus précises, beaucoup plus efficaces et meilleures de ces modules d'IA ou algorithmes d'IA lorsque vous ramenez ces informations au centre de données ou au cloud. En d'autres termes, même si les données d'un actif ont une valeur indéniable, vous commencez à glaner de véritables informations à partir de flottes d'actifs connectés et de leurs interactions dans différents environnements.

Décider où Edge AI/ML doit être effectué

RTInsights : Où le travail de calcul AI/ML est-il effectué pour les applications Edge ?

Tabet : Cela revient au point précédent où, dans de nombreux cas, les algorithmes d'IA ont nécessité une grande quantité de données à entraîner. Vous faites cela (et il y a désaccord) dans le centre de données ou dans le cloud, dans un environnement centralisé où vous pouvez disposer de ces capacités de calcul de haute puissance. À la périphérie, vous déploieriez ces algorithmes, et ils peuvent être beaucoup plus efficaces à utiliser à des fins d'influence à la périphérie. Il y a évidemment des discussions, où à un moment donné, nous pourrons également faire un certain niveau d'entraînement à Edge. Cela sera limité dans un premier temps en raison des lourdes contraintes de la plupart des environnements Edge.

Considérations relatives à l'informatique de périphérie

RTInsights : Quelles sont les exigences pour les solutions de calcul à la périphérie ?

Tabet : Eh bien, c'est très délicat, car il existe différentes définitions de ce qu'est Edge. Vous parlez à un constructeur automobile, et ils disent que ma voiture est l'Edge. Lorsque vous parlez à un fabricant d'éoliennes, les éoliennes sont leur Edge. Les appareils de fabrication dans une usine sont également Edge. Ils vont avoir des environnements différents. Certains d'entre eux seront très durs. Chez Dell, nous avons beaucoup d'expérience avec le calcul dans des environnements qui peuvent inclure ces conditions difficiles avec de fortes vibrations et des températures extrêmement élevées ou extrêmement basses. La seule chose que je dirais est l'exigence numéro un [pour les solutions de calcul à la périphérie] est la consommation électrique. Il doit être de faible puissance. Cela va à l'encontre de tout ce que nous savons, en particulier en HPC, n'est-ce pas ? Vous utilisez beaucoup de GPU, vous avez de la chaleur et vous avez besoin d'énergie. Ce n'est pas possible dans ces environnements [Edge]. Nous allons devoir amener cela [les composants de calcul] à un autre facteur de forme, ou peut-être même penser en termes de différents types d'accélérateurs, comme une nouvelle génération d'IA spécifique types d'accélérateurs à venir dans les prochaines années.

Smith : Ce qui est cool et intéressant, c'est que nous sommes continuellement capables de travailler de manière robuste dans des environnements difficiles et de pouvoir travailler, par exemple, à moins cinq, parfois 10 degrés Celsius, puis jusqu'à plus de 55 degrés Celsius. Comme l'a mentionné le Dr Tabet, pour les environnements dangereux ou difficiles, vous devez être en mesure de prévenir les problèmes associés aux vibrations, aux chocs et à tout ce genre de jazz. Pourtant, nous sommes continuellement en mesure de rendre les facteurs de forme de plus en plus petits. Clairement , nous le faisons avec l'aide de nos partenaires et développeurs de puces.

Ce qui est intéressant, c'est cette idée de rendre les facteurs de forme plus petits et plus robustes, et en même temps, de les rendre aussi simples à utiliser et à utiliser que possible. Du point de vue de l'application, il ne s'agit pas en soi d'exécuter le cloud à la périphérie, bien que cela puisse également arriver. Il s'agit davantage d'amener les principes natifs du cloud à l'Edge. La simplicité et la facilité avec lesquelles vous pouvez porter, qu'il s'agisse de conteneurs ou de machines virtuelles [machines virtuelles], vers différents types d'infrastructures et différents types d'environnements, et avoir une vue unique. Cela peut également potentiellement permettre un environnement multi-cloud. L'Edge peut être votre nouveau point de contrôle, votre nouvelle visibilité panoramique sur ce qui se passe et qui comble le fossé entre le côté OT, ou technologie opérationnelle, et le côté informatique. C'est fascinant. C'est une nouvelle frontière pour l'exploration, et cela détermine une grande partie des feuilles de route des produits pour l'avenir, je dirais.

Cas d'utilisation Edge AI/ML

RTInsights : Pouvez-vous donner des exemples d'applications AI/ML Edge ?

Tabet : L'une sur laquelle je travaille depuis quelques années concerne les enjeux liés aux applications de mobilité [comme les véhicules autonomes]. En travaillant avec plusieurs organisations et avec nos clients directement, nous examinons comment nous pouvons apporter différentes capacités à ce marché. Je vais résumer cela un peu et vous donner également des exemples qui pourraient faciliter ce type de déploiement Edge. Il existe des cas d'utilisation d'Edge dans ce que nous appelons le RSU, les unités routières, les véhicules eux-mêmes ou avec la détection qu'ils font. Certains de ces exemples sont des versions étendues de ce que nous appelons les cartes HD, les cartes haute définition, où les cartes sont sémantiquement riches, contextuelles et mises à jour en temps quasi réel.

C'est un exemple où l'IA est utilisée pour réduire la quantité et le coût des données qui sont transférées. Vous ne traitez que ce dont vous avez besoin pour ces services spécifiques. Par exemple, les vidéos peuvent être réduites. Vous pouvez réduire la quantité de données. Vous pouvez vous concentrer sur des objets très spécifiques que vous souhaitez détecter. C'est le genre d'exemples à ce niveau qui peuvent aider.

D'autres sont liés à la santé de ces appareils Edge, où vous surveillez un appareil spécifique, un moteur, une voiture complète, etc., et vous essayez de faire autant d'analyses que possible au niveau du véhicule ou de l'appareil, en particulier pour la sécurité raisons (c'est-à-dire la surveillance basée sur les conditions dans de nombreux cas d'utilisation de l'IdO).

Il existe également d'autres exemples dans le domaine de la vente au détail, où vous verrez beaucoup plus de déploiement Edge, mais d'une manière différente. En un sens, vous avez cette connexion de la périphérie au cloud et au centre de données, dans le cloud Edge, comme nous l'appelons, où vous faites tout ce que vous pouvez à la périphérie. [The Edge is where] vous rassemblez les données et effectuez toutes les analyses nécessaires. Vous offrez une meilleure expérience à l'utilisateur final, dans le cas du commerce de détail, par exemple. Vous essayez de personnaliser cette expérience pour eux afin de minimiser les coûts, mais aussi d'optimiser les services.

À l'heure actuelle, en particulier dans la situation dans laquelle nous nous trouvons, de nombreux cas sont liés aux soins de santé. Combien de données pouvons-nous collecter et y réagir le plus rapidement possible à la périphérie ? Normalement, nous parlons d'un environnement distribué dans le l'échelle des centaines de milliers ou de millions d'appareils, comme disait Calvin. C'est un domaine où l'IA et le ML peuvent jouer un rôle beaucoup plus important. Nous parlons tout le temps des changements de données, et avec les capacités de l'IA, certaines de ces applications s'adapteraient d'elles-mêmes. L'apprentissage se poursuit et la formation se poursuit à ce niveau.

Dans tous ces domaines (santé, commerce de détail, véhicules autonomes, mobilité en général et bien d'autres domaines), vous réduisez les coûts grâce à la maintenance prédictive ou conditionnelle. Edge vous donne également la possibilité de contrôler à distance les appareils, donc si vos experts ne peuvent pas se rendre en toute sécurité à l'endroit où les données sont collectées, ils peuvent en fait fournir cette capacité à distance, et même inclure des choses comme AR ou VR. Mais vous faites également la plupart du travail à l'avance à l'Edge, vous pouvez donc minimiser leur présence, si nécessaire, en personne. Ce ne sont que quelques exemples.

Smith : J'en ajouterais deux de plus qu'importants. La première est que nous avons une grande entreprise dans et autour de la sûreté et de la sécurité. Comme Said l'a mentionné, vous pouvez exécuter de très gros algorithmes et traiter les données pour des choses comme… eh bien, laissez-moi vous donner un exemple. Imaginez que vous ayez un scénario où il y a un coup de feu dans un lieu public, disons que c'est à l'extérieur d'une station-service. Vous devez prendre de nombreuses décisions automatisées et immédiates pour déterminer la marche à suivre. Une chose est de penser à la reconnaissance des coups de feu d'un point de vue audio, mais de la corréler avec la reconnaissance d'objets d'un point de vue de la vision par ordinateur pour montrer réellement que c'était une arme , et pas seulement une voiture qui pétarade.

Ensuite, si vous avez un auteur qui a fait cela, vous pouvez également avoir ce qui est maintenant des algorithmes assez simplistes qui peuvent être exécutés à la périphérie, mais qui proviennent probablement du centre de données, pour des choses comme la reconnaissance des plaques d'immatriculation. Ensuite, vous pouvez identifier la plaque d'immatriculation du suspect en fuite. Tout est automatisé et exécuté à la périphérie. Il existe de nombreux cas d'utilisation dans ce domaine impliquant des caméras, la surveillance, la sécurité et la sécurité générale des citoyens.

L'autre grand domaine d'utilisation, que je pense que nous serions négligents de ne pas mentionner, est l'apprentissage en profondeur pour les installations intelligentes, qui est un banc d'essai dans le consortium Internet industriel que nous avons lancé il y a un certain temps avec Toshiba. Depuis sa création, nous avons également ajouté SAS et Wipro, différentes sociétés apportant des valeurs différentes à la table.

L'idée originale était de construire une énorme installation conçue comme l'état de l'art. Si je ne me trompe pas, je crois qu'il a été construit en 2011, et il avait déjà, combien de capteurs, Said ? Comme 20 000 capteurs ou quelque chose comme ça ?

Tabet : Plus que ça, je dirais. Il y en avait probablement 35 000 lors de sa construction en 2011.

Smith : 35 000, à droite. C'était une toute nouvelle installation à la pointe de la technologie, mais les concepteurs voulaient repousser les limites, apprendre et faire plus. Un réseau de neurones a été mis en œuvre via une série de serveurs connectés à un serveur de paramètres, permettant au bâtiment d'auto-apprendre en association avec ses systèmes critiques. Nous parlons de choses comme les ascenseurs et les escaliers mécaniques, et bien sûr, de choses coûteuses comme les systèmes CVC. L'idée était de faire, au moins au début, une détection d'anomalies et de rechercher des corrélations entre des choses qu'une personne (sans IA) aurait du mal à trouver.

Par exemple, il y avait des découvertes très fascinantes sur des choses qui se passaient dans la cuisine. Les données ont déterminé que ces événements augmentaient en fait les coûts, et à cause de ces actions, des sections spécifiques de ventilation étaient fermées. C'est incroyable ce que vous pouvez commencer à trouver quand ce sont les données plutôt que les humains qui enquêtent sur les choses. Nous parlons d'un véritable réseau neuronal profond où il s'auto-apprend - s'apprenant ce qu'il faut trouver, recherchant des corrélations croisées que les humains ne détermineraient pas normalement par eux-mêmes. Quand on y pense vraiment, tout cela se passait au "Edge". Tout cela est exécuté dans le bâtiment. Ensuite, une partie du traitement de base, bien sûr, était de retour dans le centre de données.

Tabet : Dans un cas d'utilisation plus récent pour un projet, nous avons ajouté un certain nombre d'appareils, similaires à tous ces actifs qui traitent du CVC et d'autres choses dans le bâtiment. Chacun d'eux était équipé de ses propres algorithmes d'apprentissage automatique ou algorithmes AI dans certains cas, et cela leur a permis d'être autonomes, mais en même temps, d'apprendre les uns des autres. Pour en revenir à l'histoire de Calvin, cela se fait de telle manière que nous allons voir de plus en plus ce genre d'IA autonome, si je peux utiliser ce terme. Vraiment, l'idée qu'on ne le nourrit pas de direction, mais qu'avec le temps il va s'auto-niveler et s'auto-apprendre au niveau de ses paramètres et de l'optimisation de la productivité qui est nécessaire.