Débloquer des insights exploitables en périphérie avec l'IA et le ML

Si les données commencent en périphérie, pourquoi ne pourrions-nous pas en faire le maximum possible là-même d'un point de vue IA ?

La croissance explosive des appareils et applications en périphérie (Edge) nécessite une nouvelle réflexion sur l'endroit et la manière dont les données sont analysées, et les insights dérivés. De nouvelles options de calcul en périphérie, couplées à des exigences de plus en plus exigeantes en termes de rapidité d'obtention d'insights dans de nombreux cas d'usage, font augmenter l'utilisation de l'intelligence artificielle (IA) et de l'apprentissage automatique (ML) dans les applications Edge.

L'endroit où l'IA et le ML sont appliqués (en périphérie, dans un centre de données ou une installation cloud) est une question complexe. Pour obtenir des insights sur les stratégies actuelles et les meilleures pratiques, nous nous sommes récemment entretenus avec Said Tabet, Architecte en chef, IA/ML & Edge ; et Calvin Smith, CTO, Solutions technologiques émergentes ; tous deux au Bureau du CTO mondial de Dell Technologies.

Nous avons discuté du besoin croissant d'IA et de ML pour donner du sens à la grande quantité de données Edge générées aujourd'hui, les exigences de calcul pour l'IA/ML dans les applications Edge, et si de tels calculs devraient être effectués en périphérie ou dans un centre de données ou une installation cloud.

Tendances émergentes

RTInsights : Quelles sont les tendances émergentes d'aujourd'hui, et comment l'IA et le ML s'intègrent-ils dans la discussion sur l'Edge ?

Tabet : Aujourd'hui, quand les gens parlent de tendances émergentes, ils mentionnent souvent beaucoup de choses comme l'Edge, l'IoT, l'IA/ML, la réalité augmentée, la réalité virtuelle, la blockchain et la 5G. Nous positionnons l'Edge comme la prochaine étape en termes de direction de ces technologies — pas seulement des tendances, mais une véritable adoption. Je pense que du point de vue des données et de l'expérience utilisateur, il y a un besoin d'insight et, grâce à notre impatience en tant qu'êtres humains, couplée aux problèmes de latence du monde réel, d'obtenir cet insight le plus rapidement possible. Aussi, l'idée que si les données commencent en périphérie, pourquoi ne pourrions-nous pas en faire le maximum possible là-même d'un point de vue IA ?

Évidemment, l'IA, et particulièrement le ML, est gourmande en termes de quantité de données dont elle a besoin. Elle a besoin d'apprendre rapidement. Qu'est-ce que nous pouvons vraiment faire en périphérie ? Je pense que c'est là que cette discussion commence. La blockchain ou les registres distribués sont d'autres domaines de considération ici. Typiquement, vous allez voir un besoin de beaucoup de confiance, particulièrement d'un point de vue données. Il faut aussi qu'il y ait confiance dans les insights que nous générons, comment nous réagissons, et les éléments actionnables qui découlent de ces découvertes. Cela apporte un besoin supplémentaire du point de vue de la sécurité globale, de la vie privée et de la gouvernance. Vous devez prendre tout cela en compte dans cette expérience, que vous soyez une personne d'affaires, un individu, ou une flotte de véhicules.

Smith : Si nous prenons une estimation générale de, disons, entre 20 et 30 milliards d'appareils IoT connectés aujourd'hui. En remontant, Said, je pense que c'était vers 2014 que le nombre d'appareils mobiles connectés a dépassé le nombre de personnes dans le monde, non ? Puis en 2017, les appareils IoT ont aussi dépassé la population humaine mondiale.

Tabet : Oui. C'est exact.

Smith : C'a été un grand bond, et ça va continuer à bondir. Allez-vous embaucher 27 milliards de personnes pour aller maintenir ces appareils Edge ? Ensuite, en remontant à travers la pile de l'infrastructure, évidemment, ce n'est pas un mapping 1:1, mais c'est physiquement impossible d'embaucher assez d'administrateurs de bases de données, de data scientists, d'architectes et d'ingénieurs. Au lieu de cela, il s'agit entièrement de piloter l'automatisation et l'optimisation en périphérie. Juste le volume pur de données, et, comme le Dr Tabet l'a mentionné, la gourmandise des applications et fonctions, spécifiquement en IA. Vous devez être capable de traiter une grande quantité d'informations pour de multiples raisons, l'une étant le coût. Vous voulez analyser ce qui est réellement des données précieuses en périphérie avant de commencer à les envoyer vers le centre de données ou le cloud.

Le rôle de l'IA/ML avec l'Edge

RTInsights : Pourquoi avons-nous besoin de l'IA/ML quand nous parlons d'Edge ?

Tabet : Il y a plusieurs raisons. D'abord, il y a le pourquoi. Du point de vue de l'automatisation, l'IA et le ML sont un moyen d'automatiser plus et d'être un peu plus discipliné à ce sujet, et vous le faites en périphérie. Vous le voyez aujourd'hui. Cela doit être imposé par cette vision de construire ce continuum du cloud vers l'Edge, incluant le plan de données, ou le plan de contrôle, et les kits de développement, etc., que les développeurs ressentent que si j'écris pour l'Edge, c'est la même chose que le cloud.

Du point de vue de l'IA, l'automatisation est une grande chose. En périphérie, vous ne ferez pas le traitement vraiment profond là-bas (c.-à-d., Deep Learning – DL), du moins pas habituellement. L'autre aspect que je pense vraiment important est le fait que les insights que vous allez obtenir très rapidement en périphérie sont souvent différents de ceux que vous allez apporter à vos centres de données ou à votre cloud, en les connectant avec d'autres types d'informations. À ce stade, vous perdez une grande partie de l'élan d'intelligence, en termes d'insights que vous obtenez, ou de prise de décision que vous allez faire si vous le faites en périphérie. Pourtant, l'Edge a besoin de l'IA. Elles vont de pair.

Smith : Je pense que l'autre raison est business. Tous ces « objets, capteurs, actionneurs, appareils », ils peuvent être aussi grands qu'une maison connectée, ou un navire de croisière connecté, ou une voiture connectée. Ou ils peuvent être dans ou sur une usine, un tracteur, ou une pompe. Pour faire court, toutes les industries sont maintenant en train de se commoditiser, non ? Il y a l'option de construire et acheter des choses partout dans le monde. Les façons dont les entreprises essaient de se différencier, c'est par les services en association avec les produits et actifs qu'elles vendent. Plus vous pouvez dériver de valeur, beaucoup d'entreprises passent d'un produit à un service. C'est ce qu'on appelle la transformation produit-vers-service.

Ils essaient de vendre leurs actifs comme services. Parfois, c'est même un changement de modèle d'affaires et ça passe de CapEx à OpEx. Parfois, ils vont encore seulement vendre comme CapEx, mais ils peuvent être capables de vendre un ensemble additionnel de services ou juste l'utiliser comme différenciateur quand leurs produits sont intelligents et connectés. Encore une fois, comme Said l'a mentionné, optimiser et automatiser et être capable d'attirer les bonnes données au bon moment, et au bon endroit permet aux entreprises de concurrencer. Simplement fabriquer un article ne dérive plus toujours de la valeur.

Tabet : Une chose de plus que je veux ajouter, c'est qu'en périphérie, si nous regardons ces dizaines ou centaines de milliers d'appareils d'une seule entreprise ou organisation, que ce soit dans les véhicules autonomes, vous regardez les voitures comme des instances, chacune de ces voitures peut se comporter différemment sous différents environnements. Apprendre de cela est très important quand vous le ramenez ensemble. C'est la même chose dans l'automatisation industrielle. Vous pouvez regarder les éoliennes, les moteurs d'avions, ou la santé. Dans beaucoup de ces environnements différents, vous avez une performance bien plus précise, bien plus efficace, meilleure de ces modules IA, ou algorithmes IA quand vous ramenez cette information vers le centre de données ou le cloud. En d'autres termes, s'il y a définitivement de la valeur dans les données d'un actif, vous commencez à glaner de vrais insights à partir de flottes connectées d'actifs et de leurs interactions dans différents environnements.

Décider où le calcul IA/ML Edge doit être fait

RTInsights : Où le travail de calcul IA/ML pour les applications Edge est-il fait ?

Tabet : Cela revient au point précédent où dans beaucoup de ces cas, les algorithmes IA ont besoin de beaucoup de données pour s'entraîner. Vous faites cela (et il y a désaccord) dans le centre de données ou dans le cloud, dans un environnement centralisé où vous pouvez avoir ces capacités de calcul haute performance. En périphérie, vous déployeriez ces algorithmes, et ils peuvent être bien plus efficaces à utiliser pour des fins d'influence en périphérie. Il y a évidemment des discussions, où à un moment donné, nous serons capables de faire un certain niveau d'entraînement en périphérie, aussi. Cela sera limité au début en raison des contraintes lourdes de la plupart des environnements Edge.

Considérations pour l'informatique de périphérie

RTInsights : Quelles sont les exigences pour les solutions de calcul en périphérie ?

Tabet : Eh bien, c'est très délicat, parce qu'il y a différentes définitions de ce qu'est l'Edge. Vous parlez à un fabricant de voitures, et ils disent : ma voiture est l'Edge. Quand vous parlez à un fabricant d'éoliennes, les éoliennes sont leur Edge. Les dispositifs de fabrication dans une usine sont l'Edge, aussi. Ils vont avoir différents environnements. Certains seront très rudes. Chez Dell, nous avons eu beaucoup d'expérience avec le calcul dans des environnements qui peuvent inclure ces conditions rudes avec de fortes vibrations et des températures extrêmement hautes ou extrêmement basses. La chose numéro un que je dirais est la consommation d'énergie. Ça doit être faible consommation. Cela va à l'encontre de tout ce que nous savons, particulièrement en HPC, non ? Vous utilisez beaucoup de GPU, vous avez de la chaleur, et vous avez besoin de puissance. Ce n'est pas possible dans ces [environnements Edge]. Nous allons devoir amener cela [les composants de calcul] à un autre facteur de forme, ou nous pourrions même penser en termes de différents types d'accélérateurs, comme une nouvelle génération de types d'accélérateurs spécifiques à l'IA qui arrivent dans les prochaines années.

Smith : La chose cool et intéressante, c'est que nous sommes continuellement capables de travailler de façon robuste pour des environnements rudes et d'être capable de travailler dans, disons, moins cinq, parfois 10 degrés Celsius et puis jusqu'à 55 degrés Celsius et plus. Comme le Dr Tabet l'a mentionné, pour des environnements dangereux ou rudes, vous devez être capable de prévenir les problèmes associés aux vibrations, chocs, et tout ce jazz. Pourtant, nous sommes continuellement capables de rendre les facteurs de forme plus petits et plus petits. Clairement, nous faisons cela avec l'aide de nos partenaires et développeurs de puces.

Ce qui est intéressant, c'est cette notion de rendre les facteurs de forme plus petits et plus robustes, et puis en même temps, de les rendre aussi simples à opérer et utiliser que possible. Du point de vue de l'application, ce n'est pas que le cloud soit exécuté en périphérie, per se, bien que cela puisse arriver aussi. C'est plus sur les principes cloud-native étant apportés en périphérie. La simplicité et la facilité avec lesquelles vous pouvez porter, que ce soient des conteneurs ou des VMs [machines virtuelles], vers différents types d'infrastructure, et différents types d'environnements, et avoir une vue unique. Cela peut aussi potentiellement permettre un environnement multi-cloud. L'Edge peut être votre nouveau point de contrôle, votre nouvelle visibilité pane-of-glass dans ce qui se passe et qui comble le fossé entre l'OT, ou technologie opérationnelle, et le côté IT. C'est fascinant. C'est une nouvelle frontière pour l'exploration, et ça pilote une grande partie des feuilles de route produits pour le futur, je dirais.

Cas d'usage Edge IA/ML

RTInsights : Pouvez-vous donner des exemples d'applications Edge IA/ML ?

Tabet : Un sur lequel j'ai travaillé pendant quelques années maintenant est autour des défis liés aux applications de mobilité [comme les véhicules autonomes]. En travaillant avec plusieurs organisations et avec nos clients directement, nous regardons comment nous pouvons apporter différentes capacités à ce marché. Je vais abstraire cela un peu et vous donner les exemples aussi qui pourraient faciliter ce genre de déploiement Edge. Il y a des cas d'usage pour l'Edge dans ce qu'on appelle les RSU, les unités de bord de route, les véhicules eux-mêmes, ou avec la détection qu'ils font. Certains de ces exemples sont des versions étendues de ce qu'on appelle les cartes HD, cartes haute définition, où les cartes sont sémantiquement riches, pilotées par le contexte, et mises à jour en quasi temps réel.

C'est un exemple où l'IA est utilisée pour réduire la quantité et le coût des données qui sont transférées. Vous ne traitez que ce dont vous avez besoin pour ces services spécifiques. Par exemple, les vidéos peuvent être réduites. Vous pouvez réduire la quantité de données. Vous pouvez vous concentrer sur des objets très spécifiques que vous voulez détecter. Ce sont le genre d'exemples à ce niveau qui peuvent aider.

D'autres sont liés à la santé de ces appareils Edge, où vous surveillez un appareil spécifique, un moteur, une voiture complète, etc., et vous essayez de faire autant d'analyse que possible au niveau du véhicule ou de l'appareil, particulièrement pour des raisons de sécurité (c.-à-d., surveillance basée sur l'état dans de nombreux cas d'usage IoT).

Il y a d'autres exemples dans le domaine du retail, aussi, où vous verrez beaucoup plus de déploiement Edge, mais d'une manière différente. Dans le sens où vous avez cette connexion de l'Edge au cloud au centre de données, dans l'Edge cloud, comme nous l'appelons, où vous faites autant que possible en périphérie. [L'Edge est où] vous collectez les données et faites toute l'analyse nécessaire. Vous fournissez une meilleure expérience à l'utilisateur final, dans le cas du retail, par exemple. Vous essayez de personnaliser cette expérience pour eux afin de minimiser le coût, mais aussi d'optimiser les services.

En ce moment, particulièrement dans la situation où nous sommes, il y a beaucoup de cas liés à la santé. Combien de données pouvons-nous collecter et y réagir le plus rapidement possible en périphérie ? Normalement nous parlons d'un environnement distribué à l'échelle de centaines de milliers ou millions d'appareils, comme Calvin le disait. C'est un domaine où l'IA et le ML peuvent jouer un rôle bien plus grand. Nous parlons des données qui changent tout le temps, et avec les capacités IA, certaines de ces applications s'adapteraient elles-mêmes. L'apprentissage continue, et l'entraînement continue à ce niveau.

Dans tous ces domaines — santé, retail, véhicules autonomes, mobilité en général, et bien d'autres — vous réduisez le coût grâce à la maintenance prédictive ou conditionnelle. L'Edge vous donne aussi la capacité de faire du contrôle à distance des appareils, donc si vos experts ne peuvent pas aller en toute sécurité à l'endroit où les données sont collectées, ils peuvent en fait fournir cette capacité à distance, et même inclure des choses comme la RA ou la RV. Mais vous faites aussi la majeure partie du travail à l'avance en périphérie, donc vous pouvez minimiser leur présence, si nécessaire, en personne. Ce ne sont que quelques exemples.

Smith : J'ajouterais deux autres qui sont importants. L'un est que nous avons une grande activité dans et autour de la sûreté et de la sécurité. Comme Said l'a mentionné, vous pouvez exécuter les très grands algorithmes, et traiter les données pour des choses comme… eh bien, laissez-moi vous donner un exemple. Imaginez un scénario où il y a un coup de feu dans un lieu public, disons à l'extérieur d'une station-service. Vous devez prendre beaucoup de décisions automatisées et immédiates pour déterminer quelle action entreprendre. Une chose est, pensez à la reconnaissance de coup de feu d'un point de vue audio, mais corrélé avec la reconnaissance d'objet d'un point de vue vision par ordinateur pour montrer que c'était une arme, et pas juste une voiture qui pétarade.

Ensuite, si vous avez un auteur qui a fait cela, vous pouvez aussi avoir ce qui est maintenant en fait des algorithmes assez simplistes qui peuvent être exécutés en périphérie, mais qui ont probablement originné dans le centre de données, pour des choses comme la reconnaissance de plaque d'immatriculation. Ensuite, vous pouvez identifier la plaque d'immatriculation du suspect en fuite. C'est tout automatisé et exécuté en périphérie. Il y a beaucoup de cas d'usage dans ce domaine impliquant des caméras, de la surveillance, de la sécurité, et de la sûreté générale pour les citoyens.

L'autre grand domaine de cas d'usage, que je pense que nous serions négligents de ne pas mentionner, est le Deep Learning pour les Installations Intelligentes (Smart Facilities), qui est un banc d'essai du Consortium Internet Industriel que nous avons commencé il y a un moment avec Toshiba. Depuis sa création, nous y avons aussi ajouté SAS et Wipro, avec différentes entreprises apportant différentes valeurs à la table.

La notion originale était de construire une énorme installation conçue comme à la pointe de la technologie. Si je ne me trompe pas, je crois qu'elle a été construite en 2011, et elle avait déjà, combien de capteurs, Said ? Comme 20 000 capteurs ou quelque chose comme ça ?

Tabet : Plus que ça, je dirais. C'était probablement 35 000 à l'époque où elle a été construite en 2011.

Smith : 35 000, exact. C'était une installation flambant neuve, à la pointe de la technologie, mais les concepteurs voulaient repousser les limites et apprendre et faire plus. Un réseau de neurones a été implémenté à travers une série de serveurs connectés à un serveur de paramètres, laissant le bâtiment essentiellement s'auto-apprendre en association avec ses systèmes critiques. Nous parlons de choses comme les ascenseurs, les escaliers mécaniques, et bien sûr, les choses à haut coût comme les systèmes CVC. L'idée était de faire, au moins initialement, de la détection d'anomalies et de chercher des corrélations entre des choses qu'une personne (sans IA) aurait du mal à trouver.

Par exemple, il y a eu des découvertes très fascinantes sur des choses qui se passaient dans la cuisine. Les données ont déterminé que ces événements augmentaient réellement les coûts, et à cause de ces actions, des sections spécifiques de ventilation étaient fermées. C'est incroyable ce que vous pouvez commencer à trouver quand ce sont les données plutôt que les humains qui investiguent. Nous parlons d'un vrai réseau de neurones profond où il s'auto-apprend — s'enseignant lui-même quoi trouver, cherchant des corrélations croisées que les humains ne détermineraient normalement pas par eux-mêmes. Quand vous y réfléchissez vraiment, tout cela était à la « Périphérie ». Tout cela est exécuté dans le bâtiment. Ensuite, une partie du traitement central, bien sûr, était de retour au centre de données.

Tabet : Dans un cas d'usage plus récent pour un projet, nous avons ajouté un certain nombre de dispositifs, similaires à tous ces actifs qui traitent du CVC et d'autres choses dans le bâtiment. Chacun d'eux était équipé de ses propres algorithmes d'apprentissage automatique ou algorithmes IA dans certains cas, et cela leur a permis d'être auto-suffisants, mais en même temps, d'apprendre les uns des autres. Retour à l'histoire de Calvin, cela se fait de telle manière que nous allons voir de plus en plus de ce genre d'IA autonome, si je peux utiliser ce terme. Vraiment, l'idée que nous ne lui donnons pas de direction, mais qu'avec le temps, elle s'auto-nivelle et s'auto-apprend en termes de ses paramètres et de l'optimisation de la productivité requise.