L'IoT et le cloud computing sont-ils l'avenir des données ?

Avec environ 29 milliards d'appareils connectés qui devraient être opérationnels d'ici 2022 - et plus de 75 milliards d'appareils Internet des objets (IoT) devraient être utilisés d'ici 2025 dans le monde - l'Internet des objets est une considération majeure pour les entreprises avant-gardistes.

L'abondance d'appareils IoT actuellement utilisés offre aux entreprises de vastes quantités de données qui peuvent être utilisées pour créer des informations puissantes et cela ne devrait augmenter que dans les années à venir, déclare Shivnath Babu, directeur de la technologie, Unravel Data . Cependant, à mesure que les entreprises déploient un nombre croissant d'appareils intelligents et que les quantités de données générées augmentent, les systèmes cloud centralisés joueront un rôle fondamental pour garantir que ces informations sont utilisées intelligemment. En tant que tel, la prolifération de l'IoT propose des défis DataOps considérables.

Difficultés de gestion des données

Avec un grand nombre d'appareils IoT, de grandes quantités et types de données sont associés. Par exemple, les appareils IoT peuvent fournir des types de données aussi variés que :les ventes des clients, les kilomètres parcourus, les coordonnées GPS, l'humidité, le nombre de personnes présentes, la vitesse du véhicule, la température et la qualité de l'air. De nombreuses entreprises ont des difficultés à gérer la complexité et la quantité de données créées par l'IoT et constatent que leurs pipelines de données deviennent inefficaces. Pour les services axés sur les applications qui reposent sur la diffusion en continu en temps réel, il s'agit d'un problème important.

À cette fin, des applications de streaming personnalisées en temps réel telles que Kafka, Spark, Kudu, Flink ou HBase sont nécessaires pour gérer les exigences élevées en matière de Big Data des services modernes fournis dans le cloud. Cela étant dit, l'analyse des données de trafic en continu et la génération de fonctionnalités statistiques nécessitent des méthodes de surveillance complexes et consommatrices de ressources.

Bien que les analystes puissent appliquer simultanément plusieurs méthodes de détection aux données entrantes, cela entraîne inévitablement des problèmes de complexité et de performances. C'est particulièrement le cas lorsque les applications s'étendent sur plusieurs systèmes (par exemple, interagissant avec Spark pour le calcul, avec YARN pour l'allocation et la planification des ressources, avec HDFS ou S3 pour l'accès aux données, ou avec Kafka ou Flink pour le streaming). Ces déploiements peuvent devenir encore plus complexes s'ils contiennent des programmes indépendants définis par l'utilisateur, tels que le prétraitement répété des données ou la génération de fonctionnalités communes à plusieurs applications.

Croissance explosive de l'IoT

Pour créer l'infrastructure cloud nécessaire pour soutenir la croissance explosive des appareils IoT, les outils et processus actuels de gestion des données ne sont pas à la hauteur. Pour gérer le défi présenté par les appareils IoT étendus, de nombreuses entreprises commencent à reconnaître le besoin d'intégrations d'IA ou de ML.

Ces intégrations augmentent les capacités des équipes de données à donner un sens à toutes ces données en permettant des opérations de données intelligentes qui réduisent la charge du tri manuel des données. Cela permet d'acheminer les données au bon endroit plus rapidement, de suivre le rythme des besoins de l'entreprise et de maintenir l'élément en temps réel de leurs opérations de données.

Souvent, dans ces scénarios, l'application de streaming peut prendre du retard dans le traitement des données en temps réel et déterminer la cause première peut être un défi encombrant pour un système aussi complexe. En tant que tel, un déploiement de données qui repose sur l'apprentissage automatique et l'intelligence artificielle (IA) est bien plus susceptible de fournir les performances, la prévisibilité et la fiabilité nécessaires par rapport aux alternatives.

Pour permettre la collecte efficace et continue de données à partir d'appareils IoT, les algorithmes d'apprentissage automatique se sont avérés essentiels pour permettre un examen minutieux de l'exécution des applications, identifier la cause d'une défaillance potentielle et générer des recommandations pour améliorer les performances et l'utilisation des ressources. Un autre avantage clé est que la mise en œuvre de tels processus permet aux organisations de bénéficier de coûts réduits et d'une fiabilité accrue.

Considérez chaque cas d'utilisation

En tant que tel, il est essentiel d'examiner chaque cas d'utilisation individuel et de voir à quel défi IoT spécifique il apporte une réponse. En comprenant d'abord l'environnement et les problèmes qu'il présente pour leur organisation respective, les équipes informatiques sont en mesure d'accélérer la mise en œuvre des solutions nécessaires. Qu'il s'agisse d'apprentissage automatique ou d'IA, la réalisation d'un déploiement basé sur l'IoT dépend de l'augmentation de l'équipe de données avec l'automatisation pour gérer la complexité qui émerge.

L'auteur est Shivnath Babu, directeur de la technologie, Unravel Data.