Surmonter les défis ETL des données IoT pour booster le ROI

Les organisations peuvent optimiser les données IoT, en dérivant rapidement et rentablement leur valeur business en développant une expertise en technologies ETL (extract, transfer, load).

Le potentiel IoT n'a jamais été plus grand

Le potentiel de l'IoT n'a jamais été plus grand. Avec des investissements dans les appareils IoT-enabled qui devraient doubler d'ici 2021 et des opportunités surgissant dans les segments données et analytique, la tâche principale est de surmonter les défis et dompter les coûts entourant les projets de données IoT.

Les organisations peuvent optimiser les données IoT, en dérivant rapidement et rentablement leur valeur business en développant une expertise en technologies ETL (extract, transfer, load), comme le stream processing et les data lakes.

Voir aussi : 4 principes pour permettre un data lake pristine

Dans de nombreuses organisations, cependant, cela peut mener à des goulets d'étranglement IT, longs délais de projets, et data science différée. Résultat : les projets IoT — dans lesquels l'analytique prédictive est censée jouer un rôle critique dans l'amélioration de l'efficacité opérationnelle et l'innovation — n'ont toujours pas franchi le seuil proof-of-concept et définitivement ne peuvent pas démontrer de ROI.

Comprendre les défis ETL que l'IoT rencontre

Le diagramme suivant vous aidera à mieux comprendre le problème :

La source de données est à gauche — d'innombrables appareils remplis de capteurs, des antennes simples aux véhicules autonomes compliqués qui génèrent des données IoT et les envoient comme un flux ininterrompu de données semi-structurées sur le web.

À droite sont les objectifs que la consommation de ces données devrait atteindre, avec les produits analytiques résultants à la conclusion du projet, incluant :

• Business intelligence pour gagner en visibilité sur les tendances et patterns d'usage produit
• Monitoring opérationnel pour voir pannes et appareils inactifs en temps réel
• Détection d'anomalies pour avoir des alertes proactives sur pics ou chutes précipitées dans les données
• Analytique embarquée pour permettre aux clients de voir et comprendre leurs propres données d'usage
• Data science pour profiter des bénéfices de l'analytique avancée et machine learning dans maintenance prédictive, optimisation de routes, ou développement IA

Pour atteindre ces objectifs, vous devez d'abord transformer les données de leur mode streaming brut en tables prêtes pour l'analytique qui peuvent être interrogées avec SQL et autres outils analytiques.

Le processus ETL est souvent le segment le plus difficile à comprendre de tout projet analytique parce que les données IoT contiennent un ensemble unique de qualités qui ne sont pas toujours en sync avec les bases de données relationnelles habituelles, ETL, et outils BI. Par exemple :

• Les données IoT sont des données streaming, générées continuellement en petits fichiers qui s'accumulent pour devenir des datasets massifs, étendus. Ce sont très distincts des données tabulaires traditionnelles et requièrent ETL plus complexe pour effectuer jointures, agrégations, et enrichissement de données.
• Les données IoT doivent être stockées maintenant, analysées plus tard. Contrairement aux datasets typiques, le volume pur de données créées par appareils IoT signifie qu'elles doivent avoir un endroit où s'asseoir avant d'être analysées — un data lake cloud ou sur site.
• Les données IoT présentent des événements non ordonnés dus à multiples appareils qui peuvent entrer et sortir de zones de connectivité Internet. Cela signifie que les logs peuvent atteindre les serveurs à divers moments et pas toujours dans le « bon » ordre.
• Les données IoT requièrent souvent un accès faible latence. Opérationnellement, vous pouvez avoir à identifier anomalies ou appareils spécifiques en temps réel ou quasi temps réel, donc vous ne pouvez pas vous permettre les latences causées par le traitement par lots.

Devriez-vous utiliser des frameworks open-source pour créer un data lake ?

Pour construire une plateforme de données enterprise pour analytique de données, de nombreuses organisations utilisent cette approche commune : créer un data lake en utilisant des frameworks open-source de stream processing comme blocs de construction plus bases de données time-series comme Apache Spark/Hadoop, Apache Flink, InfluxDB, et autres.

Ce toolset peut-il faire le job ? Bien sûr, mais le faire correctement peut être accablant pour toutes les entreprises sauf les plus expérimentées en données. Construire une telle plateforme de données demande les compétences spécialisées de big data engineers et une forte attention à l'infrastructure de données — pas généralement un point fort dans la fabrication et l'électronique grand public, industries qui travaillent étroitement avec les données IoT. Attendez-vous à des livraisons tardives, coûts élevés, et une tonne d'heures d'ingénierie gaspillées.

Si votre organisation veut haute performance plus une gamme complète de fonctionnalités et cas d'usage — reporting opérationnel, analytique ad-hoc, et préparation de données pour machine learning — alors adoptez une solution appropriée. Un exemple serait d'utiliser une plateforme ETL data lake conçue pour convertir les flux en datasets prêts pour l'analytique.

La solution n'est pas aussi rigide et complexe que les plateformes de données Spark/Hadoop. Elle est construite avec une interface utilisateur self-service et SQL, pas le codage intense en Java/Scala. Pour analystes, data scientists, product managers, et fournisseurs de données dans DevOps et data engineering, cela peut être un outil véritablement user-friendly qui :

• Fournit du self-service pour consommateurs de données sans avoir besoin de compter sur IT et data engineering
• Optimise les flux ETL et stockage big data pour réduire coûts d'infrastructure
• Permet aux organisations, grâce à un service pleinement géré, de se concentrer sur features plutôt qu'infrastructure
• Supprime le besoin de maintenir multiples systèmes pour données temps réel, analytique ad hoc et reporting
• Assure que les données ne quittent jamais le compte AWS du client pour sécurité totale

Vous pouvez bénéficier des données IoT — il faut juste les bons outils pour les rendre utiles.