Le streaming de données ouvre de nouvelles possibilités à l'ère de l'IoT

Kelly Herrell de Hazelcast

À l'ère pré-numérique, les services informatiques maîtrisaient une variété d'approches technologiques pour extraire de la valeur des données. Des entrepôts de données, des plates-formes analytiques et différents types de bases de données remplissaient des centres de données, accédant à des périphériques de stockage où les enregistrements étaient conservés en toute sécurité sur disque pour leur valeur historique.

En revanche, déclare Kelly Herrell, PDG de Hazelcast , les données sont aujourd'hui générées et diffusées par les appareils de l'Internet des objets (IoT) à un rythme sans précédent. Les « choses » dans l'IoT sont innombrables – capteurs, applications mobiles, véhicules connectés, etc. – ce qui en soi est explosif. Ajoutez à cela « l'effet réseau » où le degré de valeur est directement corrélé au nombre d'utilisateurs attachés, et il n'est pas difficile de comprendre pourquoi les entreprises aiment IDC projettent que le marché de l'IoT atteindra 745 milliards de dollars US (665 milliards d'euros) l'année prochaine et dépassera la barre des 1 000 milliards de dollars (0,89 milliards d'euros) en 2022.

Cette mégatendance bouleverse le paradigme de l'informatique. La valeur historique des données stockées est remplacée par la valeur temporelle des données en continu. Dans le paradigme des données en continu, la valeur est une fonction directe de l'immédiateté, pour deux raisons :

• Différence  :Tout comme les molécules d'eau uniques qui traversent une longueur de tuyau sont différentes à chaque instant, il en va de même pour les données uniques diffusées sur le réseau pour chaque fenêtre de temps.
• Périssabilité  :La possibilité d'agir sur les informations trouvées dans les données de streaming se dissipe souvent peu de temps après la génération des données.

Les concepts de différence et périssabilité s'appliquent à ce paradigme de données en continu. Les changements soudains détectés dans les flux de données nécessitent une action immédiate, qu'il s'agisse d'un modèle de reconnaissance faciale en temps réel ou de capteurs de vibration de plate-forme de forage enregistrant soudainement des anomalies qui pourraient être désastreuses si des mesures préventives ne sont pas prises immédiatement.

À l'ère actuelle où le facteur temps est urgent, l'IoT et les données en streaming accélèrent le rythme du changement dans ce nouveau paradigme de données. Le traitement des flux lui-même évolue rapidement.

Deux générations, mêmes problèmes

La première génération de traitement de flux reposait en grande partie sur le traitement par lots utilisant des architectures complexes basées sur Hadoop. Une fois les données chargées, ce qui est important après leur génération, elles ont ensuite été transmises sous forme de flux via le moteur de traitement des données. La combinaison de la complexité et du délai a rendu cette méthode largement insuffisante.

La deuxième génération, (toujours largement utilisée), a réduit la taille des lots à des «micro-lots». La complexité de la mise en œuvre n'a pas changé, et bien que les lots plus petits prennent moins de temps, il y a toujours du retard dans la configuration du lot. La deuxième génération peut identifier la différence mais ne traite pas de la périssabilité. Au moment où il découvre un changement dans le flux, c'est déjà de l'histoire ancienne.

Traitement de flux de troisième génération

Les deux premières générations mettent en évidence les obstacles auxquels sont confrontées les organisations informatiques :comment le traitement des flux peut-il être plus simple à mettre en œuvre tout en traitant les données au moment où elles sont générées ? La réponse :le logiciel doit être simplifié, ne pas être orienté batch et être suffisamment petit pour être placé extrêmement près des sources de flux.

Les deux premières générations de traitement de flux nécessitent l'installation et l'intégration de plusieurs composants, ce qui entraîne une empreinte trop importante pour la plupart des infrastructures de périphérie et IoT. Une empreinte légère permet au moteur de streaming d'être installé à proximité ou intégré à l'origine des données. La proximité immédiate élimine le besoin pour le flux IoT de traverser le réseau pour le traitement, ce qui réduit la latence et aide à relever le défi de la périssabilité.

Le défi pour les services informatiques consiste à ingérer et à traiter les sources de données en continu en temps réel, en affinant les données en informations exploitables maintenant . Les retards dans le traitement par lots diminuent la valeur des données de streaming. Le traitement de flux de troisième génération peut surmonter les problèmes de latence inhérents au traitement par lots en travaillant immédiatement sur des données brutes en direct à n'importe quelle échelle.

Le streaming en pratique

Une plate-forme de forage est l'un des symboles les plus reconnaissables de l'industrie de l'énergie. Cependant, les coûts d'exploitation d'une plate-forme sont incroyablement élevés et tout temps d'arrêt tout au long du processus peut avoir un impact significatif sur les résultats de l'opérateur. Les informations préventives offrent de nouvelles opportunités pour améliorer considérablement ces pertes.

SigmaStream , qui se spécialise dans les flux de données à haute fréquence générés dans le processus de forage, est un bon exemple de traitement de flux mis en œuvre sur le terrain. Les plates-formes client SigmaStream sont équipées d'un grand nombre de capteurs pour détecter les plus petites vibrations pendant le processus de forage. Les données générées par ces capteurs peuvent atteindre 60 à 70 canaux de données haute fréquence entrant dans le système de traitement de flux.

En traitant les informations en temps réel, SigmaStream permet aux opérateurs d'exécuter ces flux de données et d'agir immédiatement sur les données pour éviter les échecs et les retards. Un moteur de streaming de troisième génération, associé aux bons outils pour traiter et analyser les données, permet aux opérateurs de surveiller des vibrations presque imperceptibles grâce à des analyses de streaming sur les données de la plate-forme. En effectuant des ajustements précis, les clients de SigmaStream ont économisé des millions de dollars et réduit le temps passé sur site jusqu'à 20 %.

À l'ère numérique d'aujourd'hui, la latence est le nouveau temps d'arrêt. Le traitement des flux est la prochaine étape logique pour les organisations qui cherchent à traiter les informations plus rapidement, à activer des actions plus rapidement et à engager de nouvelles données à la vitesse à laquelle elles arrivent. En intégrant le traitement de flux aux applications grand public, les organisations peuvent prospérer dans un monde dominé par de nouvelles générations d'applications ultra-performantes et fournir des informations avec la sensibilité temporelle pour répondre aux attentes croissantes.

L'auteur est Kelly Herrell, PDG de Hazelcast