Traitement de flux de 3e génération : transformer les données IoT en action temps réel

Kelly Herrell de Hazelcast

À l'ère pré-digitale, les équipes IT exploitaient une gamme d'outils de data management — data warehouses, plateformes analytiques, divers systèmes de bases de données — pour capturer et préserver l'information pour analyse future.

Aujourd'hui, la data est générée et streamée par les devices IoT à un rythme sans précédent. Les « Things » dans IoT — capteurs, apps mobiles, véhicules connectés — créent un volume explosif d'information. Ajoutez l'effet réseau, où la valeur scale avec le nombre d'utilisateurs connectés, et c'est clair pourquoi IDC projette le marché IoT à 745 milliards $ (665 milliards €) l'an prochain et dépasser 1 trillion $ (0,89 trillion €) d'ici 2022.

Dans ce megatrend, l'emphase traditionnelle sur data historique cède la place à la valeur temporelle du streaming data. Dans le paradigme streaming, la valeur est directement liée à l'immédiateté pour deux raisons :

• Différence : Comme molécules d'eau passant dans un tuyau, chaque snapshot de data traversant le réseau est unique.
• Périssabilité : L'opportunité d'agir sur insights s'évapore souvent peu après la génération de la data.

Ces concepts signifient que changements soudains détectés dans les flux demandent action instantanée — qu'il s'agisse d'une alerte reconnaissance faciale temps réel ou d'un capteur foreuse détectant vibrations anormales qui pourraient mener à échec catastrophique si pas adressé immédiatement.

Dans le monde rapide d'aujourd'hui, l'IoT et le streaming data accélèrent le pace du changement, reshapant comment nous traitons l'information. Le stream processing lui-même évolue rapidement.

Deux générations, mêmes problèmes

La première génération de stream processing reposait lourdement sur batch processing dans architectures complexes Hadoop-based. La data était collectée, stockée, et seulement après délai streamée dans le moteur de processing. La combo complexité + latence rendait cette approche largely inadequate.

La seconde génération a introduit les micro-batches, réduisant tailles de batch pour réduire temps de processing. Cependant, la complexité sous-jacente restait, et le délai de setup de chaque micro-batch signifiait encore que changements étaient identifiés seulement après qu'ils soient devenus historiques.

Stream processing de 3e génération

Le défi pour les organisations IT est clair : comment ingérer et traiter le streaming data en temps réel, transformant data brute en insight actionnable « maintenant » sans l'overhead des systèmes batch-oriented ? La réponse réside dans un software lightweight, non batch-centric, et assez petit pour tourner près de — voire embedded dans — la source de données.

Les moteurs 1re et 2e gen requièrent multiples composants, résultant en footprint trop large pour la plupart environnements edge et IoT. Un moteur lightweight peut être déployé right at the source, éliminant le besoin d'envoyer tout le flux across le réseau pour processing. Cette proximité réduit dramatiquement la latence et adresse le challenge de périssabilité.

Le stream processing 3e gen peut handle live, raw data at scale, délivrant insights instantanément et permettant actions qui capitalisent sur la valeur fugace de l'info temps réel.

Streaming en pratique

Une foreuse est un symbole quintessentiel du secteur énergie, pourtant ses coûts d'opération sont élevés et tout downtime peut sévèrement impacter le bottom line. Des insights préventifs peuvent dramatiquement réduire les pertes.

SigmaStream se spécialise dans flux data haute fréquence générés pendant le forage. Leurs foreuses sont équipées de douzaines de capteurs capturant vibrations minutes. Le volume peut atteindre 60 à 70 canaux haute fréquence entrant le système de stream processing.

En traitant cette data en temps réel, SigmaStream permet aux opérateurs d'agir instantanément — ajustant paramètres forage on the fly — pour prévenir échecs et downtime. Couplé avec un moteur streaming 3e gen et les bons outils analytiques, les opérateurs peuvent monitorer vibrations quasi imperceptibles. Résultat : clients ont économisé millions de dollars et réduit temps sur site jusqu'à 20 %.

À l'ère digitale, la latence est le nouveau downtime. Le stream processing est le prochain pas logique pour organisations qui doivent ingérer l'info plus vite, permettre actions plus rapides, et répondre à la demande croissante pour data temps réel. En mainstreamant le stream processing, les entreprises peuvent prospérer dans un monde dominé par applications ultra-haute-performance et délivrer info time-sensitive qui rencontre les attentes montantes.

L'auteur est Kelly Herrell, CEO de Hazelcast