Croiser les flux de données : de Ghostbusters à l'analytique avancée

Exploiter les flux de données – en joignant à la fois les événements batch et temps réel – permet aux data scientists et analystes de résoudre des problèmes sophistiqués.

Les flux individuels fournissent des données liées à une dimension particulière – le prix d'une action, la commande d'un client, la métrique d'un appareil. L'analytique et les applications peuvent être servies par un flux unique de données, mais les usages sont étroits et locaux.

Croiser les flux révèle des possibilités plus grandes, remplies d'historique, de contexte et de signaux connexes. Quand nos héros Ghostbusters (Venkman et la bande) ont dû relever le défi (et vaincre M. Stay Puft), ils ont uni leurs forces – et leurs flux ! Le tout était plus grand que la somme des parties.

Dans notre communauté, les data scientists, analystes et développeurs sont appelés de la même façon à l'action. Exploiter les flux de données – en joignant à la fois les événements batch et temps réel – vous permet d'adresser des problèmes sophistiqués. Et, comme avec Venkman, parfois vous avez besoin que d'autres apportent leur équipement et aident. Voici quatre composants vitaux pour réussir le croisement des flux :

1) Rassembler données, cas d'usage et personnes.

Accélérer l'innovation, maximiser l'efficacité et fournir de la flexibilité sont des priorités établies pour les systèmes de données sophistiqués. Une colonne vertébrale logicielle agile et évolutive réalise ces objectifs. Les composants core open source fournissent l'agilité et l'interopérabilité à long terme primordiales pour le succès.

Les outils évoluent, et parfois vous avez besoin d'utiliser ce nouveau piège à fantômes.

2) Pérenniser votre stack de données avec des formats open source.

La portabilité des données a longtemps été une exigence sacrée pour les équipes data d'entreprise. Les jardins clos créent de la dette future, et le verrouillage fournisseur a un coût long terme non dit, souvent payé en frein métier. Stockez les données en utilisant des formats ouverts.

CSV et JSON sont populaires depuis des années, avec Avro, Protobufs, Parquet, ORC et autres gagnant récemment en popularité. Ils ont chacun leurs raisons d'exister, mais chacun est fondé sur la livraison de données structurées à une pléthore de systèmes indépendants, agnostiques et inconscients de l'informatique en aval.

Alors que l'ampleur des données a augmenté et que les coûts financiers et de latence liés au déplacement des données se sont accumulés, le concept de données ouvertes inclut maintenant les formats en mémoire, pas seulement ceux persistés sur disque. Il est maintenant souvent inacceptable d'exiger que les données soient copiées, déplacées, sérialisées ou traduites de quelque façon que ce soit. En particulier, la communauté significative d'Apache Arrow bénéficie de sa capacité à servir des données en mémoire à une gamme de bibliothèques de traitement de données dans de nombreux langages avec un surcoût minimal, des lectures zero-copy et un accès rapide à grande échelle.

Mais rappelons-nous, dans Ghostbusters, les données n'étaient que le début de l'aventure.

3) Faire de la jointure données temps réel et statiques une exigence fondamentale.

Un moteur de données moderne doit rassembler des données de diverses sources. Le jargon d'entrepôt, de lac, et du centaure lakehouse sont maintenant des images courantes. Cependant, la popularité croissante des flux d'événements est un canari pas si discret suggérant que les données statiques ne sont plus toute l'histoire.

Les données changent. Les charges de travail modernes vivent dans un état de flux. Les données temps réel comptent.

Les moteurs de données et bibliothèques de traitement doivent être architecturés pour adresser et naviguer fluidement entre charges de travail temps réel et statiques. « L'intelligence continue » est une phrase à la mode pour les systèmes qui combinent le contexte de l'historique avec les signaux d'événements du moment. Les systèmes de données modernes devraient être construits pour traiter les données temps réel, les flux d'événements et autres mises à jour comme une compétence de première classe. Ce devraient être des forces centrales, pas des ajouts, pas des réflexions après coup.

Après tout, comme nous l'avons appris dans Ghostbusters, les Gardiens de la Porte et les Maîtres des Clés sont beaucoup moins puissants jusqu'à ce qu'ils soient joints ensemble.

4) Toujours mettre l'utilisateur en premier.

Les utilisateurs de données d'aujourd'hui ont une variété de compétences, outils, workflows et priorités. Rassembler une équipe autour d'une plateforme partagée sert l'individu tout en dynamisant l'équipe. Les systèmes de données qui maximisent l'efficacité des individus et favorisent la collaboration génèrent de la valeur métier.

Le logiciel open data montre la voie. Le mélange intrigant de coopération et de compétition dans les projets open source produit un rythme de progrès et d'ingéniosité inégalé. Organisés pour encourager l'interopérabilité, le développement communautaire promet des améliorations, des intégrations et des mises à niveau de l'expérience utilisateur. Les chemins populaires deviennent des routes pavées. De tels systèmes font des utilisateurs une armée d'un seul tout en soutenant le produit de travail codépendant requis pour tout cas d'usage même modérément complexe.

Après tout, un pack à protons est puissant, mais quatre qui travaillent ensemble sont invincibles.

Je n'ai peur d'aucun fantôme.