Qu'il s'agisse de Ghostbusting ou d'analyse de données :traversez les flux

L'exploitation des flux de données (en joignant les événements par lots et en temps réel) permet aux data scientists et aux analystes de résoudre des problèmes sophistiqués.

Les flux individuels fournissent des données liées à une dimension particulière - le prix d'un stock, la commande d'un client, la métrique d'un appareil. Les analyses et les applications peuvent être servies par un seul flux de données, mais les utilisations sont limitées et locales.

Traverser des flux dévoile de plus grandes possibilités, remplies d'histoire, de contexte et de signaux associés. Lorsque nos héros de Ghostbuster (Venkman et le gang) ont dû relever le défi (et vaincre M. Stay Puft), ils ont uni leurs forces et diffusé ! Le tout était supérieur à la somme des parties.

Dans notre communauté, les scientifiques des données, les analystes et les développeurs sont également appelés à l'action. L'exploitation des flux de données - en joignant les événements par lots et en temps réel - vous permet de résoudre des problèmes sophistiqués. Et, comme avec Venkman, vous avez parfois besoin que d'autres personnes apportent leur équipement et leur aide. Voici quatre éléments essentiels pour réussir la traversée des cours d'eau :

1) Rassemblez les données, les cas d'utilisation et les personnes.

Accélérer l'innovation, maximiser l'efficacité et fournir de la flexibilité sont des priorités établies pour les systèmes de données sophistiqués. Une dorsale logicielle agile et évolutive permet d'atteindre ces objectifs. Les composants de base open source offrent l'agilité et l'interopérabilité à long terme essentielles au succès.

Les outils évoluent et parfois vous devez utiliser ce nouveau piège fantôme.

2) Pérennisez votre pile de données avec des formats open source.

La portabilité des données est depuis longtemps une exigence sacrée pour les équipes de données d'entreprise. Les jardins clos créent une dette future, et le blocage des fournisseurs a un coût à long terme inexprimé, souvent payé en retard commercial. Stockez les données à l'aide de formats ouverts.

CSV et JSON sont importants depuis des années, Avro, Protobuffs, Parquet, Orc et d'autres ont récemment gagné en popularité. Ils ont des raisons d'exister respectives, mais chacun est fondé sur la fourniture de données structurées à une pléthore de systèmes indépendants, agnostiques et inconscients de l'informatique en aval.

Comme l'ampleur des données a augmenté et que les coûts financiers et de latence liés au déplacement des données se sont aggravés, le concept de données ouvertes inclut désormais les formats en mémoire, et pas seulement ceux qui persistaient sur le disque. Il est maintenant souvent inacceptable d'exiger que les données soient copiées, déplacées, sérialisées ou traduites de quelque manière que ce soit. En particulier, l'importante communauté d'Apache Arrow bénéficie de sa capacité à fournir des données en mémoire à une gamme de bibliothèques de traitement de données dans de nombreux langages avec une surcharge minimale, des lectures sans copie et un accès rapide à grande échelle.

Mais rappelons-nous, dans Ghostbusters, les données n'étaient que le début de l'aventure.

3) Faites de l'association de données en temps réel et statiques une exigence fondamentale.

Un moteur de données moderne doit rassembler des données provenant de diverses sources. Le jargon de l'entrepôt, du lac et de la maison du lac ressemblant à un centaure sont désormais des images courantes. Cependant, la popularité croissante des flux d'événements est un canari pas si silencieux suggérant que les données statiques ne sont plus tout.

Les données changent. Les charges de travail modernes vivent dans un état de flux. Les données en temps réel sont importantes.

Les moteurs de données et les bibliothèques de traitement doivent être architecturés pour gérer et passer de manière fluide entre les charges de travail de données en temps réel et statiques. « L'intelligence continue » est une expression à la mode pour les systèmes qui combinent le contexte de l'histoire avec les signaux d'événements du moment. Les systèmes de données modernes doivent être conçus pour traiter les données en temps réel, les flux d'événements et d'autres mises à jour en tant que compétence de premier ordre. Ceux-ci doivent être des points forts, pas des ajouts, pas des réflexions après coup.

Après tout, comme nous l'avons appris dans Ghostbusters, les Gatekeepers et les Key Masters sont beaucoup moins puissants tant qu'ils ne sont pas réunis.

4) Faites toujours passer l'utilisateur en premier.

Les utilisateurs de données d'aujourd'hui ont une variété de compétences, d'outils, de flux de travail et de priorités. Coaliser une équipe autour d'une plateforme partagée sert l'individu tout en dynamisant l'équipe. Les systèmes de données qui maximisent l'efficacité des individus et favorisent la collaboration génèrent de la valeur commerciale.

Les logiciels de données ouvertes ouvrent la voie. Le mélange intrigant de coopération et de compétition dans des projets ouverts donne un rythme de progrès et d'ingéniosité inégalé. Organisé pour encourager l'interopérabilité, le développement communautaire promet des améliorations, des intégrations et des mises à niveau de l'expérience utilisateur. Les chemins populaires deviennent des routes goudronnées. De tels systèmes font des utilisateurs une armée tout en prenant en charge le produit de travail codépendant requis pour tout cas d'utilisation, même moyennement complexe.

Après tout, un pack de protons est puissant, mais quatre travaillant ensemble sont invincibles.

Je n'ai pas peur des fantômes.