Ascend prévisualise un outil : Rationaliser la gestion des pipelines de données pour des insights plus rapides et fiables

Les Dataflows Interrogeables (Queryable Dataflows) réduiront significativement une grande partie de l'overhead manuel aujourd'hui associé à la gestion des DataOps.

L'une des choses qui conspirent le plus pour rendre l'IT bien moins agile que quiconque le veut ou l'apprécie est tout le temps et effort qui vont dans la construction manuelle de pipelines de données. Non seulement c'est un défi de construire ces pipelines en premier lieu, mais déchiffrer comment ils fonctionnent et ont été implémentés peut prendre des jours et des semaines.

Pour rendre plus simple la modification de pipelines de données existants, Ascend fournit maintenant une prévisualisation technique d'un outil qui permet aux équipes IT de lancer des requêtes directement contre des pipelines de données construits en utilisant le service Autonomous Dataflow Service récemment lancé de l'entreprise, qui rend plus simple la création de pipelines en utilisant des outils déclaratifs sur des instances du framework de calcul en mémoire Apache Spark hébergées sur clouds publics fournis par Amazon Web Services (AWS), Microsoft, ou Google.

Voir aussi : DataOps : L'antidote aux pipelines de données congestionnés

Baptisés Queryable Dataflows, cette nouvelle capacité réduira significativement une grande partie de l'overhead manuel aujourd'hui associé à la gestion des DataOps, dit le CEO d'Ascend Sean Knapp.

Les Queryable Dataflows rendent possible pour les équipes DataOps d'explorer et profiler de grands jeux de données bruts incrémentalement pendant qu'ils construisent. Cette capacité non seulement rend plus simple la construction de nouveaux pipelines plus vite, elle peut aussi être employée pour s'assurer que les résultats sont des résultats précis avant d'exposer les données aux applications en aval.

Les pipelines sont maintenant capables de gérer le staging et l'exploration d'une façon qui décharge ces activités du data warehouse. En plus, des requêtes interactives peuvent immédiatement être déplacées en production comme étapes au sein du Autonomous Dataflow Service pour éliminer le recodage et le retraitement.

Les Queryable Dataflows aident aussi à optimiser l'analytique opérationnelle et le reporting. Les analystes et data scientists peuvent aussi se connecter directement aux étapes de pipeline sans avoir à d'abord charger les données dans un warehouse, ce qui signifie qu'ils peuvent employer leurs outils préférés pour accéder aux données.

Les générations précédentes d'outils pour gérer les outils de pipeline de données sont, par comparaison, peu plus que des planificateurs de jobs glorifiés, dit Knapp.

DataOps comme discipline IT est sous pression accrue parce que le taux de changement qui se produit dans les environnements IT s'est accéléré. Grâce en partie à la montée des processus DevOps et microservices, le taux auquel les pipelines de données doivent être optimisés ou mis à jour a exponentiellement augmenté. Les mises à jour manuelles des pipelines de données créeront des points de friction très prévisibles entre DataOps et DevOps, dit Knapp.

« DataOps et DevOps ont besoin d'être harmonisés », dit Knapp.

En fait, ce manque d'harmonie est ce qui mène les développeurs à souvent essayer de contourner l'équipe IT interne en employant une base de données open source pour construire une application pour découvrir avec le temps que cette base de données ne scale pas pour rencontrer les demandes de l'application. Puis ils finissent par devoir réengager les équipes IT internes pour déplacer cette application sur une plateforme comme Apache Spark ou quelque autre base de données.

Il n'est pas clair à quel degré DataOps et DevOps pourraient un jour converger. Pour l'instant, les deux domaines sont susceptibles de rester des domaines à part entière. Cependant, il est aussi abondamment clair que les processus DataOps ont besoin de s'améliorer au point où la construction de pipelines de données n'est plus un goulot d'étranglement majeur freinant la modernisation de l'IT.