Outil Ascend Previews pour simplifier la gestion du pipeline de données

Les flux de données interrogeables réduiront considérablement une grande partie des frais généraux manuels associés aujourd'hui à la gestion des DataOps.

L'une des choses qui contribuent le plus à rendre l'informatique beaucoup moins agile que quiconque le souhaite ou l'apprécie est tout le temps et les efforts consacrés à la construction manuelle de pipelines de données. Non seulement c'est un défi de construire ces pipelines en premier lieu, mais déchiffrer comment ils fonctionnent et ont été mis en œuvre peut prendre des jours et des semaines.

Pour simplifier la modification des pipelines de données existants, Ascendis fournit désormais un aperçu technique d'un outil qui permet aux équipes informatiques de lancer des requêtes directement sur les pipelines de données construits à l'aide du service de flux de données autonome récemment lancé par la société, ce qui simplifie la création de pipelines à l'aide d'outils déclaratifs sur des instances de le framework de calcul en mémoire Apache Spark hébergé sur des clouds publics fourni par Amazon Web Services (AWS), Microsoft ou Google.

Voir aussi : DataOps :l'antidote pour les pipelines de données encombrés

Surnommée Queryable Dataflows, cette nouvelle fonctionnalité réduira considérablement une grande partie des frais généraux manuels associés aujourd'hui à la gestion des DataOps, déclare le PDG d'Ascend, Sean Knapp.

Les flux de données interrogeables permettent aux équipes DataOps d'explorer et de profiler de grands ensembles de données brutes au fur et à mesure de leur construction. Cette capacité simplifie non seulement la construction plus rapide de nouveaux pipelines, mais elle peut également être utilisée pour garantir que les résultats sont exacts avant d'exposer les données aux applications en aval.

Les pipelines sont désormais capables de gérer la mise en scène et l'exploration d'une manière qui décharge ces activités de l'entrepôt de données. De plus, les requêtes interactives peuvent être immédiatement mises en production en tant qu'étapes au sein du service AutonomousDataflow afin d'éliminer le recodage et le retraitement.

Les flux de données interrogeables permettent également d'optimiser les analyses opérationnelles et les rapports. Les analystes de données et les scientifiques peuvent également se connecter directement aux étapes du pipeline sans avoir à charger au préalable les données dans un entrepôt, ce qui signifie qu'ils peuvent utiliser leurs outils préférés pour accéder aux données.

Les générations précédentes d'outils de gestion des pipelines de données ne sont, en comparaison, guère plus que des planificateurs de tâches glorifiés, déclare Knapp.

Le DataOps en tant que discipline informatique subit une pression accrue car le rythme des changements qui se produisent dans les environnements informatiques s'est accéléré. Grâce en partie à l'essor des processus DevOps et des microservices, le rythme auquel les pipelines de données doivent être optimisés ou mis à jour a augmenté de façon exponentielle. Les mises à jour manuelles des pipelines de données créeront des points de friction très prévisibles entre DataOps et DevOps, déclare Knapp.

"DataOps et DevOps doivent être harmonisés", déclare Knapp.

En fait, ce manque d'harmonie est ce qui amène les développeurs à essayer souvent de mettre fin à la gestion de l'équipe informatique interne en utilisant une base de données open source pour créer une application, pour découvrir au fil du temps que la base de données ne s'adapte pas aux exigences de l'application. Ensuite, ils finissent par devoir recontacter les équipes informatiques internes pour déplacer cette application sur une plate-forme telle qu'ApacheSpark ou une autre base de données.

On ne sait pas dans quelle mesure DataOps et DevOps pourraient un jour converger. Pour l'instant, les deux domaines sont susceptibles de rester des domaines sur eux-mêmes. Cependant, il est également tout à fait clair que les processus DataOps doivent être améliorés au point où la construction de pipelines de données n'est plus un goulot d'étranglement majeur qui freine la modernisation de l'informatique.