Optimiser les données fichiers pour les data lakes cloud : guide pratique

Une stratégie de data lake cloud est une évolution naturelle pour les organisations IT d'entreprise lourdes en données qui passent au cloud, car elle élève le cloud d'un casier de stockage de données bon marché à un endroit où les données peuvent être exploitées pour de nouvelles valeurs et monétisées.

Si 2020 et 2021 étaient les années d'accélération cloud rapide, 2022 sera l'année où les entreprises commencent à sérieusement amener les données de fichiers non structurées dans les data lakes cloud. Il y a quelques raisons derrière cette tendance. Premièrement, les organisations sont assises sur des pétaoctets de données non structurées, qui comprennent au moins 80 % des 64 zettaoctets de données (et croissant) en stockage dans le monde aujourd'hui. La plupart de cela est des données fichiers – des images médicales au streaming vidéo, données de capteurs des voitures électriques et produits IoT et les documents que les gens utilisent dans chaque secteur pour collaborer et faire des affaires.

Deuxièmement, les données fichiers deviennent ingérables, coûteuses à stocker et les DSI savent qu'ils sont assis sur une mine d'or potentielle d'insights si seulement ils pouvaient déterminer comment les mettre aux bons endroits pour l'analyse. Finalement, les plateformes cloud majeures investissent massivement dans les outils d'analytique/ML/IA et les niveaux de stockage objet à coût réduit pour supporter les projets de data lake.

Voir aussi : Data Lakes, Données Séries Temporelles, et Analytique Industrielle

La maturation des data lakes vers le cloud

Activer les data lakes est l'un des objectifs principaux que les managers IT priorisent, avec la sécurité, la gestion des coûts et la visibilité, selon une étude récente que nous avons menée. Le cloud a bouleversé les stratégies traditionnelles de data lake, qui ont commencé quand les entreprises voulaient analyser des données semi-structurées comme CSV et fichiers log. En 2006, Hadoop est né, et a gagné une adoption généralisée juste au moment où les conversations Big Data commençaient à circuler. Pourtant, Hadoop s'est éventuellement avéré plus lent et plus cher que prévu, compliqué à configurer, scaler et gérer et principalement conçu pour le traitement par lots. Pour résoudre ces problèmes, Apache Spark est entré en scène, s'exécutant jusqu'à 100x plus vite pour certaines charges de travail et bien adapté pour l'analyse temps réel. Important, le focus d'entreprises comme Databricks était de faire tourner Spark dans le cloud, alors qu'Hadoop était principalement implémenté sur site.

Dans les dernières années, les plateformes de data lake basées sur le cloud ont mûri et sont maintenant prêtes pour le prime time. Le stockage objet scale-out moins cher des fournisseurs cloud livre une plateforme pour des projets massifs à l'échelle du pétaoctet qui n'est simplement pas viable sur site. Les data lakes de nouvelle génération sont construits sur Apache Spark pour supporter le stockage de données S3 ou objet, rendant possible l'ingestion et le traitement de données semi-structurées et non structurées. Le stockage de fichiers est aussi en transition vers le cloud et doit être exploité comme partie d'un data lake cloud, donc toutes les données ne sont peut-être pas en stockage objet.

Une stratégie de data lake cloud est une évolution naturelle pour les organisations IT d'entreprise lourdes en données qui passent au cloud, car elle élève le cloud d'un casier de stockage de données bon marché à un endroit où les données peuvent être exploitées pour de nouvelles valeurs et monétisées.

Comment apprivoiser le data lake cloud

Bien que ce soient encore les premiers jours pour les data lakes cloud, inclure les données fichiers dans votre data lake est impératif, car les modèles d'apprentissage automatique requièrent de grandes quantités pour générer des résultats significatifs. Pourtant, ces données non structurées ne sont pas standardisées entre types de fichiers : fichiers vidéo, fichiers audio, données capteurs, logs ne partagent pas une structure commune. Et déverser toutes ces données fichiers n'importe comment dans la plateforme de data lake cloud n'est pas une stratégie sage, mais un gâchis à nettoyer plus tard. Malgré leur promesse, il y a beaucoup de risques avec les data lakes, allant des coûts de gestion élevés, lacunes de compétences, préoccupations de sécurité et gouvernance, problèmes de portabilité en déplaçant données entre clouds et plateformes de stockage et l'inquiétude de longue date du data lake devenant un marais quand les données deviennent trop grosses et emmêlées pour être recherchées et analysées.

Voici quelques considérations quand on s'engage à amener les données fichiers dans un data lake cloud pour éviter ou minimiser les conflits.

1. Optimisez le data lake. Avant que toute donnée puisse être analysée, elle doit être nettoyée, normalisée et classée, ce qui peut être un processus hautement manuel contribuant aux dépassements de coûts et au lent time-to-value. Cela a toujours été un défi pour une initiative d'entrepôt de données et la même chose s'applique aux data lakes et data lakehouses. Les data lakes sont attrayants car ils peuvent ingérer les données dans leur format natif ; requérir une optimisation avant de mettre les données dans le lac détruit cette facilité d'usage. Comment pouvez-vous optimiser automatiquement les données fichiers sans requérir un changement de comportement utilisateur ? La clé pour optimiser les données fichiers est les métadonnées : l'information sur les types de fichiers, dates de création et dernier accès, propriétaires, projets et emplacement. La capacité d'indexer et taguer automatiquement les fichiers sur les propriétés de métadonnées évitera les problèmes de marais de données et rendra plus facile la recherche et la segmentation plus tard, par opposition à juste laisser les data lakes non gérés.
2. Utilisez l'indexation des métadonnées pour trouver des jeux de données précis pour des besoins spécifiques. Les outils qui peuvent indexer les fichiers et rechercher les métadonnées à travers le stockage (incluant sur site, edge et emplacements cloud) peuvent réduire des milliards de fichiers à quelques milliers pour que vous n'envoyez que les fichiers précis que vous voulez analyser vers le cloud.
3. Taguez les données au fur et à mesure pour une recherche et utilisabilité améliorées. Une fois que vous trouvez les fichiers dont vous avez besoin, vous pouvez alors utiliser un système d'apprentissage automatique pour affiner davantage la recherche avec plus de tags. Ce processus doit être continu et automatisé, donc au fil du temps une structure additionnelle est développée et une recherche plus facile vient à votre data lake avec une qualité globale plus élevée.
4. Accueillez l'edge. Comme l'edge computing grandit grâce à de nouveaux cas d'usage depuis les données capteurs, le streaming de données depuis l'edge va devenir intenable. Comment pouvez-vous traiter plus de données à l'edge et prendre juste ce dont vous avez besoin dans un data lake cloud ? Le pré-traitement edge deviendra plus critique alors que les volumes de données edge grandissent.
5. Créez des taxonomies par industrie. Il n'y a pas de nomenclature de tagging standard pour chaque industrie. Avoir quelques classifications de tagging communes par secteur rendra les données plus faciles à rechercher et extraire, surtout dans les environnements collaboratifs comme la recherche et les sciences de la vie.
6. Adressez la mobilité des données. Pour être véritablement mobile, les données devraient pouvoir résider dans différents systèmes à travers des environnements cloud hybrides tout en accédant nativement aux services dans ces environnements. Débloquer les données des systèmes de stockage propriétaires rend le contrôle à l'IT et élimine les frais et tracas de déplacer les données d'une plateforme à l'autre. La façon dont les données sont utilisées et accédées et sa valeur changent avec le temps. En pérennisant vos données, vous pouvez vous adapter au changement et aux nouvelles exigences. Les solutions indépendantes de mobilité et gestion de données peuvent aider ici.
7. Construisez la bonne culture. Les organisations IT leaders continuent d'identifier la culture – personnes, processus, organisation, gestion du changement – comme le plus grand obstacle à devenir des organisations data-driven, selon la recherche 2021 de New Vantage Partners. Une culture data-driven doit s'étendre non juste aux analystes et lignes métier mais aux équipes d'infrastructure IT. Les leaders IT devront jouer un rôle pour aider les professionnels du stockage de données, serveurs et réseautage à réorienter leurs responsabilités et tâches quotidiennes vers un cadre de prise de décision data-centrique. Les outils et processus devraient être cross-fonctionnels, permettant une vue holistique des actifs de données de l'organisation et collaboration autour des stratégies pour gérer ces actifs pour le gain organisationnel.

Les data lakes cloud ont gagné en popularité car les données peuvent être ingérées dans leur format natif sans le pré-traitement extensif nécessaire pour les entrepôts de données. Le revers est que les data lakes sont devenus des marais de données particulièrement pour les données de fichiers non structurées, car ces données n'ont pas de structure commune. Analyser les données fichiers devient plus critique avec la montée des moteurs IA/ML qui s'y reposent. Les data lakes cloud peuvent être optimisés pour les données non structurées sans détruire leur attrait d'ingérer les données en format natif en automatisant l'indexation, recherche, collecte et optimisation des données fichiers.