Données non structurées : le coût caché pour les industries – Comment les transformer en valeur

Dans chaque industrie, les ingénieurs et scientifiques des données cherchent à mieux exploiter les données cachées dans les partages de fichiers et verrouillées dans différents systèmes. Ils ont besoin de ces données pour créer des workflows pour les outils d'IA et d'analytique afin d'en apprendre davantage sur leurs marchés, créer de nouveaux produits et services, ou améliorer les opérations métier et les relations clients.

L'autre côté de l'équation est que les données d'entreprise apportent un risque ample qui n'est pas bien compris par le métier, ni même au sein de l'IT. Par exemple :

• Le stockage et les sauvegardes de données représentent au moins 30 % de la plupart des budgets IT quand l'argent doit être dépensé en innovation, cybersécurité et excellentes expériences client ;
• La plupart des données non structurées ne sont pas exploitées pour la valeur métier ;
• Un large pourcentage de données non structurées, jusqu'à 80 %, est rarement utilisé et occupe un espace de stockage coûteux ;
• De nombreuses organisations n'ont pas de politiques claires de rétention et suppression, ni n'effectuent d'exercices réguliers de nettoyage de leurs données de peur que les départements ne réagissent mal. Les données dupliquées seules peuvent facilement constituer 30 à 40 % de l'empreinte de données moyenne de l'entreprise ;
• Les domaines de données non structurées non gérés et inconnus à travers les silos IT hybrides créent des risques supplémentaires de sécurité et conformité.

Voici un aperçu de plusieurs industries et de leurs exigences et défis de gestion de données, tirés de nos années de travail avec des clients sur des stratégies de gestion de données non structurées.

Santé : Réduire les coûts sans couper l'accès aux données vitales

La santé est une bête de données. Selon certaines estimations, les organisations de santé sont les plus grands producteurs de données au monde, principalement grâce au volume d'une variété d'images cliniques et de données machine. La maîtrise des coûts est et a toujours été un mandat crucial dans la santé, et encore plus maintenant avec les changements de remboursement Medicare. Les organisations de santé font également face à des réglementations strictes de rétention des données et des difficultés à supprimer des données en raison d'exigences légales et de recherche.

Un grand système de santé, gérant plus de 16 Po de stockage NAS, s'est tourné vers la gestion de données non structurées pour analyser et archiver les données froides vers Azure Blob, réduisant la pression sur ses systèmes de stockage primaires. Sans interrompre les utilisateurs, l'organisation IT a déplacé plus de 2 Po de données, aidant à retarder les rafraîchissements matériels coûteux.

Pour les organisations avec des exigences de chaîne de custody, communes dans les industries réglementées comme la santé, la visibilité sur l'emplacement des fichiers et les métadonnées est critique. Enfin, la conformité étant un besoin permanent compte tenu de la haute sensibilité autour des données patients, la visibilité, la recherche et l'audit complets des données non structurées donnent aux directeurs IT de santé un plus grand contrôle pour réduire les risques.

Sciences de la vie : Transformer le chaos des données en accélération de la recherche

Les organisations des sciences de la vie sont également l'un des secteurs produisant le plus de données. Elles traitent souvent des millions de fichiers petits mais à haute valeur, des pics de données imprévisibles et le besoin de rétention à long terme sans politiques de suppression claires. Ces facteurs compliquent la planification de l'infrastructure IT.

Dans les laboratoires biopharmaceutiques et biotech, l'explosion des fichiers image TIF provenant d'instruments scientifiques crée des défis supplémentaires. Dans un exemple, une entreprise est passée de données de recherche stockées localement à un array NAS centralisé. Pour suivre la croissance rapide, l'équipe IT a déployé le tiering cloud vers Azure et a utilisé l'analytique de données pour identifier et déplacer les données obsolètes. Cela a évité le surprovisionnement et a aidé l'IT à soutenir les pipelines de recherche sans goulets d'étranglement.

Les équipes IT d'entreprise ne peuvent généralement pas voir les informations sur leurs données stockées en un seul endroit, a déclaré Anthony Fiore, expert en solutions de stockage chez AWS. La visibilité détaillée, fournie par les logiciels de gestion de données, enthousiasme les gens de l'IT dans les sciences de la vie et d'autres secteurs : « Nous avons des clients avec des partages NAS qui contiennent de nombreux silos de données dans un seul partage, et il est difficile de savoir comment les séparer par ligne de métier ou s'ils se soucient même de ces données. Mais une fois qu'ils voient toutes les métadonnées, ils comprennent mieux comment tout fonctionne, et peuvent alors taguer et rechercher plus tard. »

Services financiers : Éliminer le risque et alimenter l'IA avec des données propres et gouvernées

Les institutions financières opèrent sous des contraintes réglementaires strictes (ex. SEC, FINRA, RGPD) et sont souvent chargées de décennies de croissance de partages de fichiers. L'étalement des données, le contrôle IT décentralisé et la conformité rendent la gestion des données basées sur fichiers extrêmement complexe. De plus, les institutions financières doivent s'assurer que les modèles IA utilisés pour le risque de crédit, la détection de fraude ou le trading sont gouvernés appropriément et exempts de biais et de données obsolètes. Avoir un moyen systématique de comprendre, nettoyer, classifier les données et créer des workflows de données IA sûrs et surveillés est une exigence croissante.

Pour une entreprise d'assurance multinationale, le passage à Azure concernait non seulement les économies de coûts mais aussi la modernisation, l'analytique et la préparation à l'IA. Ils ont utilisé la gestion de données non structurées pour réduire les besoins de capacité sur le stockage primaire coûteux dans le centre de données, en tiering plus de 600 To vers le stockage objet cloud à moindre coût. Ils utilisent également des outils basés sur le cloud pour développer des produits d'assurance améliorés par l'IA, les données non structurées formant une partie critique de ces modèles prédictifs. La capacité de classifier et segmenter les données non structurées avant l'ingestion IA est critique pour gérer les coûts et fournir des résultats précis.

Voir aussi : Échapper au piège du stockage de données dans l'intelligence visuelle en temps réel

État et administrations locales : Prolonger la durée de vie de l'infrastructure et renforcer la surveillance des données

Les organisations IT du secteur public ont tendance à avoir une infrastructure vieillissante et un pourcentage plus élevé d'applications legacy que le secteur privé. Elles veulent moderniser, mais les budgets sont généralement serrés, et l'adoption du cloud est minime en raison de politiques de sécurité, ainsi que de mandats légaux exigeant la rétention des données sans chemins de suppression clairs. Les dirigeants IT doivent équilibrer la prestation de service avec des exigences de conformité strictes.

Pour les agences d'État, l'archivage de fichiers vers le cloud aide à réduire la dépendance au matériel vieillissant. La visibilité sur les dates de dernière modification/accès permet à l'IT de ne déplacer que les données rarement consultées hors du stockage haute performance. Dans le même temps, l'intégration des systèmes de stockage et de gestion de données avec les outils de sécurité et conformité est critique pour assurer un accès sécurisé et auditable. Bien que l'adoption du tiering de données reste prudente, de nombreuses agences utilisent les rapports pour construire le cas pour des politiques de cycle de vie des données non structurées, surtout autour des données départementales stagnantes.

Ingénierie & Architecture : Gagner plus de projets en débloquant la valeur cachée des données

Les entreprises d'ingénierie et de design génèrent des données non structurées à grande échelle, surtout depuis les fichiers CAO, SIG et modélisation 3D. Ces fichiers sont volumineux et difficiles à gérer, surtout à travers des équipes distribuées et des systèmes legacy hérités d'activités M&A. Ces entreprises doivent préserver les données de projets historiques pour la référence, la responsabilité et la réutilisation. Une entreprise mondiale, gérant plus de 6 Po, utilise la gestion de données non structurées pour identifier et déplacer les fichiers de projet de plus de trois ans vers une archive Cloudian, sauvegardée dans Azure. Cela préserve la performance sur les arrays HPE actifs tout en maintenant l'accessibilité. Dans un cas, des requêtes à travers leurs magasins de fichiers les ont aidés à localiser rapidement des données de test de sol pour un projet dans une zone sismique, gagnant du temps et soutenant un design d'infrastructure critique.

Alors qu'ils continuent d'intégrer des acquisitions, l'entreprise utilise l'analytique pour évaluer les nouveaux serveurs de fichiers hérités. Cette visibilité leur permet de prioriser ce qu'il faut retenir, migrer ou archiver. Leur objectif est d'indexer éventuellement toutes les données non structurées, permettant la modélisation basée sur l'IA et réduisant les silos de connaissances à travers les unités métier.

Énergie : Améliorer l'efficacité terrain et la conformité avec des données centralisées

Ces entreprises font face à des contraintes de sites distants, une bande passante variable, la conformité avec les réglementations internationales de sécurité et opérationnelles, et un besoin croissant de soutenir les diagnostics à distance pilotés par les données et les jumeaux numériques.

Dans une entreprise, la décision d'adopter la gestion de données non structurées est venue du besoin de retirer le stockage edge à travers des centaines de sites distants. Avec des logs vidéo, dessins et enregistrements de maintenance offshore s'accumulant, ils ont commencé à archiver les données froides vers Azure pour centraliser et contrôler leurs données non structurées.

Avec des modèles de charge en place, les insights sur les données de fichiers sont devenus cruciaux pour la responsabilité départementale. L'objectif à long terme est de soutenir les workflows de données d'inspection et d'auscultation, comme l'imagerie ROV sous-marine, dans des environnements prêts pour l'IA pour la maintenance prédictive et la conformité.

Semi-conducteurs / Fabrication : Protéger la PI tout en réduisant l'empreinte de stockage coûteuse

Les entreprises de semi-conducteurs doivent protéger la PI de haute valeur, gérer des données distribuées globalement, et adhérer à des exigences strictes de contrôle des exportations et de sécurité tout en assurant aux ingénieurs un accès haute performance aux jeux de données actifs.

Un fabricant mondial de semi-conducteurs utilise un équipement de numérisation hautement spécialisé qui génère d'énormes quantités de données d'images propriétaires. Avec 97 % des données encore stockées sur site, ils avaient besoin d'une méthode efficace pour archiver les anciennes données de numérisation sans compromettre la protection de la PI ou la performance de récupération. En associant la gestion de données non structurées au stockage Cloudian S3, ils ont implémenté des politiques de données froides pour déplacer tout fichier non accédé en 12 mois hors des serveurs primaires. Avec la préservation des liens symboliques et le suivi des métadonnées, l'entreprise a assuré la conformité avec les protocoles internes de gestion de la PI et réduit la dépendance au NAS primaire coûteux.

Conclusion : Transformer les données non structurées en actif métier stratégique

À travers les industries, la gestion des données non structurées n'est plus seulement une tactique d'économie de coûts mais un levier stratégique. Qu'il s'agisse de soutenir les workflows IA dans l'assurance, de maintenir la conformité réglementaire dans la santé, ou de rationaliser l'infrastructure dans la fabrication, les organisations reconnaissent le besoin de combiner la gouvernance des données avec un accès et un mouvement flexibles.