Automatiser la qualité des données pour accélérer le succès de l'IA et du ML

Au cours de la dernière décennie, les entreprises ont commencé à saisir et débloquer le potentiel que l'intelligence artificielle (IA) et le machine learning (ML) peuvent apporter. Bien qu'encore à ses débuts, les entreprises commencent à comprendre l'impact significatif que cette technologie peut apporter, les aidant à prendre de meilleures décisions, plus vite et plus efficacement.

Bien sûr, l'IA et le ML ne sont pas une balle d'argent pour aider les business à embrasser l'innovation. En fait, le succès de ces algorithmes n'est bon que comme leurs fondations – spécifiquement, des données de qualité.

Sans cela, les business verront l'objectif même pour lequel ils ont installé l'IA et le ML échouer, avec les conséquences imprévues de mauvaises données causant des dommages irréversibles au business tant en termes d'efficacité que de réputation.

Mais il y a un autre domaine d'exploration qui est mûr pour le développement ; à savoir, la qualité des données peut-elle être améliorée et maintenue par l'automatisation et le machine learning lui-même ?

Le risque de mauvaise qualité de données

Des services de streaming de films, aux chatbots, en passant par l'information de comment les supermarchés arrangent leurs rayons et nous guider à travers les grands hubs de transport, le ML influence nos vies de façons inimaginables il y a une décennie.

Mais que se passe-t-il si l'algorithme est mis au travail sur la fondation d'une mauvaise qualité de données ? Les risques futurs pourraient être bien plus sévères que d'être servi un film qu'on n'aime pas.

Si nous commençons à faire confiance au machine learning pour améliorer la découverte et le test de pharmaceutiques, par exemple, que se passerait-il si un médicament était formulé mais qu'il y avait des erreurs dans les données de composés chimiques utilisées pour simuler les tests ? Les implications pourraient être graves.

Une application émergente du ML qui pourrait aussi être impactée par de mauvaises données de base est les véhicules autonomes. Des cartes et adresses à comment un véhicule réagit à un cycliste, les données utilisées pour enseigner la machine seront cruciales pour l'adoption par consommateurs et régulateurs.

Les algorithmes ML – ces ensembles de règles et calculs qui aident à résoudre des problèmes définis – peuvent soit supporter l'amélioration de la qualité des données, soit être déviés par des données inexactes si la possibilité de mauvaises données n'est pas considérée dans leur construction.

Qualité des données automatisée

Comme avec toute transformation digitale, passer du manuel à l'automatisé puis à l'« intelligent » pour la gestion de la qualité des données nécessitera un plan long-terme. Experian a identifié quatre stades sur la progression de la gestion des données, qu'on appelle la Courbe de Maturité de la Gestion des Données. Unaware, Reactive, Proactive et Optimised & Governed reflètent les quatre stades qui couvrent un cycle complet d'une stratégie de qualité des données.

L'évaluation a révélé une progression constante vers le haut de la courbe de maturité, alors que les organisations commencent à libérer le potentiel des données qu'elles détiennent et à les prendre plus au sérieux. Le plus intriguant de tout, ceux qui se trouvent au stade Optimised & Governed, pourraient voir les débuts d'un autre niveau, quelque chose qui peut être termed « intelligemment automatisé ».

« Intelligemment automatisé » réfère à avoir des systèmes et processus en place pour aider les gens responsables de la qualité des données à identifier où sont leurs plus grandes préoccupations. Nous devrions tous maintenant revoir des métriques de performance clés régulièrement pour identifier des tendances en qualité de données, peut-être en regardant les taux de complétion globaux d'attributs clés, ou en monitorant pour toute préoccupation de timing avec la réception de données ou les étapes de chargement de données. Mais vraiment comprendre votre qualité de données nécessite de prendre un regard plus profond dans le contenu.

Par exemple, est-ce suffisant de dire que vous avez collecté une date de naissance pour rencontrer les exigences de données tierces dans 99 % des cas, quand une grande proportion des dates que vous avez collectées sont system-derived et donc pas de vraies dates de naissance ? Cela peut causer de vrais problèmes et les conséquences non intentionnelles peuvent se répercuter à travers votre processus de prise de décision.

Les prochaines étapes

La plupart des programmes de qualité de données contiennent déjà un élément d'automatisation et de test-and-learn. Le prochain stade dans cette évolution est l'utilisation du machine learning pour automatiquement reconnaître et répondre à différents types de données – « intelligemment automatisé ».

Par exemple, un outil de gestion de données qui peut reconnaître des informations standard comme une adresse, email, numéro de carte de crédit, ou numéro de sécurité sociale avec peu de pré-entraînement ou d'écriture de règles avant de prendre des actions comme valider l'entrée ou flaguer un problème de conformité à un manager.

Le but ultime est le ML pour la qualité des données qui s'améliore lui-même avec le temps. Un bon exemple de ceci est le nom d'entreprise – est-ce que Tesco PLC est le même que Tesco Stores Ltd ? Qu'en est-il d'une partie du groupe Tesco qui n'a pas le mot « Tesco » dans le nom de l'entreprise ?

Grouper des entités commerciales ensemble peut être aussi simple que chercher le nom, ou plus complexe en regardant le détail des comptes de l'entreprise, adresses du siège social, noms des CEO, adresses web et autres métadonnées pour trouver des associations autour du globe.

Ces genres d'hypothèses sont les défis business qu'une forte stratégie de données peut supporter. Cependant, pouvons-nous aller vers un endroit où nous pouvons automatiser cet apprentissage et améliorer notre qualité de données avec le temps avec moins d'effort manuel, donnant à nos gens de données plus de temps pour analyser et supporter le business ?

C'est le challenge pour le ML – prendre les règles de base pour la qualité des données, les implémenter et puis suggérer des améliorations alors que les changements réels dans les données deviennent visibles comme exceptions ou outliers. C'est un sujet émergent et un qu'on s'attend à voir beaucoup de développement dans les années à venir.

Votre stratégie de données

Fondamentalement, chaque exemple de ML repose sur des données qui sont fit for purpose – si pas ces données, et comme conséquence, les décisions qui sont faites à cause d'elles, ne peuvent pas être trusted.

Pour éviter cela, les organisations ont besoin de s'assurer qu'elles ont une stratégie de données robuste. Pensez aux raisons pour embarquer sur le ML ; quels sont les outcomes explicables qu'ils veulent atteindre et éviter ?

Alors, en conduisant une évaluation initiale de vos données pour sense-check la qualité de ce qu'ils ont déjà, l'organisation peut prendre action et planifier pour quoi d'autre ils ont besoin afin d'améliorer la qualité globale de leurs données.

Être capable d'identifier et tracer les décisions faites via ML – et tous les processus de prise de décision automatisés – est vital s'ils veulent être adoptés et implémentés avec succès.

Le monitoring continu de la qualité des données est aussi crucial. En faisant cela, vous serez capable d'identifier vite quelles zones ont besoin d'attention et d'être rassuré que vous êtes dans la meilleure position possible avec les initiatives ML actuelles et potentielles.

Alors, les organisations seront en position pour que le ML leur permette de gérer leur qualité de données plus efficacement, rendant leurs processus de prise de décision plus rapides et meilleurs.

En poussant cela à sa conclusion logique, utiliser le machine learning peut nous aider à identifier ces préoccupations de données qui restent cachées jusqu'à ce qu'elles deviennent un vrai problème. Si nous pouvons entraîner des modèles pour identifier les attributs clés qui peuvent influencer une décision ou processus down the line, et puis monitorer pour des fluctuations ou patterns préoccupants, nous pourrions même être capables de prédire l'impact que ces préoccupations de données pourraient avoir sur votre business.

Par exemple, si nous savons que le nombre de chambres dans une propriété impacte directement les décisions dans notre business, et nous établissons que nous avons des données incomplètes ou approximées dans ce champ à une certaine échelle qui empire, pourrions-nous prédire, basé sur où nous savons que les données sont utilisées, estimations de revenus locatifs, évaluations hypothécaires, ou prédictions de consommation de chauffage ?

L'impact de cette préoccupation croissante de qualité de données, pourrait aider à construire le business case pour la faire corriger maintenant plutôt que quand c'est un vrai problème.