Créer une IA responsable et digne de confiance

Scott Zoldi de FICO

Alors que l'utilisation de l'IA devient encore plus omniprésente, les data scientists et les organisations simplement « faire de leur mieux » ne suffiront plus. Scott Zoldi, expert en IA chez FICO explique qu'avec la montée en puissance des défenseurs de l'IA, une IA responsable sera l'attente et la norme.

Ces dernières années, les données et l'IA sont devenues largement utilisées dans une multitude d'industries pour éclairer et façonner les stratégies et les services, des soins de santé et de la vente au détail à la banque et à l'assurance. Et plus récemment, l'IA s'est imposée dans le traçage dans la bataille contre le coronavirus.

Cependant, les volumes croissants de données générées numériquement, associés à la nécessité d'une prise de décision automatisée rendue possible par l'IA, posent de nouveaux défis, pour les entreprises et les gouvernements, avec un accent croissant sur le raisonnement derrière les algorithmes de prise de décision de l'IA.

Au fur et à mesure que l'IA éloigne la prise de décision des personnes concernées par la décision, les décisions peuvent sembler devenir plus insensibles, voire insouciantes. Il n'est pas rare que les organisations citent des données et des algorithmes pour justifier des décisions impopulaires et cela peut être une source de préoccupation lorsqu'il s'agit de dirigeants respectés commettant des erreurs.

Voici quelques exemples :le chatbot en ligne raciste et offensant de Microsoft en 2016, le système de recrutement d'IA d'Amazon qui a ignoré les candidatures féminines en 2018 et la voiture Tesla qui s'est écrasée en pilote automatique après avoir confondu un camion avec une plaque de rue suspendue en 2019.

En plus du potentiel de prise de décision incorrecte, il y a aussi le problème du biais de l'IA. En conséquence, de nouvelles réglementations ont été introduites pour protéger les droits des consommateurs et surveiller de près les développements de l'IA.

Les piliers de l'IA responsable

Les organisations doivent maintenant appliquer une IA robuste. Pour ce faire, ils doivent renforcer et définir leurs normes avec trois piliers d'une IA responsable :l'explicabilité, la responsabilité et l'éthique. Avec ces éléments en place, les organisations de tous types peuvent être sûres de prendre des décisions numériques judicieuses.

Explicabilité :Une entreprise qui s'appuie sur un système de décision d'IA doit s'assurer qu'elle a mis en place une construction algorithmique qui capture les relations entre les variables de décision pour arriver à une décision commerciale. Avec l'accès à ces données, une entreprise peut expliquer pourquoi le modèle a pris la décision qu'elle a prise - par exemple, a signalé une transaction comme un risque élevé de fraude. Cette explication peut ensuite être utilisée par des analystes humains pour approfondir l'enquête sur les implications et l'exactitude des décision.

Responsabilité :Les modèles d'apprentissage automatique doivent être construits correctement et en mettant l'accent sur les limites de l'apprentissage automatique et une réflexion approfondie sur les algorithmes utilisés. La technologie doit être transparente et conforme. La réflexion dans le développement des modèles garantit que les décisions sont sensées, par exemple les scores s'adaptent de manière appropriée à un risque croissant.

Au-delà de l'IA explicable, il y a le concept d'IA humble - garantissant que le modèle est utilisé uniquement sur les exemples de données similaires aux données sur lesquelles il a été formé. Lorsque ce n'est pas le cas, le modèle peut ne pas être digne de confiance et il faut passer à un autre algorithme.

Éthique :En s'appuyant sur l'explicabilité et la responsabilité, les modèles éthiques doivent avoir été testés et toute discrimination supprimée. Les architectures d'apprentissage automatique explicables permettent d'extraire les relations non linéaires qui cachent généralement le fonctionnement interne de la plupart des modèles d'apprentissage automatique. Ces relations non linéaires doivent être testées, car elles sont apprises sur la base des données sur lesquelles le modèle a été formé et ces données sont trop souvent implicitement pleines de biais sociétaux. Les modèles éthiques garantissent que les préjugés et la discrimination sont explicitement testés et supprimés.

Forces qui appliquent une IA responsable

Construire des modèles d'IA responsables prend du temps et un travail minutieux, avec un examen minutieux continu crucial pour appliquer une IA responsable et continue. Cet examen doit inclure la réglementation, l'audit et le plaidoyer.

Les réglementations sont importantes pour établir la norme de conduite et l'état de droit pour l'utilisation des algorithmes. Cependant, les réglementations finales sont respectées ou non et la démonstration de l'alignement avec la réglementation nécessite un audit.

Démontrer la conformité à la réglementation nécessite un cadre pour la création de modèles auditables et de processus de modélisation. Ces documents d'audit comprennent le processus de développement du modèle, les algorithmes utilisés, les tests de détection de biais et la démonstration de l'utilisation de décisions et de notations raisonnables. Aujourd'hui, les audits de processus de développement de modèles sont effectués de manière aléatoire.

De nouveaux systèmes d'audit de développement de modèles basés sur la blockchain sont introduits pour appliquer et enregistrer des normes de développement de modèles immuables, des méthodes de test et des résultats. En outre, ils sont utilisés pour enregistrer les contributions détaillées des approbations des scientifiques des données et de la direction tout au long du cycle de développement du modèle.

Pour l'avenir, les organisations « faire de leur mieux » avec les données et l'IA ne suffiront pas. Avec la montée en puissance des défenseurs de l'IA et les souffrances réelles infligées en raison des résultats erronés des systèmes d'IA, une IA responsable sera bientôt l'attente et la norme dans tous les domaines et dans le monde.

Les organisations doivent appliquer une IA responsable dès maintenant et renforcer et définir leurs normes d'explicabilité, de responsabilité et d'éthique de l'IA pour s'assurer qu'elles se comportent de manière responsable lorsqu'elles prennent des décisions numériques.

L'auteur est le Dr Scott Zoldi, directeur des analyses chez FICO .

À propos de l'auteur

Le Dr Scott Zoldi est directeur de l'analyse chez FICO. Chez FICO, Scott a été responsable de la création de 110 brevets d'auteur, dont 56 accordés et 54 en instance. Scott est activement impliqué dans le développement de nouveaux produits d'analyse et d'applications d'analyse de Big Data, dont beaucoup tirent parti de nouvelles innovations analytiques en continu telles que l'analyse adaptative, le profilage collaboratif et l'analyse d'auto-étalonnage. Scott siège à deux conseils d'administration, Software San Diego et Cyber ​​Center of Excellence. Scott a obtenu son doctorat. en physique théorique et informatique de l'Université Duke.