ETSI dévoile le premier plan de standard de sécurité pour l'IA

L'ETSI, l'organisme européen qui définit les standards pour les télécoms, la radiodiffusion et les communications électroniques, a publié un rapport de 24 pages qui pose les bases d'un standard unifié de sécurité pour l'IA.

Le rapport, intitulé ETSI GR SAI 004 et produit par le Groupe de Spécification Industrielle pour la Sécurisation de l'Intelligence Artificielle (SAI ISG), commence par articuler le problème central : comment sécuriser les systèmes pilotés par l'IA. Il se concentre sur l'apprentissage machine et examine confidentialité, intégrité et disponibilité tout au long du cycle de vie complet du ML. Le document met aussi en lumière des enjeux plus larges comme les biais, l'éthique et l'explicabilité, et recense les vecteurs d'attaque courants avec des exemples réels.

Pour cadrer la discussion, le SAI ISG définit l'intelligence artificielle comme la capacité d'un système à traiter des représentations explicites ou implicites et à accomplir des tâches qui seraient jugées intelligentes si réalisées par un humain. Bien que cette définition couvre un large spectre, le rapport se concentre sur le sous-ensemble le plus pratique — l'apprentissage machine — porté par les avancées en deep learning, l'abondance de données et la puissance de calcul croissante.

Les paradigmes ML courants couverts incluent :

• Apprentissage supervisé — toutes les données d'entraînement sont étiquetées, permettant au modèle d'apprendre une correspondance entrées-sorties.
• Apprentissage semi-supervisé — seule une partie des données est étiquetée, permettant au modèle de s'améliorer en exploitant échantillons étiquetés et non étiquetés.
• Apprentissage non supervisé — le modèle découvre la structure dans des données non étiquetées, comme des regroupements ou clusters.
• Apprentissage par renforcement — des agents apprennent une politique par interaction avec un environnement, optimisant un signal de récompense.

Les réseaux de neurones profonds dominent le paysage, avec des couches qui émulent le circuitry du cerveau humain. Les techniques d'entraînement comme l'apprentissage adversarial — où le jeu de données contient à la fois des échantillons authentiques et des échantillons adverses délibérément conçus — sont aussi explorées.

« Il y a beaucoup de discussions sur l'éthique de l'IA mais aucune sur les standards pour sécuriser l'IA. Pourtant, ils deviennent critiques pour assurer la sécurité des réseaux automatisés basés sur l'IA », déclare Alex Leadbeater, président de l'ETSI SAI ISG. « Ce premier rapport vise à fournir une définition complète des défis rencontrés lors de la sécurisation de l'IA. »

Leadbeater a ajouté à embedded.com : « Une estimation raisonnable pour les spécifications techniques est de 12 mois supplémentaires. Nous publierons des rapports additionnels dans les trimestres à venir — Ontologie des menaces IA, Rapport sur la chaîne d'approvisionnement des données, et rapport sur la stratégie d'atténuation SAI. La première spécification de tests de sécurité devrait apparaître d'ici la fin du T2/T3. »

Structure du rapport

Après avoir défini l'IA et le ML, le rapport plonge dans la chaîne de traitement des données, abordant confidentialité, intégrité et disponibilité à chaque étape — de l'acquisition, la curation, la conception du modèle et la construction logicielle, jusqu'à l'entraînement, les tests, le déploiement, l'inférence et les mises à niveau.

Les données peuvent provenir de capteurs (ex: vidéosurveillance, téléphones mobiles, dispositifs médicaux) ou d'actifs numériques (plateformes de trading, documents, fichiers logs). Elles peuvent être du texte, images, vidéo ou audio, structurées ou non. La sécurité doit couvrir à la fois les données elles-mêmes et leur transmission et stockage.

Par exemple, pendant la curation des données, l'intégrité des jeux de données doit être préservée lors de leur réparation, augmentation ou conversion. En ML supervisé, un étiquetage précis et complet est critique ; les attaques d'empoisonnement qui corrompent les étiquettes peuvent dégrader sévèrement la performance du modèle. Le biais reste une préoccupation majeure, et des techniques comme l'augmentation de données doivent être scrutées pour leurs impacts potentiels sur l'intégrité.

Les défis de conception autour du biais, l'éthique des données et l'explicabilité sont aussi examinés. Le biais peut émerger non seulement pendant l'entraînement mais aussi après le déploiement, comme illustré par un chatbot de 2016 qui a commencé à tweeter du contenu offensant suite à une manipulation malveillante de son compte. Bien que le biais ne soit pas en soi une faille de sécurité, il sape la confiance des utilisateurs et peut mener à des défaillances fonctionnelles.

Les considérations éthiques sont mises en lumière via des exemples comme les véhicules autonomes et la santé. Un incident de 2018 à Tempe, Arizona, où une voiture autonome a heurté un piéton, a souligné des dilemmes juridiques et éthiques. Le projet Moral Machine du MIT, lancé en 2016, explore comment les humains réagissent aux choix moraux algorithmiques, informant comment les machines devraient agir.

Le rapport souligne que les préoccupations éthiques, bien que distinctes des attributs de sécurité traditionnels (confidentialité, intégrité, disponibilité), façonnent la perception de fiabilité par les utilisateurs et doivent être intégrées dans la conception de l'IA.

Enfin, le rapport catalogue les types d'attaques — incluant empoisonnement, backdoor et rétro-ingénierie — et présente des cas d'usage et incidents réels.

Une attaque d'empoisonnement manipule le modèle pendant l'entraînement pour qu'il se comporte comme l'attaquant le souhaite. Vecteurs courants :

• Empoisonnement de données — injection de données incorrectes ou mal étiquetées pendant la collecte ou la curation.
• Empoisonnement d'algorithme — falsification de l'algorithme d'apprentissage lui-même, comme manipuler les contributions en federated learning.
• Empoisonnement de modèle — remplacement du modèle déployé par une variante malveillante.

L'évolution de l'IA — depuis ses origines à Dartmouth dans les années 1950 jusqu'aux applications modernes — a mené à des menaces comme les attaques anti-bloqueurs de pub, l'obfuscation de malwares, deepfakes et usurpation de chatbots.

Quelle suite ? Rapports en cours dans le cadre de ce ISG

Les futurs travaux approfondiront plusieurs domaines critiques :

Tests de sécurité

Ce travail vise à définir objectifs, méthodes et techniques pour tester les composants IA. Les lignes directrices considéreront l'IA symbolique vs sous-symbolique, le non-déterminisme, le problème de l'oracle de test et le comportement piloté par les données. Sujets :

• Approches de tests de sécurité pour l'IA
• Données de test axées sécurité pour l'IA
• Oracles de test adaptés aux sorties IA
• Critères d'adéquation pour les tests de sécurité IA
• Objectifs de test d'attributs de sécurité pour l'IA

Les résultats s'appuieront sur la future Ontologie des menaces IA pour adresser les menaces pertinentes.

Ontologie des menaces IA

Ce livrable créera une taxonomie partagée des menaces spécifiques à l'IA, les différenciant des menaces système traditionnelles. Il alignera la terminologie entre parties prenantes et industries, couvrant attaquants, défenseurs et systèmes IA.

Rapport sur la chaîne d'approvisionnement des données

Puisque les données d'entraînement sont le sang vital de l'IA, sécuriser leur chaîne d'approvisionnement est primordial. Ce rapport examinera les pratiques actuelles d'approvisionnement en données, cadres réglementaires, standards et protocoles, et effectuera une analyse des écarts pour proposer des exigences de traçabilité, intégrité et confidentialité des données d'entraînement.

Stratégie d'atténuation SAI

Résumant les atténuations existantes et potentielles, ce rapport fournira des lignes directrices pour défendre les systèmes IA contre les menaces identifiées, décrivant capacités de sécurité, défis et limitations pour cas d'usage spécifiques.

Le rôle du matériel dans la sécurité IA

Le matériel — spécialisé et généraliste — joue un rôle pivot dans la protection de l'IA. Le rapport cataloguera les atténuations matérielles, exigences pour une IA sécurisée, et opportunités d'utiliser l'IA pour la défense matérielle, tout en notant les vulnérabilités matérielles qui pourraient amplifier les attaques IA.

Le rapport complet de l'ETSI définissant l'énoncé du problème pour la sécurisation de l'IA est disponible ici.