Pourquoi l'IA a besoin d'une approche proactive de la sécurité : leçons de 30+ ans d'ingénierie électronique haute puissance

En tant qu'ancien ingénieur en électronique de haute puissance, j'ai conçu et testé des alimentations haute tension pour une grande variété d'applications, des premiers systèmes de scanner CAT prototypes aux accélérateurs de particules. J'ai fait de même avec des systèmes micro-ondes de haute puissance pour tout, des simulateurs pour tester les effets du radar sur l'électronique sensible des avions à une extrémité, au traitement de granola à l'autre. Pendant plus de 30 ans, j'ai manipulé des dizaines de kilovolts de tension continue et des dizaines de kilowatts de puissance micro-ondes.

Le Blog d'Ed

Après des décennies de travail comme ingénieur EE, Ed Brown du SAE Media Group est bien dans sa deuxième carrière : Rédacteur Tech.

« En regardant en arrière vers mes jours d'ingénieur et en regardant tout le dernier cri en tant que rédacteur, j'ai beaucoup de pensées sur ce qui se passe maintenant à la lumière de mes expériences d'ingénieur, et je voudrais en partager quelques-unes maintenant. » .

Tout devait être conçu avec des marges de sécurité aussi grandes que pratiques et avec l'objectif d'être à sécurité intrinsèque (fail-safe). Cela signifiait penser à l'avance aux façons possibles dont le système pourrait échouer et concevoir pour minimiser la chance qu'un échec cause des blessures ou des dommages. Par exemple, nous utilisions des « barres de court-circuit » électroniques qui mettraient en court-circuit la sortie en toute sécurité en microsecondes si un capteur signalait une augmentation soudaine du courant de charge. Mais c'était un système actif, qui ne fonctionnerait pas en cas de panne de courant. Alors, nous utilisions une barre de court-circuit mécanique de secours, maintenue par un électroaimant comme protection à sécurité intrinsèque. Si l'alimentation secteur échouait, une barre métallique tomberait à travers la sortie. C'était important car même sans alimentation, il pourrait y avoir des quantités dangereuses d'énergie stockées dans des banques de condensateurs — quelque chose que j'ai découvert effroyablement par moi-même quand j'ai reçu un choc d'une alimentation que je pensais être en sécurité hors tension.

C'est avec cet état d'esprit que je pense à l'intelligence artificielle (IA). Je ne m'inquiète pas que l'IA déplace l'intelligence humaine et nous transforme tous en robots. Mais je m'inquiète de trop compter sur elle, surtout dans au moins deux domaines : les applications de sécurité dans les systèmes avancés d'aide à la conduite (ADAS) et les véhicules autonomes, et le diagnostic médical.

Alors, cela a attiré mon attention quand j'ai lu sur les « limitations inhérentes » de l'IA . Des chercheurs de l'Université de Cambridge et de l'Université d'Oslo affirment que les réseaux neuronaux qui traitent l'IA peuvent être instables sous certaines conditions, et que l'incertitude ne peut pas être corrigée en ajoutant simplement plus de données d'entraînement. Selon les chercheurs, nous avons besoin de plus de travail théorique pour mieux comprendre les mathématiques de l'informatique IA. Pour obtenir des résultats plus fiables, vous devez comprendre la source particulière d'erreur et changer la méthode IA pour la corriger.

Des chercheurs de l'Université de Californie, Berkeley, et de l'Université du Texas à Austin ont remarqué un problème  lorsqu'ils n'ont pas réussi à reproduire les résultats prometteurs d'une étude d'imagerie médicale. « Après plusieurs mois de travail, nous avons réalisé que les données d'image utilisées dans l'article avaient été prétraitées », a déclaré l'enquêteur principal de l'étude Michael Lustig, professeur de génie électrique et d'informatique à UC Berkeley.

C'était la source du problème. « Nous voulions sensibiliser au problème pour que les chercheurs puissent être plus prudents et publier des résultats plus réalistes », a dit Lustig.

Ils ont découvert que l'inexactitude était causée par l'utilisation d'une base de données publique biaisée pour entraîner le système. Les chercheurs ont inventé le terme « crimes de données implicites » pour décrire les résultats de recherche qui résultent lorsque des algorithmes sont développés en utilisant une méthodologie défectueuse.

Dans une Q&R avec Billy Hurley, Responsable Éditorial Digital SAE, le Professeur Eckehard Steinbach de l'Université Technique de Munich (TUM) a décrit des situations automobiles potentiellement critiques que les modèles d'IA « peuvent ne pas être capables de reconnaître, ou n'ont pas encore découvertes ». Par exemple, un motif de freinage répété pourrait être une conduite régulière par temps chaud mais pourrait indiquer un désengagement imminent si les routes sont glacées et glissantes. De tels motifs peuvent être difficiles à reconnaître.

Mais du côté positif, l'équipe de Steinbach a développé une technologie de sécurité qui apprend introspectivement de ses propres erreurs passées. « Si la voiture entre dans une situation pour laquelle elle n'a pas été entraînée, des problèmes peuvent survenir », a dit Steinbach. « De telles scènes nouvelles causent une intervention humaine, ce qui conduit à ces scènes étant utilisées comme données d'entraînement pour notre approche. Bien que notre méthode puisse alors aider à détecter un tel nouvel environnement difficile la prochaine fois qu'il est rencontré, détecter et gérer correctement une scène entièrement nouvelle la première fois qu'elle est rencontrée reste une tâche difficile. »

Mon enseignement de tout cela est que l'IA peut accélérer et améliorer le diagnostic médical. Elle peut aussi aider à rendre les véhicules beaucoup plus sûrs sur la route. Mais vous devez faire attention à vos méthodes.

Il est vital de penser comme un ingénieur haute tension quand vous concevez un système IA : pensez à l'avance aux façons possibles dont le système pourrait échouer et concevez-le avec l'objectif de minimiser les chances que cela se produise. Et si un échec se produit, visez à réduire les chances de blessures ou de dommages.

Êtes-vous d'accord ? Partagez vos questions et commentaires ci-dessous.

Lisez plus du Blog d'Ed : Concevoir de l'extérieur vers l'intérieur vs de l'intérieur vers l'extérieur