Les limites inhérentes à l'IA appellent à un état d'esprit de sécurité "à l'avance"

En tant qu'ancien ingénieur en électronique haute puissance, j'ai conçu et testé des alimentations haute tension pour une grande variété d'applications, des premiers prototypes de systèmes de balayage CAT aux accélérateurs de particules. J'ai fait la même chose avec des systèmes à micro-ondes haute puissance pour tout, des simulateurs pour tester les effets du radar sur l'électronique sensible des avions à un extrême au traitement du granola à l'autre. Pendant plus de 30 ans, j'ai manipulé des dizaines de kilovolts de tension continue et des dizaines de kilowatts de puissance micro-ondes.

Blog d'Ed

Après des décennies de travail en tant qu'EE, Ed Brown de SAE Media Group est bien engagé dans sa deuxième carrière :rédacteur technique.

"J'ai réalisé, en repensant à mes jours d'ingénierie et en regardant toutes les dernières et meilleures en tant qu'éditeur, j'ai beaucoup de réflexions sur ce qui se passe maintenant à la lumière de mes expériences d'ingénierie, et j'aimerais partager certaines d'entre elles maintenant .” .

Tout devait être conçu avec des marges de sécurité aussi grandes que possible et dans le but d'être à l'abri des pannes. Cela signifiait penser à l'avance aux façons possibles dont le système pourrait tomber en panne et concevoir de manière à minimiser le risque qu'une panne cause des blessures ou des dommages. Par exemple, nous avons utilisé des « pieds de biche » électroniques qui court-circuiteraient en toute sécurité la sortie en quelques microsecondes si un capteur signalait une augmentation soudaine du courant de charge. Mais c'était un système actif, qui ne fonctionnait pas en cas de panne de courant. Nous avons donc utilisé un pied-de-biche mécanique de secours, maintenu par un électroaimant comme protection à sécurité intégrée. Si l'alimentation de la ligne d'entrée tombait en panne, une barre métallique tomberait sur la sortie. C'était important car même sans électricité, il pouvait y avoir des quantités dangereuses d'énergie stockées dans les batteries de condensateurs - quelque chose que j'ai découvert par moi-même lorsque j'ai reçu un choc d'une alimentation électrique que je pensais être éteinte en toute sécurité.

C'est avec cet état d'esprit que je pense à l'intelligence artificielle (IA). Je ne crains pas que l'IA remplace l'intelligence humaine et nous transforme tous en robots. Mais je crains de trop m'y fier, en particulier dans au moins deux domaines :les applications de sécurité dans les systèmes avancés d'aide à la conduite (ADAS) et les véhicules autonomes et le diagnostic des maladies.

Donc, cela a attiré mon attention lorsque j'ai lu sur les "limitations inhérentes" à l'IA . Des chercheurs de l'Université de Cambridge et de l'Université d'Oslo affirment que les réseaux de neurones qui traitent l'IA peuvent être instables dans certaines conditions et que l'incertitude ne peut pas être résolue en ajoutant simplement plus de données d'entraînement. Selon les chercheurs, nous avons besoin de plus de travaux théoriques pour mieux comprendre les mathématiques du calcul de l'IA. Pour obtenir des résultats plus fiables, vous devez comprendre la source particulière de l'erreur et modifier la méthode d'IA pour la corriger.

Des chercheurs de l'Université de Californie à Berkeley et de l'Université du Texas à Austin ont remarqué un problème lorsqu'ils n'ont pas réussi à reproduire les résultats prometteurs d'une étude d'imagerie médicale. "Après plusieurs mois de travail, nous avons réalisé que les données d'image utilisées dans l'article avaient été prétraitées", a déclaré le chercheur principal de l'étude, Michael Lustig, professeur de génie électrique et d'informatique à l'UC Berkeley.

C'était la source des ennuis. "Nous voulions sensibiliser le public au problème afin que les chercheurs puissent être plus prudents et publier des résultats plus réalistes", a déclaré Lustig.

Ils ont découvert que l'inexactitude était due à l'utilisation d'une base de données publique biaisée pour entraîner le système. Les chercheurs ont inventé le terme "délits de données implicites" pour décrire les résultats de recherche qui résultent du développement d'algorithmes à l'aide d'une méthodologie défectueuse.

Dans une séance de questions-réponses avec Billy Hurley, directeur éditorial de SAE Digital, le professeur Eckehard Steinbach de l'Université technique de Munich (TUM) a décrit des situations automobiles potentiellement critiques que les modèles d'IA "ne sont peut-être pas capables de reconnaître ou n'ont pas encore découverts". Par exemple, un schéma de freinage répété peut être une conduite régulière par temps chaud, mais peut indiquer un désengagement imminent si les routes sont verglacées et glissantes. De tels modèles peuvent être difficiles à reconnaître.

Mais du bon côté, l'équipe de Steinbach a développé une technologie de sécurité qui apprend de manière introspective de ses propres erreurs précédentes. "Si la voiture entre dans une situation pour laquelle elle n'a pas été entraînée, des problèmes peuvent survenir", a déclaré Steinbach. "De telles nouvelles scènes provoquent une intervention humaine, ce qui conduit à utiliser ces scènes comme données de formation pour notre approche. Alors que notre méthode peut alors aider à détecter un tel nouvel environnement difficile la prochaine fois qu'il est rencontré, en détectant et en gérant correctement une scène entièrement nouvelle la première fois qu'il est rencontré reste une tâche difficile.”

Ce que je retiens de tout cela, c'est que l'IA peut accélérer et améliorer le diagnostic médical. Cela peut également aider à rendre les véhicules beaucoup plus sûrs sur la route. Mais vous devez faire très attention à vos méthodes.

Il est essentiel de penser comme un ingénieur haute tension lorsque vous concevez un système d'IA :pensez à l'avance aux façons possibles dont le système pourrait échouer et concevez-le dans le but de minimiser les chances que cela se produise. Et si une panne se produit, essayez de réduire les risques de blessures ou de dommages.

Êtes-vous d'accord ? Partagez vos questions et commentaires ci-dessous.

En savoir plus sur le blog d'Ed :Concevoir de l'extérieur vers l'intérieur contre l'intérieur