Capteur intelligent piloté par l'IA : détection ultra-rapide des signatures spectrales dans les cultures et les feuilles

Laboratoire national Lawrence Berkeley, Berkeley, Californie

Des scientifiques du Berkeley Lab ont développé un capteur intelligent qui « renifle » d'abord les caractéristiques spectrales d'intérêt dans des objets d'exemple — ici un type de culture (ci-dessus) ou une feuille (ci-dessous). Il recherche ensuite les cibles spécifiées dans un nouvel environnement — qu'il n'a jamais vu auparavant — tout en évitant un traitement numérique fastidieux. (Image : Ali Javey/Berkeley Lab)

L'imagerie spectrale révolutionnée par l'IA embarquée

Les outils d'imagerie spectrale — des caméras qui capturent des couleurs au-delà du spectre RVB visible à l'œil nu — sont essentiels pour obtenir des informations sur les propriétés matérielles et structurelles d'un objet. Leur association avec l'apprentissage automatique a fourni un pipeline puissant pour identifier des caractéristiques dans des applications réelles, notamment la fabrication de semi-conducteurs, le suivi des polluants et la surveillance des cultures.

En intégrant des algorithmes d'IA directement dans le capteur de la caméra, des chercheurs du Laboratoire national Lawrence Berkeley (Berkeley Lab), relevant du Département de l'Énergie, ont éliminé un goulot d'étranglement de traitement des données qui nuisait depuis longtemps aux performances de la technologie d'imagerie spectrale. Résultat : un capteur intelligent capable d'identifier des produits chimiques et de caractériser des matériaux rapidement et efficacement.

Un bond de deux ordres de grandeur

« Nous nous sommes concentrés sur l'amélioration de la vitesse, de la résolution et de l'efficacité énergétique des technologies existantes de vision machine spectrale de plus de deux ordres de grandeur », a déclaré Ali Javey, le scientifique qui a dirigé l'étude publiée dans Science. Javey est scientifique principal au Berkeley Lab et professeur de science et génie des matériaux à l'UC Berkeley. Les travaux ont été réalisés en étroite collaboration avec Aydogan Ozcan à l'UCLA.

La conception du capteur illustre comment de nouvelles fonctionnalités peuvent être intégrées dans les dispositifs semi-conducteurs eux-mêmes pour améliorer leur efficacité et leur utilité, et permettre une nouvelle classe de matériel de vision par IA.

Le problème des architectures actuelles

Les technologies d'imagerie spectrale actuelles comportent des modules de capteur et de calcul séparés. Le capteur capture d'abord une pile d'images, chacune correspondant à une certaine couleur. Cette pile d'images dense est ensuite envoyée à un processeur numérique pour un calcul supplémentaire, qui produit les résultats d'identification d'objets. C'est là que surgissent les problèmes.

« Les capteurs doivent collecter et envoyer beaucoup plus de données au processeur numérique que les caméras normales, environ dix à cent fois plus volumineuses », a expliqué Dehui Zhang, postdoctorant à la division des sciences des matériaux du Berkeley Lab et auteur principal de l'étude. Par conséquent, le matériel du capteur et de l'ordinateur est souvent submergé, rendant les tâches de reconnaissance d'objets extrêmement lentes et gourmandes en énergie.

Calcul pendant la photodétection

L'équipe du Berkeley Lab a plutôt développé des capteurs qui effectuent le calcul d'IA et l'analyse spectrale pendant la capture d'image — ou photodétection — elle-même.

« La photodétection peut être perçue comme un processus computationnel physique automatique », a expliqué Zhang. Lorsque la lumière frappe le capteur, son intensité est automatiquement convertie en la force d'un courant électrique. Comme la responsivité du capteur à la lumière peut être facilement ajustée, les chercheurs disposent d'un bouton de réglage pour sélectionner les signatures spectrales à mettre en avant et celles à supprimer. Le courant qui quitte le capteur pour être lu par un circuit sert donc d'inférence sur le contenu spectral de l'image.

« Nous avons prouvé que le processus computationnel ressemble mathématiquement à un algorithme généralement utilisé pour l'apprentissage automatique numérique », a déclaré Zhang. Cette analogie a permis d'utiliser le capteur comme un ordinateur d'apprentissage automatique et d'effectuer les calculs d'apprentissage automatique sur la lumière incidente elle-même.

Donner de l'intelligence aux capteurs

« Pour moi, la partie la plus excitante est le concept de donner de l'intelligence aux capteurs », a déclaré Javey. Les capteurs normaux collectent simplement des informations environnementales brutes, laissant les tâches de reconnaissance intelligente aux processeurs numériques.

En co-concevant les matériaux semi-conducteurs, les dispositifs et les algorithmes, l'équipe a permis aux capteurs d'apprendre et de calculer sans avoir besoin de post-traitement numérique des données.

Applications au-delà de l'identification d'oiseaux

Mais les applications de cette technologie vont bien au-delà de l'identification d'oiseaux. En utilisant des photodiodes au phosphore noir, les chercheurs ont démontré expérimentalement plusieurs autres possibilités intrigantes. Ils ont identifié avec succès l'épaisseur des couches d'oxyde dans des échantillons de semi-conducteurs — que les géants de la fabrication doivent rendre parfaitement uniformes — ainsi que les états d'hydratation dans différentes feuilles de plantes, la segmentation d'objets dans des images optiques et des produits chimiques transparents dans une boîte de Pétri.

« Je suis optimiste quant à l'avenir de tels dispositifs pour des applications plus larges », a déclaré Javey. À l'avenir, ces capteurs intelligents pourraient trouver leur place non seulement dans la vision machine spectrale, mais aussi dans « d'autres détections optiques avancées et au-delà ».

Pour plus d'informations, contactez cette adresse e-mail protégée contre les robots spammeurs. Vous devez activer JavaScript pour la visualiser.