Un capteur alimenté par l'IA détecte les signatures spectrales dans les cultures et les feuilles à une vitesse inégalée

Laboratoire national Lawrence Berkeley, Berkeley, Californie

Les scientifiques du Berkeley Lab ont développé un capteur intelligent qui « détecte » d’abord les caractéristiques spectrales intéressantes dans des exemples d’objets – ici un type de culture (ci-dessus) ou de feuille (ci-dessous). Il recherche ensuite les cibles spécifiées dans un nouvel environnement, qu’il n’a jamais vu auparavant, tout en évitant un traitement numérique fastidieux. (Image :Ali Javey/Laboratoire de Berkeley)

Les outils d’imagerie spectrale – des caméras qui capturent des couleurs au-delà du spectre RVB visible à nos yeux – sont essentiels pour glaner des informations sur les propriétés matérielles et structurelles d’un objet. Leur association avec l'apprentissage automatique a fourni un pipeline puissant pour identifier les fonctionnalités d'applications réelles, notamment la fabrication de semi-conducteurs, le suivi des polluants et la surveillance des cultures.

En intégrant des algorithmes d’IA dans le capteur de la caméra lui-même, les chercheurs du laboratoire national Lawrence Berkeley du ministère de l’Énergie (Berkeley Lab) ont désormais éliminé un goulot d’étranglement dans le traitement des données qui gênait depuis longtemps les performances de la technologie d’imagerie spectrale. Le résultat est un capteur intelligent capable d'identifier les produits chimiques et de caractériser les matériaux rapidement et efficacement.

"Nous nous sommes concentrés sur l'amélioration de la vitesse, de la résolution et de l'efficacité énergétique des technologies de vision industrielle spectrales existantes de plus de deux ordres de grandeur", a déclaré Ali Javey, le scientifique qui a dirigé l'étude scientifique sur l'appareil. Javey est chercheur principal au Berkeley Lab et professeur de science et d'ingénierie des matériaux à l'UC Berkeley. Le travail a été réalisé en étroite collaboration avec Aydogan Ozcan de l'UCLA.

La conception du capteur illustre comment de nouvelles fonctionnalités peuvent être intégrées aux dispositifs à semi-conducteurs eux-mêmes pour améliorer leur efficacité et leur utilité, et permettre une nouvelle classe de matériel de vision IA.

Les technologies d’imagerie spectrale actuelles disposent de modules de capteur et de calcul séparés. Le capteur capture d’abord une pile d’images dont chacune correspond à une certaine couleur. Ensuite, la pile d'images denses est envoyée à un processeur numérique pour un calcul ultérieur, qui produit les résultats d'identification de l'objet. C'est là que les problèmes surviennent.

"Les capteurs doivent collecter et envoyer beaucoup plus de données au processeur numérique que les caméras normales, soit un volume environ dix à cent fois plus important", a déclaré Dehui Zhang, postdoctorant à la division des sciences des matériaux du laboratoire de Berkeley et auteur principal de l'étude. Par conséquent, le capteur et le matériel informatique sont souvent surchargés, ce qui rend les tâches de reconnaissance d'objets extrêmement lentes et gourmandes en énergie.

Au lieu de cela, l'équipe du Berkeley Lab a développé des capteurs qui effectuent des calculs d'IA et des analyses spectrales pendant le processus de capture d'image (ou photodétection) lui-même.

"La photodétection peut être perçue comme un processus de calcul physique automatique", a expliqué Zhang. Lorsque la lumière atteint le capteur, son intensité est automatiquement mappée à la force d'un courant électrique. Étant donné que la réactivité du capteur à la lumière peut être facilement ajustée, les chercheurs disposent d’un bouton de réglage permettant de sélectionner les signatures spectrales à mettre en évidence et celles à supprimer. Le courant qui quitte le capteur pour être lu par un circuit sert donc d'inférence sur le contenu spectral de l'image.

"Nous avons prouvé que le processus informatique ressemble mathématiquement à un algorithme généralement utilisé pour l'apprentissage automatique numérique", a déclaré Zhang. Cette analogie a permis d'utiliser le capteur comme un ordinateur d'apprentissage automatique et d'effectuer les calculs d'apprentissage automatique sur la lumière entrante elle-même.

"Pour moi, la partie la plus excitante est le concept consistant à donner de l'intelligence aux capteurs", a déclaré Javey. Les capteurs normaux collectent simplement des informations environnementales brutes, laissant les tâches de reconnaissance intelligente aux processeurs numériques.

En co-concevant les matériaux semi-conducteurs, les dispositifs et les algorithmes, l'équipe a permis aux capteurs d'apprendre et de calculer sans avoir besoin de post-traitement numérique des données.

Mais les applications de cette technologie vont bien au-delà de l’identification des oiseaux. En utilisant des photodiodes de phosphore noir, les chercheurs ont démontré expérimentalement plusieurs autres possibilités intrigantes. Ils ont réussi à identifier les épaisseurs de couche d'oxyde dans les échantillons de semi-conducteurs – dont les géants de la fabrication ont besoin pour être parfaitement uniformes – ainsi que les états d'hydratation dans différentes feuilles de plantes, la segmentation des objets dans les images optiques et les produits chimiques transparents dans une boîte de Pétri.

"Je suis optimiste quant à l'avenir de tels dispositifs pour des applications plus larges", a déclaré Javey. À l'avenir, les capteurs intelligents pourraient trouver leur place non seulement dans la vision industrielle spectrale, mais également dans « d'autres capteurs optiques avancés et au-delà ».

Pour plus d'informations, contactez Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer Javascript pour le visualiser..