L'IA révèle des objets invisibles dans l'obscurité totale grâce aux réseaux de neurones profonds

• Des chercheurs du MIT utilisent des réseaux de neurones profonds pour révéler des objets invisibles dans l'obscurité complète.
• Il peut imager des cellules et tissus biologiques sans les exposer à des rayons nocifs et à une lumière intense.

La plupart des systèmes d'imagerie ne produisent que des données déformées ou partielles sur l'objet imagé. Cela se produit principalement en raison du manque d'information de phase, de la perte de fréquences spatiales, du bruit dans l'illumination et de diffuseurs inconnus dans le trajet optique.

Au cours des dernières années, une technique d'apprentissage automatique appelée réseau de neurones profond a attiré beaucoup d'attention dans le domaine de l'imagerie computationnelle. Elle s'est avérée être un solveur efficace dans une variété d'applications, y compris l'imagerie fantôme, l'optique adaptative, la microscopie à illumination adaptative, la récupération de phase, la tomographie optique et l'imagerie sous-échantillonnée.

Pour la première fois, une équipe de chercheurs du MIT a utilisé des réseaux de neurones profonds pour résoudre un problème de récupération de phase cohérente affecté par un bruit élevé à différents niveaux. En langage simple, ils ont découvert une méthode pour révéler des objets invisibles dans l'obscurité totale.

C'est très différent des techniques « mode nuit » existantes basées sur l'IA trouvées dans le smartphone Google Pixel 3, qui peut capturer plusieurs images bruitées et produire des photos claires, mais qui nécessite un peu de lumière pour commencer. La technique du MIT, en revanche, fonctionne dans une pièce entièrement sombre. Elle nécessite seulement un photon par pixel.

Comment ont-ils fait cela ?

Les chercheurs ont d'abord capturé des images des objets cibles dans des conditions presque totalement noires. Ils ont ensuite recréé des objets transparents à partir de ces images. Pour ce faire, ils ont utilisé des réseaux de neurones profonds, entraînés à reconnaître plus de 10 000 gravures transparentes semblables à du verre à partir d'images sombres et granuleuses invisibles à l'œil humain.

Référence : Physical Review Letters | doi:10.1103/PhysRevLett.121.243902 | MIT

Les images elles-mêmes, capturées dans une pièce sombre, ressemblaient au bruit statique que vous pourriez voir sur une télévision. Les réseaux de neurones sont entraînés sur ces images ainsi que sur les motifs correspondants sous le bruit visuel.

Progressivement, le réseau a appris à donner du sens au bruit visuel. Il a finalement généré des images floues. Pour rendre ces images plus claires, l'équipe a ajouté une couche qui peut focaliser la sortie.

Avec l'aimable autorisation des chercheurs

Dans l'image ci-dessus, vous pouvez voir l'image sombre (en haut à gauche), qui est générée à partir d'une gravure transparente (extrême droite). Les chercheurs ont utilisé un algorithme basé sur la physique du comportement de la lumière pour recréer l'objet (en haut à droite). La technique d'apprentissage automatique a créé une image assez floue (en bas à gauche). Ils ont combiné à la fois l'algorithme physique et la technique d'apprentissage automatique pour reconstruire l'image la plus précise (en bas à droite) d'un objet/scène réel.

Comment est-ce utile ?

L'IA pourrait être utilisée pour illuminer des caractéristiques transparentes comme les cellules et tissus biologiques, dans des images capturées avec très peu de lumière. Les cellules peuvent être facilement brûlées ou endommagées si elles sont exposées à une lumière intense, et il ne restera alors rien à imager. De plus, lorsque les patients sont exposés aux rayons X, ils ont des chances de développer un cancer.

À lire : Existe-t-il quelque chose appelé photons noirs | La particule hypothétique

Cette étude pourrait aider dans de tels cas : les chercheurs ont rendu possible d'obtenir la même qualité d'image en exposant les cellules et tissus à moins de photons. Cela diminue significativement les dommages aux spécimens biologiques lors de leur échantillonnage. De plus, la technologie pourrait offrir une gamme d'applications potentiellement utiles dans le domaine de l'imagerie astronomique.