Caméra 3D champ de lumière multispectrale portable par impression jet d'encre pour imagerie avancée

Optica, Washington D.C.

Les chercheurs ont utilisé l'impression jet d'encre pour créer une version multispectrale d'une caméra à champ de lumière, qui tient dans la paume de la main. La caméra 3D pourrait être utile pour des applications telles que la conduite autonome, la classification de matériaux recyclés et la télédétection. (Image : Maximilian Schambach, Institut de technologie de Karlsruhe)

Acquisition simultanée 3D et spectrale

Les chercheurs ont utilisé l'impression jet d'encre pour créer une version compacte multispectrale d'une caméra à champ de lumière. La caméra, qui tient dans la paume de la main, pourrait être utile pour de nombreuses applications, y compris la conduite autonome, la classification de matériaux recyclés et la télédétection.

L'information spectrale 3D peut être utile pour classer les objets et matériaux ; cependant, capturer l'information spatiale 3D et spectrale d'une scène nécessite généralement plusieurs dispositifs ou des processus de balayage intensifs en temps. Cette nouvelle caméra à champ de lumière résout le défi en acquérant simultanément l'information 3D et les données spectrales en une seule prise de vue.

« À notre connaissance, c'est la version la plus avancée et intégrée d'une caméra à champ de lumière multispectrale », a dit le chef de l'équipe de recherche Uli Lemmer de l'Institut de technologie de Karlsruhe en Allemagne. « Nous l'avons combinée avec de nouvelles méthodes d'IA pour reconstruire la profondeur et les propriétés spectrales de la scène pour créer un système de capteur avancé pour l'acquisition d'information 3D. »

Dans le journal Optics Express, les chercheurs rapportent que la nouvelle caméra et les méthodes de reconstruction d'image peuvent être utilisées pour distinguer les objets dans une scène basés sur leurs caractéristiques spectrales. L'utilisation de l'impression jet d'encre pour fabriquer les composants optiques clés de la caméra permet de la personnaliser facilement ou de la fabriquer en grands volumes.

« Les données 3D reconstruites à partir d'images de caméra trouvent une utilisation répandue dans la réalité virtuelle et augmentée, les voitures autonomes, la robotique, les dispositifs domotiques intelligents, la télédétection et d'autres applications », a dit Michael Heizmann, membre de l'équipe de recherche. « Cette nouvelle technologie pourrait, par exemple, permettre aux robots de mieux interagir avec les humains ou améliorer la précision de la classification et de la séparation des matériaux dans le recyclage. Elle pourrait aussi être potentiellement utilisée pour classifier des tissus sains et malades. »

Fabrication par impression jet d'encre

Les caméras à champ de lumière, aussi appelées caméras plénoptiques, sont des dispositifs d'imagerie spécialisés qui capturent la direction et l'intensité des rayons lumineux. Après l'acquisition d'image, le traitement computationnel est utilisé pour reconstruire l'information d'image 3D à partir des données acquises. Ces caméras utilisent généralement des réseaux de microlentilles alignés avec les pixels d'une puce de caméra haute résolution.

Pour créer une caméra à champ de lumière multispectrale, les chercheurs ont utilisé l'impression jet d'encre pour déposer une seule goutte de matériau pour former chaque lentille individuelle sur un côté de lames de microscope ultra-minces et ont ensuite imprimé des réseaux de filtres de couleur entièrement alignés sur le côté opposé des lames de microscope. Le composant optique résultant a été intégré directement sur une puce de caméra CMOS. La méthode d'impression jet d'encre a permis un alignement précis entre les composants optiques, réduisant significativement la complexité de fabrication et améliorant l'efficacité.

Reconstruction par apprentissage profond

Puisque cette configuration produit une information spectrale et de profondeur entrelacées dans l'image de la caméra, les chercheurs ont développé des méthodes pour séparer chaque composant. Ils ont découvert qu'une approche basée sur l'apprentissage profond fonctionnait le mieux pour extraire l'information désirée directement des mesures acquises.

« Relever le défi de créer une caméra à champ de lumière multispectrale n'était possible qu'en combinant les avancées récentes de la fabrication, de la conception de système et de la reconstruction d'image basée sur l'IA », a dit Qiaoshuang Zhang, premier auteur de l'article. « Ce travail repousse les limites de l'impression jet d'encre — une méthode polyvalente avec une haute précision et une évolutivité industrielle — pour la fabrication de composants photoniques. »

Tests et résultats

Les chercheurs ont testé la caméra en enregistrant une scène de test contenant des objets 3D multicolores à différentes distances. L'algorithme de reconstruction d'image a été entraîné et testé sur de nombreuses images multispectrales synthétiques et réelles. Les résultats démontrent que la caméra prototype peut acquérir simultanément l'information spatiale 3D et spectrale et que différents objets peuvent être imagés et distingués par leur composition spectrale différente et l'information de profondeur dans un seul instantané.

Maintenant qu'ils ont complété cette première preuve de concept, les chercheurs explorent diverses applications où une caméra à champ de lumière avec une capacité d'acquérir de l'information multispectrale pourrait être utile.

Pour plus d'informations, contactez cette adresse email protégée.