Visualiser la valeur à la vitesse de la lumière

L'industrie mondiale de l'inspection des aliments a besoin d'outils plus récents et plus précis pour répondre aux réglementations gouvernementales strictes. Des cultures spécialisées aux fruits de mer, en passant par la viande et la volaille, le marché des tests de sécurité alimentaire à lui seul est évalué à 19,5 milliards de dollars américains en 2021 et devrait atteindre 28,6 milliards de dollars d'ici 2026 ¹ . C'est un exemple où l'imagerie hyperspectrale (HSI) représente un outil qui peut alléger les tâches fastidieuses et laborieuses, ainsi qu'apporter un nouveau niveau de cohérence à certaines applications de classement historiquement subjectives.

Développé à l'origine pour les applications de télédétection impliquant des images d'avions et de satellites, le HSI est depuis devenu une technique commercialement viable pour les applications avancées de vision artificielle. Les capteurs HSI agissent comme des milliers ou des millions de spectromètres fournissant les signatures chimiques de la lumière réfléchie à chaque pixel d'une image. Les capteurs de Headwall peuvent être réglés sur des gammes de longueurs d'onde au-delà de la capacité de discernement de l'œil humain, de l'ultraviolet et du visible (UV et VIS) aux gammes de longueurs d'onde du proche infrarouge (VNIR, NIR et SWIR).

Les capteurs d'imagerie hyperspectrale peuvent distinguer les caractéristiques spectrales qui échappent à l'œil humain et à l'imagerie couleur conventionnelle. Ces caractéristiques peuvent détecter des matières étrangères potentiellement nocives et fournir un moyen de trier et de classer des matériaux tels que des produits alimentaires dont la valeur est souvent liée à des caractéristiques qui sont souvent mieux et plus systématiquement mesurées par un système HSI qu'un être humain sujet à la fatigue ou à la effets de quelque chose d'aussi simple que de varier les quantités de café chaque jour 2.

Les systèmes utilisant HSI ont rencontré des obstacles importants dans le déploiement industriel en raison de la nécessité de gérer des quantités relativement importantes de données brutes et de traiter la complexité relative du développement de modèles de classification spectrale. Cependant, les nouvelles plates-formes HSI telles que le système d'imagerie Hyperspec® MV.X de Headwall combinent un spectromètre d'imagerie haute performance avec une informatique et un logiciel embarqués puissants pour créer rapidement des modèles de classification spectrale pour extraire des résultats exploitables en temps réel et envoyer des instructions sur le réseau local à prendre des mesures ou collecter des données de surveillance et de contrôle.

Une façon différente de voir les choses

L'œil humain, aussi capable soit-il, ne peut détecter que les images qui tombent dans le spectre de la lumière visible entre 400 nm et 700 nm. Il n'y a que trois couleurs dans cette gamme qui relèvent de vastes régions RVB (rouge, vert ou bleu), et la sensibilité et la perception des couleurs de chaque personne varient dans une large mesure. Néanmoins, l'industrie de l'inspection des aliments dépend depuis des siècles des humains et des capteurs RVB pour détecter les problèmes et classer les produits. Ceux-ci incluent des objets étrangers manqués plus tôt dans le processus de récolte, et même des conditions pathologiques difficiles à détecter qui pourraient être largement invisibles pour l'une ou l'autre de ces méthodes traditionnelles. Les enjeux sont importants :la préférence des consommateurs, la capacité à se conformer aux nouvelles réglementations gouvernementales et la valeur actionnariale de l'entreprise peuvent tous dépendre de la précision et de l'efficacité de la mise en œuvre de l'inspection dans toutes les facettes de l'industrie alimentaire.

Les capteurs « d'imagerie spectrale » peuvent être subdivisés en deux catégories. Les capteurs multispectraux comprennent une poignée de bandes spectrales, allant de quatre à des dizaines, tandis que les capteurs hyperspectraux offrent un aspect beaucoup plus granulaire (c'est-à-dire une résolution spectrale élevée), car ils peuvent capturer littéralement des centaines de bandes spectrales à la fois. Les deux fournissent une image beaucoup plus complète des aliments sous inspection, car ils vont bien au-delà du simple paradigme RVB si couramment et traditionnellement utilisé.

Les humains voient la couleur comme des combinaisons de rouge (1), de vert (2) et de bleu (3) dans une très petite région du spectre électromagnétique. L'ajout des bandes 4 et 5 représente un exemple multispectral, où plus de 3 zones du spectre sont capturées et analysées. L'imagerie hyperspectrale utilise des centaines de bandes du spectre au lieu de quelques-unes seulement. Cela permet la haute performance d'un spectromètre de mesure ponctuelle mais à chaque pixel d'une image qui pourrait être constituée de millions de pixels.

Un système de vision artificielle « avancé » aux fins de cette discussion peut consister en un ou plusieurs capteurs d'imagerie spectrale, une source d'éclairage appropriée et un ordinateur qui collecte les données d'image tout en communiquant avec la robotique en aval. Le capteur présente des données d'image à l'ordinateur en temps réel, et ces données d'image sont ensuite envoyées au système robotique. Le système robotique interprète l'image et comprend immédiatement ce qu'il faut faire sur la base d'algorithmes et d'instructions. Dans certains cas, il peut simplement saisir et supprimer un élément étranger (réussite/échec). Dans d'autres cas, il dirigerait certaines colorations d'un produit vers une autre ligne pour un traitement ultérieur ("classement" du produit). Pour les applications de recyclage, il peut classer des types de plastiques différents mais d'apparence similaire le long des lignes à grande vitesse.

Le capteur hyperspectral n'est pas un appareil autonome, mais plutôt une partie importante et très précise d'un système de vision industrielle avancé. Selon une estimation ³ , la vision artificielle a été employée dans moins de 20 % des applications pour lesquelles elle est potentiellement utile. Par conséquent, il est judicieux de discuter des moyens par lesquels cette puissante technologie d'imagerie peut améliorer les processus d'inspection et les rendre plus efficaces sur le plan économique.

Le capteur HSI peut être considéré comme une « nouvelle paire d'yeux » agissant comme une sentinelle permanente sur les lignes d'inspection, quelle que soit la durée du cycle de production typique. Sa capacité à "parler" à d'autres éléments du système est une raison cruciale pour laquelle la détection hyperspectrale est privilégiée en tant que nouvel outil pour l'industrie avec une capacité à dépasser de loin les unités RVB.

Un capteur hyperspectral « pushbroom » capture les images en balayant ligne par ligne à travers une fente (à gauche), chaque ligne contenant des pixels qui enregistrent les caractéristiques spectrales du sujet (au centre). Lorsque le capteur se déplace par rapport à la zone ou à l'objet scanné, un ensemble de données est créé (à droite). L'ensemble de données résultant peut être considéré comme une pile où chaque couche représente une « bande » particulière (une petite plage de longueurs d'onde). Les pixels sont assemblés pour former une image où chaque pixel contient non seulement des valeurs RVB conventionnelles, mais des centaines de valeurs le long de la plage de longueurs d'onde du capteur.

La fonction de base d'un capteur hyperspectral est de capturer des tranches individuelles d'une scène entrante à travers une fente physique dans le cas d'une conception `` en balai '' et de diviser chaque tranche en composants de longueur d'onde discrets qui sont ensuite présentés à un réseau plan focal (FPA) . Un réseau de diffraction gère la tâche de dispersion des tranches d'image en composantes de longueur d'onde discrètes. Le réseau est conçu avec un profil de rainure précis pour maintenir la cohérence spatiale dans une dimension (la longueur de la fente d'image) et provoquer la diffraction des informations spatiales (la largeur de la fente, en microns). Ce processus de diffraction (dispersion) permet au contenu spectral de traverser les canaux de longueur d'onde connus sur le capteur.

La technologie de balayage de lignes spectrales en balai-poussoir entièrement réfléchissante utilisée par Headwall capture une ligne spectrale (X spatiale et Z spectrale) dans chaque "image". Les cadres séquentiels constituent la dimension spatiale Y. La conception en peigne est préférée pour sa capacité à fournir une faible distorsion à une résolution spatiale et spectrale très élevée. Un débit élevé signifie un rapport signal/bruit élevé et une lumière parasite très faible. Comme il s'agit d'une conception entièrement réfléchissante, les problèmes de dispersion chromatique sont éliminés.

Vu à travers la fente du capteur hyperspectral, tout ce que nous voyons est la bande spatiale que la fente laisse passer. Cela équivaudrait à une colonne de pixels. Vous pouvez toujours voir les détails spatiaux dans l'image, mais une seule bande à la fois. Dans chaque fente, il y a plusieurs couleurs. Le système HSI sépare la lumière de chaque pixel spatial en différentes couleurs de ce pixel. Chaque fois que l'appareil photo prend une photo de la fente, il obtient une image complète de données spectrales pour chaque pixel. En empilant chaque image spectrale de la fente au fur et à mesure que nous traversons la scène, nous construisons le cube de données hyperspectral. Lorsque le capteur se déplace de gauche à droite sur la scène, un logiciel de traitement hyperspectral avancé peut prendre un ensemble d'images et les assembler pour acquérir un "cube de données" complet.

L'une des caractéristiques de l'imagerie spectrale qui la rend parfaite pour les applications avancées de vision industrielle est le mouvement. Étant donné que les capteurs capturent les données d'image image par image, ils dépendent naturellement du mouvement pour se produire. Le capteur doit soit se déplacer sur le champ de vision (comme il le ferait s'il était attaché à un drone ou à un aéronef dans les applications de télédétection), soit le champ de vision doit se déplacer sous le capteur (comme il le ferait dans un déploiement avancé de vision artificielle ).

La communauté de l'agriculture de précision a adopté des capteurs hyperspectraux et multispectraux comme charges utiles pour les drones et les avions qui volent au-dessus des champs cultivés. Une multitude de données agricoles vitales sont capturées par ces capteurs, en ce qui concerne les indices tels que NDVI, PRI, WBI, Red Edge Ratio et bien d'autres. La vitalité des cultures, l'efficacité de la fertilisation et de l'irrigation, ainsi que les premiers signes d'espèces et de maladies envahissantes peuvent tous être observés dans les centaines de bandes d'un capteur visible proche infrarouge (VNIR) qui "voit" entre 400 nm et 1 000 nm.

Des capteurs hyperspectraux peuvent être placés le long de la chaîne de production et connectés à des robots qui prennent les mesures appropriées en fonction d'une analyse en temps réel effectuée dans les processeurs intégrés dans les systèmes de capteurs eux-mêmes.

Le long d'un convoyeur à grande vitesse, le même niveau de données significatives peut être collecté pour avoir un impact positif sur le processus d'inspection. Les caractéristiques de fréquence d'images et de champ de vision sont telles que les capteurs sont plus que capables de surveiller des lignes larges fonctionnant à des vitesses élevées. Le niveau élevé de discrimination offert par le HSI signifie que même les anomalies difficiles à distinguer sont détectées et gérées. Un bleuet dans un champ de fraises est facile à repérer, mais qu'en est-il des minuscules différences de couleur ou de produits chimiques au sein d'une même culture ou de matériaux recyclés d'apparence similaire ? Seul l'hyperspectral peut distinguer ces différences impossibles à voir.

Conception du capteur HSI

Les rayons lumineux qui pénètrent dans la fente d'un capteur hyperspectral pushbroom sont séparés en un spectre de couleurs comme dans un arc-en-ciel, dans ce cas par un réseau holographique de rainures très fines. Le spectre tombe sur un photocapteur 2D. Le logiciel convertit le niveau du signal à chaque pixel photosensible en une courbe spectrale à chaque pixel de l'image lorsque le capteur se déplace par rapport à l'objet en cours de numérisation.

Bien que les capteurs HSI soient parfois appelés « caméras », ils sont en réalité un mariage de spectromètres et de caméras. Les capteurs de Headwall sont basés sur une conception entièrement réfléchissante sans pièces mobiles ni optique transmissive potentiellement gênante. Ceci est accompli en utilisant des réseaux de diffraction holographiques qui gèrent la lumière entrante traversant la fente d'image. Les grilles sont non seulement exceptionnellement précises, mais elles sont petites et légères. Cela permet aux instruments eux-mêmes d'être petits et légers pour un déploiement facile n'importe où.

Headwall est le seul fabricant de capteurs spectraux qui fabrique également ses propres réseaux de diffraction. Chaque grille est de « qualité maître », ce qui signifie des profils de rainure identiques de l'une à l'autre pour une application donnée. Étant donné que les performances optiques fondamentales du capteur dépendent du réseau, cette capacité représente une véritable différenciation. Les capteurs hyperspectraux sont conçus et « réglés » sur des plages spectrales spécifiques. Dans chaque gamme, littéralement des centaines de bandes spectrales sont collectées, donnant une vue très précise et hautement résolue de tout ce qui se déplace le long de la ligne d'inspection... à la fois spectralement et spatialement.

La gamme Visible-Near-Infrared (VNIR) couvre de 400 nm à 1000 nm et la gamme Extended VNIR couvre de 550 nm à 1700 nm. La gamme proche infrarouge (NIR) collecte des données d'image de 900 nm à 1700 nm, tandis que la gamme infrarouge à ondes courtes (SWIR) couvre de 900 nm à 2500 nm. Étant donné que le matériau « réfléchit la lumière » à certains points de ces plages, il est important de définir d'abord les signatures elles-mêmes. Ensuite, grâce à des algorithmes, le capteur peut caractériser le matériau ou détecter tout ce qui n'est pas précisément défini comme « bon », non seulement en ce qui concerne les matières étrangères, mais aussi les différences de « classement » difficiles à distinguer d'une baie à l'autre ou d'une noix à l'autre. une autre. Il s'agit d'une caractéristique très précieuse de l'imagerie hyperspectrale, car elle a un niveau de spécificité qui va bien au-delà des capteurs RVB plus traditionnels.

La lumière compte

Étant donné que les capteurs HSI mesurent et analysent la lumière réfléchie, l'éclairage est une considération importante. L'objectif global est de fournir au champ de vision du capteur une forme d'éclairage extrêmement uniforme et cohérente, à la fois robuste et économique.

Pour la gamme spectrale VNIR, Quartz Tungsten Halogen (QTH) représente l'une de ces technologies d'éclairage, tandis que les nouvelles sources de lumière LED peuvent être considérées comme une autre alternative, quoique moins mature. La fibre optique groupée présente également une source de lumière uniforme. Une grande partie de ce qui intéresse l'industrie de l'inspection des aliments « se reflète » dans des plages au-delà du visible, qui se limitent à environ 700 nm. Il est donc vital d'avoir une source de lumière couvrant chaque côté de ce point.

En plus d'être aussi froide que possible, robuste et uniforme, la source lumineuse doit traverser entièrement la largeur de la ligne d'inspection. Cette capacité bord à bord tire parti du large champ de vision du capteur, permettant de voir le produit inspecté non seulement directement sous le capteur lui-même, mais aussi sur les bords. Il n'y a pas d'embrigadement dans une ligne d'inspection alimentaire à grande vitesse, car le produit peut être partout... le long des bords ou regroupé sur le tapis roulant. La longévité de la source lumineuse est également importante car de nombreuses lignes d'inspection des aliments fonctionnent 24 heures sur 24.

Étant donné que le capteur construit un « cube » de données d'image une tranche à la fois et que l'éclairage lui-même est une bande très fine, la région d'intérêt (l'« image de la fente ») est ce qui doit être éclairé. Une cible de réflexion blanche est utilisée pour calibrer le capteur avant le fonctionnement réel. Il s'agit d'une étape cruciale, car le capteur collecte des données d'image qu'un système robotique en aval (par exemple, un aspirateur, des lames d'air, une griffe de prélèvement) utilisera pour séparer le « bon » du « mauvais ». L'objectif est toujours de présenter le bon type de lumière à la bonne intensité, exactement là où c'est nécessaire. De plus, il est important qu'il existe une documentation fournissant les longueurs d'onde et l'intensité de la lumière sur le champ de projection, l'uniformité de la lumière et la dégradation sur les distances standard. De cette façon, le positionnement exact du capteur par rapport à la ligne peut être déterminé si un ajustement sur l'architecture de la ligne est nécessaire.

Robotique

Les sous-systèmes robotiques sont un élément naturel de nombreuses applications avancées de la chaîne de traitement de vision industrielle. La capacité de discriminer et d'éliminer dépend de la capacité du capteur et du système robotique à communiquer rapidement et fidèlement, en temps réel. Les capteurs Hyperspec® peuvent exécuter des centaines d'images par seconde, ce qui signifie qu'ils sont bien adaptés d'un point de vue opérationnel et économique pour fonctionner avec des lignes à grande vitesse et les systèmes robotiques qui y sont intégrés.

L'industrie de la vision industrielle comprend que les moyens d'intégrer une large gamme de sous-systèmes dans une ligne transparente et fonctionnant en continu exigent que les protocoles de communication soient rapides et conformes aux normes de l'industrie. Gigabit Ethernet est souvent utilisé pour tout relier du point de vue du flux de données. Les systèmes HSI et les ordinateurs qui gèrent les données entrantes fonctionnent tous avec Gigabit Ethernet, mais aussi d'autres liens de communication très rapides tels que CameraLink.

Collecte et traitement des données

L'inspection de cultures spécialisées telles que les noix et les baies implique l'examen d'articles d'apparence très similaire avec de faibles degrés de variabilité. Par conséquent, diviser le signal ou l'image en centaines de "canaux" hyperspectraux est un avantage pour l'industrie.

Étant donné que la facilité d'utilisation est primordiale et que des courbes d'apprentissage rapides mais rapides sont nécessaires, le logiciel de Headwall est intuitif et contient des fonctions qui permettent aux utilisateurs de modifier et d'adapter leurs processus d'inspection en fonction de ce que voient les capteurs. Le processus basé sur un algorithme identifie les caractéristiques spectrales que les utilisateurs peuvent rencontrer. Par exemple, les amandes endommagées par les insectes sont presque impossibles à distinguer des «bonnes» amandes sous analyse RVB. Mais la même scène classée à l'aide du HSI attirera l'attention sur les scènes endommagées, qui peuvent être éliminées par le système robotique en aval.

La combinaison de capteurs, de logiciels et de flux de travail innovants permet à un nombre croissant d'utilisateurs d'accéder au HSI avec de véritables solutions qui utilisent des données spectrales non seulement pour détecter la contamination, mais aussi pour « classer » les produits afin qu'il y ait moins de gaspillage et plus de revenus. L'imagerie hyperspectrale ouvre cette possibilité au sein de l'industrie de la vision industrielle.

Ressources

1. “Marché des tests de sécurité alimentaire par cible testée (agents pathogènes, pesticides, OGM, mycotoxines et allergènes), technologie (traditionnelle et rapide), aliments testés (viande, volaille, fruits de mer, produits laitiers, aliments transformés et fruits &Légumes), et Région - Prévisions jusqu'en 2026 ”, Marchés et marchés, marché des tests de sécurité alimentaire, publié en mai 2021
2. "L'effet de la caféine sur la fonction de discrimination des couleurs de la rétine chez des volontaires ”, Ovanesov KB. Vliianie. Eksp Klin Farmakol. 1998 novembre-décembre ; 61 (6):17-9. PMID :9929810
3. "Explication de l'imagerie multispectrale et hyperspectrale ”, GISGeography, 16 février 2018
4. "Manuel de vision industrielle ”, Alexander Hornberg, Wiley-VCH. p. 694, 2006. ISBN 978-3-527-40584-8

Cet article a été rédigé par Christian Felsheim, directeur Headwall Photonics EMEA, et le Dr Will Rock, ingénieur d'application senior, Headwall Photonics (Bolton, MA). Pour plus d'informations, visitez ici .