Révolutionner la sécurité alimentaire : visualisation rapide et précise de la valeur par imagerie hyperspectrale

L'industrie mondiale de l'inspection alimentaire a besoin d'outils plus nouveaux et plus précis pour répondre à des réglementations gouvernementales strictes. Des cultures spécialisées aux fruits de mer, viandes et volailles, le marché des tests de sécurité alimentaire seul est évalué à 19,5 milliards USD en 2021 et devrait atteindre 28,6 milliards d'ici 2026¹. C'est un exemple où l'imagerie hyperspectrale (HSI) représente un outil qui peut alléger des tâches fastidieuses et laborieuses, ainsi qu'apporter un nouveau niveau de cohérence à certaines applications de classement historiquement subjectives.

De la télédétection à l'inspection industrielle

Développée à l'origine pour des applications de télédétection impliquant des images d'avions et de satellites, l'HSI est devenue depuis une technique commercialement viable pour des applications de vision par machine avancées. Les capteurs HSI agissent comme des milliers ou des millions de spectromètres fournissant les signatures chimiques de la lumière réfléchie à chaque pixel d'une image. Les capteurs de Headwall peuvent être accordés à des gammes de longueurs d'onde au-delà de la capacité de l'œil humain à discerner, de l'ultraviolet et visible (UV et VIS) jusqu'au proche infrarouge (VNIR, NIR et SWIR).

Les capteurs d'imagerie hyperspectrale peuvent distinguer des caractéristiques spectrales qui échappent à l'œil humain et à l'imagerie couleur conventionnelle. Ces caractéristiques peuvent détecter des matières étrangères potentiellement dangereuses et fournir un moyen de trier et classer des matériaux tels que des produits alimentaires dont la valeur est souvent liée à des caractéristiques qui sont mieux et plus systématiquement mesurées par un système HSI qu'un humain sujet à la fatigue ou aux effets de quelque chose d'aussi simple que des quantités variables de café chaque jour².

Surmonter les obstacles du déploiement industriel

Les systèmes utilisant l'HSI ont fait face à des obstacles significatifs dans le déploiement industriel en raison de la nécessité de gérer des quantités comparativement vastes de données brutes et de traiter la complexité relative du développement de modèles de classification spectrale. Cependant, les nouvelles plateformes HSI telles que le système d'imagerie Hyperspec® MV.X de Headwall combinent un spectromètre d'imagerie haute performance avec un calcul embarqué puissant et un logiciel pour créer rapidement des modèles de classification spectrale afin d'extraire des résultats exploitables en temps réel et d'envoyer des instructions sur le réseau local pour agir ou collecter des données de surveillance et de contrôle.

Une façon différente de regarder les choses

L'œil humain, aussi capable soit-il, ne peut détecter que les images qui tombent dans le spectre de la lumière visible entre 400 nm et 700 nm. Il n'y a que trois couleurs dans cette gamme qui tombent sous de larges régions RVB (rouge, vert ou bleu), et la sensibilité et la perception des couleurs de chaque personne varient largement. Néanmoins, l'industrie de l'inspection alimentaire a dépendu des humains et des capteurs RVB pour détecter les problèmes et classer les produits depuis des siècles. Cela inclut des objets étrangers manqués plus tôt dans le processus de récolte, et même des conditions de maladie difficiles à détecter qui pourraient être largement invisibles pour l'une ou l'autre de ces méthodes traditionnelles. Les enjeux sont élevés : la préférence des consommateurs, la capacité de respecter de nouvelles réglementations gouvernementales et la valeur actionnariale de l'entreprise peuvent toutes dépendre de la précision et de l'efficacité de la façon dont l'inspection est mise en œuvre dans tous les aspects de l'industrie alimentaire.

Les capteurs d'« imagerie spectrale » peuvent être subdivisés en deux catégories. Les capteurs multispectraux comprennent une poignée de bandes spectrales, de quatre à des dizaines, tandis que les capteurs hyperspectraux offrent un regard beaucoup plus granulaire (c.-à-d., haute résolution spectrale), puisqu'ils peuvent capturer littéralement des centaines de bandes spectrales à la fois. Les deux fournissent une image beaucoup plus complète des aliments inspectés car elles vont bien au-delà du paradigme RVB simple si couramment et traditionnellement utilisé.

Les humains voient la couleur comme des combinaisons de rouge (1), vert (2) et bleu (3) dans une très petite région du spectre électromagnétique. L'ajout des bandes 4 et 5 représente un exemple multispectral, où plus de 3 zones du spectre sont capturées et analysées. L'imagerie hyperspectrale utilise des centaines de bandes du spectre au lieu de seulement quelques-unes. Cela permet la haute performance d'un spectromètre de mesure ponctuelle mais à chaque pixel d'une image qui pourrait consister en millions de pixels.

Système de vision par machine avancé

Un système de « vision par machine avancé » aux fins de cette discussion peut consister en un ou plusieurs capteurs d'imagerie spectrale, une source d'éclairage appropriée, et un ordinateur qui collecte les données d'image tout en communiquant avec la robotique en aval. Le capteur présente les données d'image à l'ordinateur en temps réel, et ces données d'image sont ensuite envoyées au système robotique. Le système robotique interprète l'image et comprend immédiatement quoi faire basé sur des algorithmes et des instructions. Dans certains cas, il peut simplement saisir et supprimer un morceau de matière étrangère (pass/fail). Dans d'autres cas, il dirigerait certaines colorations d'un produit vers une autre ligne pour un traitement supplémentaire (« classement » de produit). Pour les applications de recyclage, il peut classer différents types de plastiques d'apparence similaire sur des lignes à grande vitesse.

Le capteur hyperspectral n'est pas un dispositif autonome mais plutôt une partie importante et très précise d'un système complet de vision par machine avancé. Selon une estimation³, la vision par machine a été employée dans moins de 20 % des applications pour lesquelles elle est potentiellement utile. Par conséquent, il est sensé de discuter des façons dont cette puissante technologie d'imagerie peut rendre les processus d'inspection meilleurs et économiquement plus efficaces.

Technologie de balayage linéaire « pushbroom »

Un capteur hyperspectral « pushbroom » capture des images en balayant ligne par ligne à travers une fente (à gauche), chaque ligne contenant des pixels qui sauvegardent les caractéristiques spectrales du sujet (au centre). Alors que le capteur se déplace par rapport à la zone ou l'objet scanné, un ensemble de données se construit (à droite). L'ensemble de données résultant peut être considéré comme une pile où chaque couche représente une « bande » particulière (une petite gamme de longueurs d'onde). Les pixels sont assemblés pour former une image où chaque pixel contient non seulement des valeurs RVB conventionnelles mais des centaines de valeurs le long de la gamme de longueurs d'onde du capteur.

La fonction de base d'un capteur hyperspectral est de capturer des tranches individuelles d'une scène entrante à travers une fente physique dans le cas d'un design « pushbroom » et de décomposer chaque tranche en composants de longueur d'onde discrets qui sont ensuite présentés à un réseau plan focal (FPA). Un réseau de diffraction gère la tâche de disperser les tranches d'image en composants de longueur d'onde discrets. Le réseau est conçu avec un profil de rainure précis pour maintenir la cohérence spatiale dans une dimension (la longueur de la fente d'image) et faire diffracter l'information spatiale (la largeur de la fente, en microns). Ce processus de diffraction (dispersion) permet au contenu spectral de transversaliser vers des canaux de longueur d'onde connus sur le capteur.

La technologie de balayage linéaire pushbroom tout-réfléchissant utilisée par Headwall capture une ligne spectrale (X spatial et Z spectral) dans chaque « image ». Des images séquentielles construisent la dimension spatiale Y. Le design pushbroom est préféré pour sa capacité à fournir une faible distorsion à une très haute résolution spatiale et spectrale. Un débit élevé signifie un rapport signal/bruit élevé et une lumière parasite très faible. Parce que c'est un design tout-réfléchissant, les problèmes de dispersion chromatique sont éliminés.

Lorsqu'on regarde à travers la fente du capteur hyperspectral, tout ce qu'on voit est la bande spatiale que la fente laisse passer. Cela serait équivalent à une colonne de pixels. On peut encore voir le détail spatial dans l'image, mais seulement une bande à la fois. Dans chaque fente, il y a beaucoup de couleurs. Le système HSI sépare la lumière dans chaque pixel spatial en les différentes couleurs dans ce pixel. Chaque fois que la caméra prend une photo de la fente, elle obtient une image complète de données spectrales pour chaque pixel. En empilant chaque image spectrale de la fente alors qu'on traverse la scène, on construit le cube de données hyperspectral. Alors que le capteur se déplace de gauche à droite sur la scène, un logiciel avancé de traitement hyperspectral peut prendre un ensemble d'images et les assembler pour acquérir un « cube de données » complet.

Le mouvement : clé de l'imagerie spectrale

Une caractéristique de l'imagerie spectrale qui la rend parfaite pour les applications de vision par machine avancées est le mouvement. Puisque les capteurs capturent les données d'image image par image, ils dépendent naturellement du mouvement pour se produire. Le capteur doit soit se déplacer sur le champ de vision (comme il le ferait s'il était attaché à un drone ou un avion dans des applications de télédétection), soit le champ de vision doit se déplacer sous le capteur (comme il le ferait dans un déploiement de vision par machine avancée).

La communauté de l'agriculture de précision a adopté les capteurs hyperspectraux et multispectraux comme charges utiles pour drones et avions qui volent au-dessus des champs de cultures. Une richesse de données agricoles vitales est capturée par ces capteurs, par rapport à des indices tels que NDVI, PRI, WBI, Red Edge Ratio et bien d'autres. La vitalité des cultures, l'efficacité de la fertilisation et de l'irrigation, et les signes précoces d'espèces invasives et de maladies peuvent tous être vus dans les centaines de bandes d'un capteur Visible-Proche-Infrarouge (VNIR) qui « voit » entre 400 nm et 1000 nm.

Les capteurs hyperspectraux peuvent être placés le long de la ligne de production et connectés à des robots qui prennent des mesures appropriées basées sur une analyse en temps réel effectuée dans les processeurs embarqués dans les systèmes de capteurs eux-mêmes.

Le long d'un convoyeur à grande vitesse, le même niveau de données significatives peut être collecté pour impacter positivement le processus d'inspection. Les caractéristiques de fréquence d'image et de champ de vision sont telles que les capteurs sont plus que capables de surveiller de larges lignes fonctionnant à grande vitesse. Le haut niveau de discrimination offert par l'HSI signifie que même les anomalies difficiles à distinguer sont vues et gérées. Une myrtille dans un champ de fraises est facile à repérer, mais qu'en est-il de différences de couleur ou chimiques minimes dans la même culture ou dans des matériaux recyclés d'apparence similaire ? Seule l'hyperspectrale peut distinguer ces différences impossibles à voir.

Conception des capteurs HSI

Les rayons lumineux qui entrent dans la fente d'un capteur hyperspectral pushbroom sont séparés en un spectre de couleurs comme dans un arc-en-ciel, dans ce cas par un réseau holographique de rainures très fines. Le spectre tombe sur un photosenseur 2D. Le logiciel convertit le niveau de signal à chaque pixel photosensible en une courbe spectrale à chaque pixel de l'image alors que le capteur se déplace par rapport à l'objet scanné.

Bien que les capteurs HSI soient parfois appelés « caméras », ils sont en vérité un mariage de spectromètres et de caméras. Les capteurs de Headwall sont basés sur un design tout-réfléchissant n'ayant pas de pièces mobiles ni d'optique transmissive potentiellement offensante. Cela est accompli en utilisant des réseaux de diffraction holographiques qui gèrent la lumière entrante passant par la fente d'image. Les réseaux ne sont pas seulement exceptionnellement précis, mais ils sont petits et légers. Cela permet aux instruments eux-mêmes d'être petits et légers pour un déploiement facile n'importe où.

Headwall est le seul fabricant de capteurs spectraux qui fabrique aussi ses propres réseaux de diffraction. Chaque réseau est de « qualité maître », ce qui signifie des profils de rainure identiques d'un à l'autre pour une application donnée. Puisque la performance optique fondamentale du capteur est une fonction du réseau, cette capacité représente une vraie différenciation. Les capteurs hyperspectraux sont conçus et « accordés » à des gammes spectrales spécifiques. Dans chaque gamme, littéralement des centaines de bandes spectrales sont collectées, donnant une vue très précise et hautement résolue de tout ce qui se déplace le long de la ligne d'inspection... à la fois spectralement et spatialement.

La gamme Visible-Proche-Infrarouge (VNIR) couvre de 400 nm à 1000 nm et la gamme VNIR étendue couvre de 550 nm à 1700 nm. La gamme Proche-Infrarouge (NIR) collecte des données d'image de 900 nm à 1700 nm, tandis que la gamme Infrarouge à ondes courtes (SWIR) couvre de 900 nm à 2500 nm. Puisque les matériaux « reflètent la lumière » à certains points dans ces gammes, il est important de d'abord définir les signatures elles-mêmes. Ensuite, par des algorithmes, le capteur peut caractériser le matériau ou détecter tout ce qui n'est pas précisément défini comme « bon », non seulement par rapport aux matières étrangères, mais aussi aux différences de « classement » difficiles à distinguer d'une baie à l'autre ou d'une noix à l'autre. C'est une caractéristique très précieuse de l'imagerie hyperspectrale, car elle a un niveau de spécificité qui va bien au-delà des capteurs RVB plus traditionnels.

L'éclairage compte

Puisque les capteurs HSI mesurent et analysent la lumière réfléchie, l'éclairage est une considération importante. L'objectif global est de fournir au champ de vision du capteur une forme d'éclairage extrêmement uniforme, cohérente, simultanément robuste et économique.

Pour la gamme spectrale VNIR, le Quartz Tungstène Halogène (QTH) représente une telle technologie d'éclairage tandis que les nouvelles sources de lumière LED peuvent être vues comme une alternative, bien que moins mature. La fibre optique groupée présente également une source de lumière uniforme. Une grande partie de ce qui intéresse l'industrie de l'inspection alimentaire « reflète » à des gammes au-delà du visible, qui s'arrête autour de 700 nm. Avoir une source de lumière couvrant de chaque côté de ce point est vital.

Au-delà d'être aussi frais que possible, robuste et uniforme, la source de lumière doit traverser entièrement la largeur de la ligne d'inspection. Cette capacité bord à bord tire parti du large champ de vision du capteur, permettant au produit inspecté d'être vu non seulement directement sous le capteur lui-même mais aussi sur les bords. Il n'y a pas de régimentation dans une ligne d'inspection alimentaire à grande vitesse car le produit pourrait être n'importe où... le long des bords ou regroupé sur le tapis roulant. La longévité de la source de lumière est aussi importante car de nombreuses lignes d'inspection alimentaire fonctionnent 24/7.

Puisque le capteur construit un « cube » de données d'image une tranche à la fois et que l'éclairage lui-même est une bande très fine, la région d'intérêt (l'« image de fente ») est ce qui doit être éclairé. Une cible de réflectance blanche est utilisée pour calibrer le capteur avant l'opération réelle. C'est une étape cruciale car le capteur collecte des données d'image qu'un système robotique en aval (ex. vide, couteaux à air, pince de prélèvement) utilisera pour ségréger le « bon » du « mauvais ». L'objectif est toujours de présenter le bon type de lumière à la bonne intensité, exactement là où c'est nécessaire. Aussi, il est important qu'une documentation existe fournissant les longueurs d'onde et l'intensité de la lumière à travers le champ de projection, l'uniformité de la lumière, et la dégradation sur des distances standard. Ainsi, le positionnement exact du capteur par rapport à la ligne peut être déterminé si un ajustement sur l'architecture de la ligne est nécessaire.

Robotique

Les sous-systèmes robotiques sont un élément naturel de nombreuses applications de ligne de traitement de vision par machine avancée. La capacité de discriminer et d'éliminer dépend de la capacité du capteur et du système robotique à communiquer rapidement et fidèlement, en temps réel. Les capteurs Hyperspec® peuvent fonctionner à des centaines d'images par seconde, ce qui signifie qu'ils sont bien adaptés d'un point de vue opérationnel et économique pour travailler avec des lignes à grande vitesse et les systèmes robotiques embarqués dans celles-ci.

L'industrie de la vision par machine comprend que la capacité d'intégrer une large gamme de sous-systèmes dans une ligne transparente et fonctionnant en continu exige que les protocoles de communication soient standardisés et rapides. L'Ethernet Gigabit est souvent utilisé pour tout relier d'un point de vue flux de données. Les systèmes HSI et les ordinateurs qui gèrent les données entrantes fonctionnent tous avec l'Ethernet Gigabit, mais aussi d'autres liens de communication très rapides tels que CameraLink.

Collecte et traitement des données

L'inspection de cultures spécialisées telles que les noix et les baies implique de regarder des articles d'apparence très similaire avec de petits degrés de variabilité. Par conséquent, diviser le signal ou l'image en centaines de « canaux » hyperspectraux est un avantage pour l'industrie.

Puisque la facilité d'utilisation est primordiale et que des courbes d'apprentissage raides mais rapides sont nécessaires, le logiciel de Headwall est intuitif et contient des fonctions qui permettent aux utilisateurs de modifier et d'adapter leurs processus d'inspection basés sur ce que les capteurs voient. Le processus basé sur des algorithmes identifie les caractéristiques spectrales que les utilisateurs pourraient rencontrer. Par exemple, les amandes avec des dommages d'insectes sont presque indistinguables des amandes « bonnes » sous analyse RVB. Mais la même scène classée par HSI attirera l'attention sur les endommagées, qui peuvent être éliminées par le système robotique en aval.

La combinaison de capteurs innovants, de logiciels et de flux de travail permet à un nombre croissant d'utilisateurs d'accéder à l'HSI avec de vraies solutions qui utilisent les données spectrales pour non seulement détecter la contamination, mais aussi « classer » les produits pour que moins soit gaspillé et plus soit converti en revenus. L'imagerie hyperspectrale débloque cette possibilité au sein de l'industrie de la vision par machine.

Ressources

1. « Food Safety Testing Market by Target Tested (Pathogens, Pesticides, GMOs, Mycotoxin, and Allergens), Technology (Traditional and Rapid), Food Tested (Meat, Poultry, Seafood, Dairy, Processed Foods, and Fruits & Vegetables), and Region - Forecast to 2026 », Markets and Markets, Food Safety Testing Market, Publié mai 2021
2. « The effect of caffeine on the color-discriminating function of the retina in volunteers », Ovanesov KB. Vliianie. Eksp Klin Farmakol. 1998 Nov-Dec ; 61 ( 6 ):17-9. PMID: 9929810
3. « Multispectral vs Hyperspectral Imagery explained », GISGeography, 16 Fév 2018
4. « Handbook of Machine Vision », Alexander Hornberg, Wiley-VCH. p. 694, 2006. ISBN 978-3-527-40584-8

Cet article a été écrit par Christian Felsheim, Directeur Headwall Photonics EMEA, et Dr. Will Rock, Ingénieur d'application senior, Headwall Photonics (Bolton, MA). Pour plus d'informations, visitez ici.