Révolutionner la vision industrielle :comment les capteurs d'événements permettent un traitement d'image plus rapide et plus intelligent

L’augmentation du contenu généré par les caméras, dans les secteurs grand public et industriels, a mis à rude épreuve la capacité des machines à acquérir, traiter et utiliser efficacement les données visuelles de manière pratique et efficiente. Les défis actuels incluent :une quantité écrasante de données collectées (dont une grande partie n’est pas pertinente pour les machines); des capacités de traitement insuffisantes (en particulier dans les applications limitées par la taille et la puissance) et la demande de traitement en temps réel. Par conséquent, les développeurs de systèmes basés sur la vision (smartphones, appareils portables, maisons intelligentes, IoT, systèmes, technologies automobiles et équipements d'automatisation industrielle) cherchent des moyens de transformer l'approche traditionnelle de la détection de la vision et de l'acquisition de données.

Initialement destinée à fournir des images destinées à la consommation humaine, les progrès de la technologie des caméras au cours de son histoire (qui reposent principalement sur des méthodes basées sur l'image) se révèlent insuffisants pour répondre aux exigences de la vision industrielle moderne. Pendant des années, la vision industrielle s'est appuyée sur des informations visuelles acquises et structurées pour une interprétation humaine :des flux vidéo composés d'images séquentielles capturées par un capteur d'image. Chaque image représente un instantané statique à un moment particulier dépourvu d'informations dynamiques. Cette méthode de collecte de données visuelles est répandue dans la plupart des systèmes de vision industrielle conçus pour surveiller les changements et les mouvements dans des environnements dynamiques.

Utilisant des techniques neuromorphiques inspirées du système de vision humaine, l'approche de vision basée sur les événements vise à améliorer l'efficacité et les performances de divers systèmes de vision dans les secteurs grand public, industriel, automobile et autres afin d'améliorer la sécurité, la productivité et l'expérience utilisateur. (Image :Prophétiser)

Le défi prédominant survient lorsqu'il y a un mouvement ou un changement dans une scène, ce qui est courant dans la plupart des applications de vision industrielle, et que les limites inhérentes à l'acquisition d'images visuelles deviennent évidentes. Quelle que soit la fréquence d'images définie, si une caméra tente de capturer une scène en mouvement, elle sera systématiquement inexacte. Étant donné que différentes parties d'une scène présentent généralement des dynamiques variables simultanément, l'utilisation d'un taux d'échantillonnage unique pour réguler l'exposition des pixels sur un réseau d'imagerie entraîne inévitablement une capture inadéquate de ces diverses dynamiques de scène se produisant simultanément.

Moins, c'est plus lors de la détection d'événements

À ce défi s'ajoute le problème des capteurs d'image traditionnels :ils sont lents et gourmands en énergie, tout en produisant des données redondantes excessives et ont une plage dynamique limitée, ce qui les rend mal adaptés aux tâches de vision industrielle, en particulier celles dans des environnements d'exploitation exigeants. Par conséquent, les systèmes de vision basés sur les événements « neuromorphiques » d'inspiration biologique émergent désormais comme des alternatives offrant une vitesse améliorée, une latence minimale, une meilleure efficacité énergétique et une plage dynamique plus large qui répondent bien à diverses applications de vision industrielle.

La vision basée sur les événements marque un changement de paradigme dans la manière dont les informations visuelles sont acquises et traitées pour les utilisations modernes de la vision industrielle. Utilisant des techniques neuromorphiques inspirées du système de vision humaine, cette approche vise à améliorer l'efficacité et les performances de divers systèmes basés sur la vision dans les secteurs de la consommation, de l'industrie, de l'automobile et d'autres secteurs afin d'améliorer la sécurité, la productivité et l'expérience utilisateur.

La vision basée sur les événements fonctionne différemment des caméras traditionnelles car elle s'écarte d'un taux d'acquisition uniforme pour tous les pixels. Au lieu de cela, chaque pixel détermine indépendamment son timing d'échantillonnage en fonction des changements d'incident de lumière grâce à une intelligence dédiée par pixel. Les informations de détection de contraste sont encapsulées dans des « événements », comprenant les coordonnées x, y du pixel et l’heure précise de génération de l’événement. Avec les capteurs basés sur les événements brevetés de Prophesee, par exemple, les pixels s'activent intelligemment lors de la détection de changements de contraste (mouvement), facilitant ainsi la capture continue des détails essentiels du mouvement au niveau des pixels.

La différence entre le passage des fréquences d'images fixes réside dans la façon dont chaque pixel peut ajuster sa fréquence d'échantillonnage en fonction de son entrée visuelle. Cette approche personnalisée permet à chaque pixel de déterminer ses points d'échantillonnage en réagissant aux variations des niveaux de lumière incidente. Par conséquent, le processus d'échantillonnage n'est plus dicté par une source de synchronisation artificielle mais plutôt par le signal lui-même ou spécifiquement par les fluctuations temporelles de l'amplitude du signal. Le résultat produit par de telles caméras évolue à partir de séquences d'images vers un flux continu de données de pixels individuels générées de manière conditionnelle en fonction de la dynamique de la scène.

Les capteurs d'événements offrent plusieurs avantages, notamment un fonctionnement à grande vitesse (équivalent à 10 000 ips), une consommation d'énergie très efficace (jusqu'à la plage du microwatt), une faible latence pour des temps de réponse plus rapides, des besoins de traitement de données réduits (10 à 10 000 fois inférieurs à ceux des systèmes basés sur des trames) et une plage dynamique élevée allant jusqu'à 120 dB. Ces fonctionnalités rendent les capteurs d'événements adaptés à diverses applications et produits.

Application de la vision basée sur les événements

Les capteurs d'événements neuromorphiques peuvent être utilisés pour diverses tâches d'automatisation industrielle, contribuant ainsi à améliorer la productivité, la qualité, la sûreté, la sécurité et la maintenance préventive. (Image :Prophétiser)

Initialement, les capteurs d’événements neuromorphiques ont trouvé une utilisation commerciale non pas dans les machines mais chez les humains, pour restaurer la vision chez les personnes malvoyantes. Cela a conduit à des cas d’utilisation dans l’automatisation industrielle et la surveillance des processus. Ces utilisations ont démontré les avantages des capteurs d'événements pour de nombreuses tâches de vision, en particulier celles impliquant des éléments se déplaçant et changeant rapidement, des conditions d'éclairage ambiant imprévisibles et des ressources limitées. Les générations suivantes de systèmes basés sur les événements ont été appliquées dans des environnements industriels pour des tâches telles que le comptage à grande vitesse, la maintenance préventive (par exemple, la surveillance des vibrations), l'amélioration de l'efficacité et de la sécurité des robots, le suivi oculaire ou le suivi des gestes pour AR/VR ainsi que diverses applications de logistique et de sûreté/sécurité.

Ces avantages inhérents rendent les capteurs d’événements idéaux pour les applications IoT. La consommation d'énergie joue un rôle essentiel dans les appareils IoT, en particulier ceux qui dépendent des batteries. La vision basée sur les événements est bien adaptée à de tels scénarios car elle fonctionne à des niveaux de puissance nettement inférieurs à ceux des systèmes de caméras basés sur des images. De plus, les caméras basées sur les événements excellent dans les conditions d'éclairage difficiles courantes dans de nombreuses applications IoT grâce à leur traitement des informations indépendant de la lumière. Leur plage dynamique élevée leur permet de capturer une large gamme d'intensités lumineuses dans une seule image, ce qui les rend parfaits pour les environnements avec des conditions d'éclairage variables, comme les scènes extérieures avec un soleil éclatant ou les décors nocturnes.

Avec une plage dynamique supérieure à 120 dB, les caméras basées sur les événements peuvent fonctionner efficacement même dans des environnements où les caméras traditionnelles ont du mal à faire face à des conditions d'éclairage variables – qu'il s'agisse d'environnements extrêmement lumineux comme les espaces publics ou les véhicules pendant la journée ou de scénarios faiblement éclairés tels que les opérations de nuit ou les paramètres d'usine sombres où les capteurs d'événements peuvent être utilisés pour des tâches de maintenance préventive et de surveillance de la sécurité. (Image :Prophétiser)

Avec une plage dynamique supérieure à 120 dB, les caméras basées sur les événements peuvent fonctionner efficacement même dans des environnements où les caméras traditionnelles ont du mal à faire face à des conditions d'éclairage variables – qu'il s'agisse d'environnements extrêmement lumineux comme les espaces publics ou les véhicules pendant la journée ou de scénarios faiblement éclairés tels que les opérations nocturnes ou les paramètres d'usine sombres. De plus, ces caméras offrent une latence minimale en transmettant des informations uniquement en cas de changement de luminosité au sein de la scène. La réponse en temps réel s'avère avantageuse dans les situations d'éclairage qui changent rapidement, comme les passages brusques de la lumière à l'obscurité ou vice versa. Les caméras basées sur des événements, qui détectent les modifications individuelles de l'intensité lumineuse, sont moins sujettes au flou de mouvement que les caméras classiques basées sur des images.

Cette fonctionnalité est particulièrement utile dans les scénarios impliquant des mouvements rapides, garantissant une qualité d’image nette. De nouvelles utilisations tirant parti de cet avantage sont en cours de développement pour les caméras des téléphones intelligents, par exemple le partenariat de Prophesee avec Qualcomm pour intégrer sa technologie basée sur les événements à la populaire plate-forme Snapdragon.

Le développement ultérieur des capteurs d'événements pour l'IoT implique de les adapter à des tâches de vision de pointe avec des capacités informatiques embarquées limitées en raison de l'acquisition de données éparses. Cependant, des défis tels que les formats de données non conventionnels, les débits de données variables et les interfaces non standard ont entravé une adoption plus large. Pour résoudre ce problème, la dernière génération de capteurs d'événements, illustrée par le GenX320 de Prophesee, vise à améliorer l'intégration et la convivialité dans les systèmes de vision embarqués en incorporant des fonctionnalités telles que le prétraitement et le formatage des données d'événements, des interfaces de données compatibles et une connectivité à faible latence avec diverses plates-formes de traitement, y compris des processeurs neuromorphiques économes en énergie. Par exemple, le GenX320 offre plusieurs fonctions de prétraitement, des interfaces adaptables et des options de gestion de l'énergie pour répondre efficacement aux applications de vision sensibles à la consommation.

Malgré leur efficacité opérationnelle, l’optimisation des capteurs d’événements pour une utilisation à faible consommation adaptée aux configurations IoT reste essentielle. La mise en œuvre d’une gamme de modes d’alimentation et de modes de fonctionnement spécifiques à une application peut améliorer considérablement l’efficacité énergétique pour les applications « toujours actives ». L'utilisation de stratégies et de mécanismes intelligents de gestion de l'énergie sur puce peut affiner davantage la flexibilité et la convivialité des capteurs ; Les solutions de Prophesee ont démontré une consommation d'énergie réduite jusqu'à 36 uW grâce à la fonctionnalité de réveil intelligent en cas d'événements activée. De plus, la prise en charge des modes veille profonde et veille peut être bénéfique.

Les considérations spécifiques pour un capteur d'événements ciblant les applications IoT incluent l'obtention d'un horodatage des événements à une résolution de l'ordre de la microseconde avec une latence minimale ainsi que des capacités d'interface transparentes avec les SoC standard grâce à des fonctions intégrées de prétraitement des données d'événements. L'exploitation des interfaces de sortie MIPI ou CPI garantit une connectivité rapide avec les plates-formes de traitement intégrées telles que les microcontrôleurs basse consommation et les architectures de processeurs neuromorphiques modernes. La confidentialité au niveau des capteurs est assurée grâce aux rares données d'événement sans cadre des capteurs d'événements et inclut la suppression des scènes statiques.

Les capteurs basés sur les événements continuent d'évoluer pour répondre aux besoins d'un plus large éventail d'applications. Le capteur le plus récent de Prophesee, le Genx320, le rend bien adapté aux exigences de nombreux cas d'utilisation de l'IoT qui doivent fonctionner dans des systèmes à faible consommation et à petit facteur de forme. (Image :Prophétiser)

Les capteurs basés sur les événements sont désormais utilisés dans une gamme plus large d'applications. En intégrant ces capteurs aux plateformes IoT, les développeurs de produits répondent aux besoins spécifiques du marché liés à la consommation électrique et à la taille. Les cas d'utilisation incluent le rendu fovéal pour des expériences AR/VR améliorées, le suivi oculaire pour les interfaces homme-machine et les applications de sécurité telles que les systèmes de surveillance des conducteurs et la détection des émotions. Ils prennent également en charge des fonctionnalités permanentes à des fins de sécurité, telles que des caméras de détection de chute et le suivi des gestes et des mains pour les interfaces immersives. Dans le domaine AR/VR, des applications telles que le suivi intérieur et le suivi de constellation basées sur des écrans LCD scintillants permettent un suivi précis d'un objet ou d'un contrôleur.

D'autres nouveaux cas d'utilisation, rendus possibles par l'amélioration de la technologie du silicium, sont en cours de développement, notamment la technologie 3D à lumière structurée à grande vitesse qui permet la génération de nuages de points à des taux de répétition en kilohertz pour les applications industrielles. Les systèmes de maison intelligente soucieux de la confidentialité, tels que les unités de détection de chute, prolifèrent également plus largement, à mesure que la technologie de vision répond aux problèmes de confidentialité en ne capturant ni ne transmettant d'images.

La vision basée sur les événements est en passe de s'imposer comme un paradigme qui créera une nouvelle norme sur de nombreux marchés exigeant une efficacité dans la façon dont les machines peuvent voir. Au cours des dernières années, il a évolué avec succès pour répondre à un plus large éventail d’usages. Et en continuant à nous adapter et à répondre aux exigences de nombreuses applications, nous verrons davantage de caméras basées sur les événements tout autour de nous.

Cet article a été rédigé par Luca Verre, PDG et co-fondateur de Prophesee (Paris, France). Pour plus d'informations, visitez ici  .