Révolution de la vision machine : comment les capteurs événementiels accélèrent le traitement d'image

L'explosion du contenu généré par les caméras, dans les secteurs grand public et industriel, a placé une charge considérable sur la capacité des machines à acquérir, traiter et utiliser efficacement les données visuelles. Les défis actuels incluent : une quantité écrasante de données collectées (dont une grande partie est inutile pour les machines) ; des capacités de traitement insuffisantes (surtout dans les applications contraintes en taille et consommation) ; et la demande de traitement en temps réel. Par conséquent, les développeurs de systèmes à vision — smartphones, wearables, maisons connectées, IoT, automobile, automatisation industrielle — cherchent à transformer l'approche traditionnelle de la détection visuelle et de l'acquisition de données.

Limites de la vision par images successives

Ayant pour origine la fourniture d'images pour la consommation humaine, la technologie caméra — reposant principalement sur des méthodes par images (frame-based) — s'avère inadaptée aux exigences de la vision machine moderne. Depuis des années, la vision machine dépend d'informations visuelles acquises et structurées pour l'interprétation humaine : flux vidéo composés d'images séquentielles capturées par un capteur d'image. Chaque image représente un instantané statique à un moment donné, dépourvu d'information dynamique. Cette méthode de collecte de données visuelles prévaut dans la plupart des systèmes de vision machine conçus pour surveiller les changements et mouvements dans des environnements dynamiques.

Le défi majeur survient lors de mouvements ou changements dans une scène, ce qui est courant dans la plupart des applications de vision machine, et les limitations inhérentes de l'acquisition par images deviennent flagrantes. Quel que soit le taux d'images fixé, si une caméra tente de capturer une scène en mouvement, elle sera systématiquement imprécise. Comme différentes parties d'une scène présentent généralement des dynamiques variables simultanément, l'utilisation d'un taux d'échantillonnage unique pour réguler l'exposition des pixels sur une matrice d'imagerie entraîne inévitablement une capture inadéquate de ces dynamiques de scène diverses et concurrentes.

Moins de données, plus d'efficacité : la vision événementielle

S'ajoutant à ce défi, les problèmes des capteurs d'image traditionnels sont leur lenteur et leur consommation énergétique élevée, tout en produisant d'énormes quantités de données redondantes et en offrant une plage dynamique limitée, les rendant mal adaptés aux tâches de vision machine, particulièrement dans les environnements d'exploitation exigeants. En conséquence, les systèmes de vision événementielle « neuromorphiques », inspirés biologiquement, émergent comme alternatives offrant vitesse accrue, latence minimale, meilleure efficacité énergétique et plage dynamique plus large, bien adaptés à diverses applications de vision machine.

La vision événementielle marque un changement de paradigme dans l'acquisition et le traitement de l'information visuelle pour la vision machine moderne. Utilisant des techniques neuromorphiques inspirées du système visuel humain, cette approche vise à améliorer l'efficacité et la performance dans divers systèmes à vision dans les secteurs grand public, industriel, automobile et autres, pour améliorer sécurité, productivité et expérience utilisateur. (Image : Prophesee)

Fonctionnement radicalement différent

La vision événementielle fonctionne différemment des caméras traditionnelles en s'affranchissant d'un taux d'acquisition uniforme pour tous les pixels. Au lieu de cela, chaque pixel détermine indépendamment son moment d'échantillonnage en fonction des changements de lumière incidente, grâce à une intelligence dédiée par pixel. L'information de détection de contraste est encapsulée dans des « événements », comprenant les coordonnées x,y du pixel et l'heure précise de génération de l'événement. Avec les capteurs événementiels brevetés de Prophesee, par exemple, les pixels s'activent intelligemment lors de la détection de changements de contraste (mouvement), permettant la capture continue des détails de mouvement essentiels au niveau du pixel.

La différence par rapport aux taux d'images fixes réside dans la capacité de chaque pixel à ajuster son taux d'échantillonnage selon son entrée visuelle. Cette approche personnalisée permet à chaque pixel de déterminer ses points d'échantillonnage en réagissant aux variations de niveaux de lumière incidente. Par conséquent, le processus d'échantillonnage n'est plus dicté par une source de timing artificielle mais par le signal lui-même — plus précisément par les fluctuations d'amplitude temporelle du signal. Le résultat produit par de telles caméras évolue de séquences d'images vers un flux continu de données de pixels individuels générées conditionnellement selon la dynamique de la scène.

Avantages majeurs des capteurs événementiels

• Fonctionnement haute vitesse (équivalent à 10 000 ips)
• Consommation d'énergie hautement efficace (jusqu'à l'ordre du microwatt)
• Faible latence pour des temps de réponse plus rapides
• Besoins de traitement de données réduits (10 à 10 000 fois moins que les systèmes par images)
• Plage dynamique élevée jusqu'à 120 dB

Ces caractéristiques rendent les capteurs événementiels adaptés à diverses applications et produits.

Applications de la vision événementielle

Les capteurs événementiels neuromorphiques peuvent être utilisés pour diverses tâches d'automatisation industrielle, améliorant productivité, qualité, sécurité, sûreté et maintenance préventive. (Image : Prophesee)

Initialement, les capteurs événementiels neuromorphiques ont trouvé une utilisation commerciale non pas dans les machines mais pour les humains, pour la restauration de la vision chez les personnes malvoyantes. Cela a conduit à des cas d'usage dans l'automatisation industrielle et la surveillance de processus. Ces usages ont démontré les avantages des capteurs événementiels pour de nombreuses tâches de vision, particulièrement celles impliquant des éléments en mouvement rapide et changeants, des conditions d'éclairage ambiant imprévisibles, et des ressources limitées. Les générations ultérieures de systèmes événementiels ont été appliquées en milieu industriel pour des tâches comme le comptage haute vitesse, la maintenance préventive (ex. surveillance des vibrations), l'amélioration de l'efficacité et la sécurité robotiques, le suivi oculaire ou gestuel pour AR/VR, ainsi que diverses applications logistiques et de sécurité/sûreté.

Idéal pour l'IoT

Ces avantages inhérents rendent les capteurs événementiels idéaux pour les applications IoT. La consommation d'énergie joue un rôle critique dans les dispositifs IoT, particulièrement ceux fonctionnant sur batterie. La vision événementielle est bien adaptée à ces scénarios car elle opère à des niveaux de puissance significativement inférieurs aux systèmes de caméra par images. De plus, les caméras événementielles excellent dans les conditions d'éclairage difficiles communes dans de nombreuses applications IoT grâce à leur traitement d'information indépendant de la lumière. Leur plage dynamique élevée leur permet de capturer une large gamme d'intensités lumineuses dans une seule image, les rendant parfaites pour les environnements à éclairage variable comme les scènes extérieures en plein soleil ou les réglages nocturnes.

Avec une plage dynamique dépassant 120 dB, les caméras événementielles fonctionnent efficacement même dans les environnements où les caméras traditionnelles peinent avec des conditions d'éclairage variables — qu'il s'agisse de réglages extrêmement lumineux comme les espaces publics ou les véhicules en journée, ou de scénarios faiblement éclairés comme les opérations nocturnes ou les usines sombres où les capteurs événementiels peuvent servir pour la maintenance préventive et la surveillance de sécurité. (Image : Prophesee)

En outre, ces caméras offrent une latence minimale en transmettant l'information uniquement lorsqu'il y a un changement de luminosité dans la scène. La réponse en temps réel s'avère avantageuse dans les situations d'éclairage changeant rapidement, comme les transitions brusques de clair à obscur ou vice versa. Les caméras événementielles, qui détectent les altérations individuelles d'intensité lumineuse, sont moins sujettes au flou de mouvement que les caméras traditionnelles par images.

Cette caractéristique est particulièrement précieuse dans les scénarios impliquant des mouvements rapides, assurant une qualité d'image nette. De nouveaux usages tirant parti de cet avantage sont en développement pour les caméras de smartphones, par exemple le partenariat de Prophesee avec Qualcomm pour intégrer sa technologie événementielle à la plateforme Snapdragon populaire.

Évolution vers l'edge vision

Le développement ultérieur des capteurs événementiels pour l'IoT implique leur adaptation aux tâches de vision en périphérie (edge) avec des capacités de calcul embarqué limitées, du fait de l'acquisition de données parcimonieuses. Cependant, des défis tels que les formats de données non conventionnels, les débits de données variables et les interfaces non standard ont freiné une adoption plus large. Pour y remédier, la dernière génération de capteurs événementiels, exemplifiée par le GenX320 de Prophesee, vise à améliorer l'intégration et l'utilisabilité dans les systèmes de vision embarquée en périphérie en incorporant des fonctions de pré-traitement et de formatage des données d'événements, des interfaces de données compatibles, et une connectivité à faible latence avec diverses plateformes de traitement incluant des processeurs neuromorphiques à haute efficacité énergétique. Par exemple, le GenX320 offre de multiples fonctions de pré-traitement, des interfaces adaptables, et des options de gestion d'énergie pour répondre efficacement aux applications de vision sensibles à la consommation.

Malgré leur efficacité opérationnelle, l'optimisation des capteurs événementiels pour une faible consommation adaptée aux configurations IoT reste critique. L'implémentation d'une gamme de modes d'alimentation et de modes de fonctionnement spécifiques à l'application peut améliorer significativement l'efficacité énergétique pour les applications « toujours actives ». L'utilisation de mécanismes et stratégies de gestion intelligente de l'alimentation sur puce peut encore affiner la flexibilité et l'utilisabilité du capteur ; les solutions de Prophesee ont démontré une consommation réduite à 36 µW avec la fonctionnalité de réveil intelligent sur événements activée. Le support des modes veille profonde et veille prolongée peut également être bénéfique.

Les considérations spécifiques pour un capteur événementiel ciblant les applications IoT incluent : l'horodatage d'événements à résolution microseconde avec latence minimale, couplé à des capacités d'interfaçage fluides avec des SoC standards via des fonctions intégrées de pré-traitement des données d'événements. L'utilisation d'interfaces de sortie MIPI ou CPI assure une connectivité rapide avec des plateformes de traitement embarqué telles que microcontrôleurs à faible consommation et architectures de processeurs neuromorphiques modernes. La confidentialité au niveau du capteur est assurée par les données d'événements parcimonieuses et sans trame des capteurs événementiels, incluant la suppression de scène statique.

Les capteurs événementiels continuent d'évoluer pour répondre aux besoins d'une gamme d'applications plus large. Le capteur le plus récent de Prophesee, le GenX320, le rend bien adapté aux exigences de nombreux cas d'usage IoT qui doivent fonctionner dans des systèmes à faible consommation et faible encombrement. (Image : Prophesee)

Nouveaux cas d'usage émergents

Les capteurs événementiels sont maintenant utilisés dans une gamme d'applications plus large. En intégrant ces capteurs avec des plateformes IoT, les développeurs de produits répondent à des besoins de marché spécifiques liés à la consommation d'énergie et à la taille. Les cas d'usage incluent : le rendu fovéal pour des expériences AR/VR améliorées, le suivi oculaire pour interfaces homme-machine et applications de sécurité comme la surveillance du conducteur et la détection d'émotions. Ils supportent aussi les capacités « always-on » pour la sécurité comme les caméras de détection de chutes et le suivi gestuel/main pour interfaces immersives. Dans le domaine AR/VR, des applications comme le suivi inside-out et le suivi de constellation basé sur LCD scintillants permettent un suivi précis d'objets ou de contrôleurs.

De nouveaux cas d'usage, rendus possibles par les améliorations de la technologie silicium, sont en développement, incluant la lumière structurée haute vitesse 3D qui permet la génération de nuages de points à des taux de répétition kilohertz pour applications industrielles. Les systèmes domotiques respectueux de la vie privée comme les unités de détection de chutes prolifèrent également plus largement car la technologie de vision répond aux préoccupations de confidentialité en ne capturant ni ne transmettant d'images.

La vision événementielle est en bonne voie pour s'établir comme un paradigme qui créera une nouvelle norme dans de nombreux marchés nécessitant de l'efficacité dans la façon dont les machines peuvent voir. Au cours des dernières années, elle a réussi à évoluer pour répondre à une gamme d'utilisations plus large. Et en continuant à s'adapter et à répondre aux exigences de nombreuses applications, nous verrons de plus en plus de caméras événementielles autour de nous.

Cet article a été écrit par Luca Verre, PDG et cofondateur, Prophesee (Paris, France). Pour plus d'informations, visitez ici.