Des ingénieurs de l'Université du Maryland créent une caméra avancée inspirée de l'œil améliorant la vision robotique

Université du Maryland, College Park, MD

Un diagramme représentant le nouveau système de caméra AMI-EV. (Image : Avec l'aimable autorisation du Laboratoire de vision par ordinateur UMIACS)

Une caméra qui imite les microsaccades

Une équipe dirigée par des informaticiens de l'Université du Maryland a inventé un mécanisme de caméra qui améliore la façon dont les robots voient et réagissent au monde qui les entoure. Inspirée par le fonctionnement de l'œil humain, leur système de caméra innovant imite les minuscules mouvements involontaires utilisés par l'œil pour maintenir une vision claire et stable dans le temps. Le prototypage et les tests de la caméra — appelée caméra à événement à microsaccades artificielles améliorée (AMI-EV) — ont été détaillés dans un article publié dans la revue Science Robotics en mai 2024.

« Les caméras à événement sont une technologie relativement nouvelle, meilleure pour suivre les objets en mouvement que les caméras traditionnelles, mais les caméras à événement d'aujourd'hui ont du mal à capturer des images nettes, sans flou, quand il y a beaucoup de mouvement impliqué », a dit l'auteur principal de l'article Botao He, doctorant en informatique à l'Université du Maryland. « C'est un gros problème car les robots et beaucoup d'autres technologies, comme les voitures autonomes, comptent sur des images précises et opportunes pour réagir correctement à un environnement changeant. Alors, nous nous sommes demandés : comment les humains et les animaux s'assurent-ils que leur vision reste focalisée sur un objet en mouvement ? »

Le principe des microsaccades

Pour l'équipe de He, la réponse était les microsaccades, de petits et rapides mouvements oculaires qui se produisent involontairement quand une personne essaie de focaliser sa vue. À travers ces mouvements minuscules mais continus, l'œil humain peut maintenir la focalisation sur un objet et ses textures visuelles — comme la couleur, la profondeur et l'ombrage — avec précision dans le temps.

« Nous avons pensé que juste comme nos yeux ont besoin de ces minuscules mouvements pour rester focalisés, une caméra pourrait utiliser un principe similaire pour capturer des images claires et précises sans flou causé par le mouvement », a dit He.

Implémentation technique

L'équipe a réussi à reproduire les microsaccades en insérant un prisme rotatif à l'intérieur de l'AMI-EV pour rediriger les faisceaux lumineux capturés par l'objectif. Le mouvement de rotation continu du prisme simulait les mouvements se produisant naturellement dans un œil humain, permettant à la caméra de stabiliser les textures d'un objet enregistré tout comme un humain le ferait. L'équipe a ensuite développé un logiciel pour compenser le mouvement du prisme à l'intérieur de l'AMI-EV pour consolider des images stables à partir des lumières changeantes.

Le co-auteur de l'étude Yiannis Aloimonos, Professeur d'informatique à l'Université du Maryland, considère l'invention de l'équipe comme un grand pas en avant dans le domaine de la vision robotique.

« Nos yeux prennent des photos du monde autour de nous et ces photos sont envoyées à notre cerveau, où les images sont analysées. La perception se produit à travers ce processus et c'est comme ça qu'on comprend le monde », a expliqué Aloimonos, qui est aussi directeur du Laboratoire de vision par ordinateur à l'Institut de l'Université du Maryland pour les études informatiques avancées (UMIACS). « Quand vous travaillez avec des robots, remplacez les yeux par une caméra et le cerveau par un ordinateur. De meilleures caméras signifient une meilleure perception et des réactions pour les robots. »

Applications au-delà de la robotique

Les chercheurs croient aussi que leur innovation pourrait avoir des implications significatives au-delà de la robotique et de la défense nationale. Les scientifiques travaillant dans des industries qui comptent sur une capture d'image précise et une détection de forme cherchent constamment des moyens d'améliorer leurs caméras, et l'AMI-EV pourrait être une solution clé à beaucoup des problèmes qu'ils rencontrent.

« Avec leurs caractéristiques uniques, les capteurs à événement et l'AMI-EV sont prêts à prendre le devant de la scène dans le domaine des wearables intelligents », a dit la scientifique de recherche Cornelia Fermüller, auteur principal de l'article. « Elles ont des avantages distincts sur les caméras classiques, comme une performance supérieure dans des conditions d'éclairage extrêmes, une faible latence et une faible consommation d'énergie. Ces caractéristiques sont idéales pour les applications de réalité virtuelle, par exemple, où une expérience fluide et des calculs rapides des mouvements de tête et de corps sont nécessaires. »

Résultats de tests précoces

Dans les tests précoces, l'AMI-EV a été capable de capturer et d'afficher le mouvement avec précision dans une variété de contextes, y compris la détection du pouls humain et l'identification rapide de formes en mouvement. Les chercheurs ont aussi découvert que l'AMI-EV pouvait capturer le mouvement en dizaines de milliers d'images par seconde, surpassant la plupart des caméras commerciales typiquement disponibles, qui capturent 30 à 1000 images par seconde en moyenne. Cette représentation plus fluide et plus réaliste du mouvement pourrait s'avérer cruciale dans tout, de la création d'expériences de réalité augmentée plus immersives et d'une meilleure surveillance de sécurité à l'amélioration de la façon dont les astronomes capturent des images dans l'espace.

« Notre nouveau système de caméra peut résoudre beaucoup de problèmes spécifiques, comme aider une voiture autonome à déterminer ce qui sur la route est un humain et ce qui ne l'est pas », a dit Aloimonos. « En conséquence, il a beaucoup d'applications que le grand public interagit déjà avec, comme les systèmes de conduite autonome ou même les caméras de smartphone. Nous croyons que notre nouveau système de caméra pave la voie pour des systèmes plus avancés et capables à venir. »

Pour plus d'informations, contactez Georgia Jiang à cette adresse email protégée.