Des ingénieurs de l'Université du Maryland créent une caméra avancée inspirée de l'œil qui améliore la vision robotique

Université du Maryland, College Park, MD

Un diagramme illustrant le nouveau système de caméra AMI-EV. (Image :avec l'aimable autorisation du laboratoire de vision par ordinateur UMIACS)

Une équipe dirigée par des informaticiens de l’Université du Maryland a inventé un mécanisme de caméra qui améliore la façon dont les robots voient et réagissent au monde qui les entoure. Inspiré du fonctionnement de l’œil humain, leur système de caméra innovant imite les minuscules mouvements involontaires utilisés par l’œil pour maintenir une vision claire et stable au fil du temps. Le prototypage et les tests de la caméra par l'équipe, appelée AMI-EV (Artificial Microsaccade-Enhanced Event Camera), ont été détaillés dans un article publié dans la revue Science Robotics en mai 2024.

"Les caméras événementielles sont une technologie relativement nouvelle qui permet de mieux suivre les objets en mouvement que les caméras traditionnelles, mais les caméras événementielles d'aujourd'hui ont du mal à capturer des images nettes et sans flou lorsqu'il y a beaucoup de mouvement", a déclaré l'auteur principal de l'article, Botao He, docteur en informatique. étudiant à l'Université du Maryland. "C'est un gros problème car les robots et de nombreuses autres technologies, telles que les voitures autonomes, s'appuient sur des images précises et opportunes pour réagir correctement à un environnement changeant. Nous nous sommes donc demandé :comment les humains et les animaux s'assurent-ils que leur vision reste concentrée sur un objet en mouvement ?"

Pour l’équipe de He, la réponse était des microsaccades, des mouvements oculaires petits et rapides qui se produisent involontairement lorsqu’une personne essaie de concentrer sa vue. Grâce à ces mouvements infimes mais continus, l'œil humain peut rester concentré sur un objet et ses textures visuelles, telles que la couleur, la profondeur et les ombres, avec précision au fil du temps.

"Nous avons pensé que, tout comme nos yeux ont besoin de ces petits mouvements pour rester concentrés, un appareil photo pourrait utiliser un principe similaire pour capturer des images claires et précises sans flou causé par le mouvement", a-t-il déclaré.

L’équipe a réussi à reproduire les microsaccades en insérant un prisme rotatif à l’intérieur de l’AMI-EV pour rediriger les faisceaux lumineux capturés par la lentille. Le mouvement de rotation continu du prisme simulait les mouvements se produisant naturellement dans l'œil humain, permettant à la caméra de stabiliser les textures d'un objet enregistré comme le ferait un humain. L'équipe a ensuite développé un logiciel pour compenser le mouvement du prisme dans l'AMI-EV afin de consolider les images stables des lumières changeantes.

Le co-auteur de l'étude, Yiannis Aloimonos, professeur d'informatique à l'Université du Maryland, considère l'invention de l'équipe comme un grand pas en avant dans le domaine de la vision robotique.

"Nos yeux prennent des images du monde qui nous entoure et ces images sont envoyées à notre cerveau, où les images sont analysées. La perception se produit à travers ce processus et c'est ainsi que nous comprenons le monde", a expliqué Aloimonos, qui est également directeur du laboratoire de vision par ordinateur de l'Institut d'études informatiques avancées de l'Université du Maryland (UMIACS). "Lorsque vous travaillez avec des robots, remplacez les yeux par une caméra et le cerveau par un ordinateur. De meilleures caméras signifient une meilleure perception et de meilleures réactions pour les robots."

Les chercheurs pensent également que leur innovation pourrait avoir des implications significatives au-delà de la robotique et de la défense nationale. Les scientifiques travaillant dans des secteurs qui dépendent de la capture d'images précises et de la détection de formes recherchent constamment des moyens d'améliorer leurs caméras, et AMI-EV pourrait être une solution clé à de nombreux problèmes auxquels ils sont confrontés.

"Grâce à leurs caractéristiques uniques, les capteurs d'événements et l'AMI-EV sont sur le point d'occuper une place centrale dans le domaine des appareils portables intelligents", a déclaré la chercheuse Cornelia Fermüller, auteure principale de l'article. "Elles présentent des avantages distincts par rapport aux caméras classiques, telles que des performances supérieures dans des conditions d'éclairage extrêmes, une faible latence et une faible consommation d'énergie. Ces fonctionnalités sont idéales pour les applications de réalité virtuelle, par exemple, où une expérience fluide et des calculs rapides des mouvements de la tête et du corps sont nécessaires."

Lors des premiers tests, AMI-EV était capable de capturer et d'afficher le mouvement avec précision dans divers contextes, notamment la détection du pouls humain et l'identification de formes en mouvement rapide. Les chercheurs ont également découvert qu'AMI-EV pouvait capturer des mouvements en dizaines de milliers d'images par seconde, surpassant ainsi la plupart des caméras commerciales disponibles, qui capturent en moyenne 30 à 1 000 images par seconde. Cette représentation plus fluide et plus réaliste du mouvement pourrait s'avérer cruciale, depuis la création d'expériences de réalité augmentée plus immersives et une meilleure surveillance de la sécurité jusqu'à l'amélioration de la façon dont les astronomes capturent des images dans l'espace.

"Notre nouveau système de caméra peut résoudre de nombreux problèmes spécifiques, comme aider une voiture autonome à déterminer ce qui est un humain sur la route et ce qui ne l'est pas", a déclaré Aloimonos. "En conséquence, il propose de nombreuses applications avec lesquelles une grande partie du grand public interagit déjà, comme les systèmes de conduite autonome ou même les caméras des smartphones. Nous pensons que notre nouveau système de caméra ouvre la voie à des systèmes plus avancés et plus performants à venir."

Pour plus d'informations, contactez Georgia Jiang à Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer Javascript pour le visualiser..