Activation du matériel pour le métaverse

Le métaverse fait beaucoup parler, en particulier avec des entreprises comme Facebook et Nvidia présentant leurs visions de l'avenir numérique. Mais qu'est-ce que le métaverse exactement, quels sont les défis matériels pour l'activer et quels éléments sont déjà en place ? Le cabinet d'analystes IDTechEx a récemment exploré les progrès dans des domaines tels que les écrans, les capteurs d'images, l'optique, l'haptique, la réalité augmentée/réalité virtuelle; nous présentons une partie de cette discussion ici.

La fin du jeu pour le métavers est que les mondes virtuels existent de manière transparente aux côtés du réel, avec des interactions immersives entre les deux modifiant notre perception de la présence physique. Le logiciel pour cela est presque là, mais le matériel a encore de nombreux obstacles à surmonter.

Le métavers promet un changement radical dans la façon dont la société communique mais, sans la technologie matérielle, restera finalement une chimère. Nous pourrons toujours interagir avec le métaverse via nos téléphones et ordinateurs portables, mais ceux-ci deviendront des appareils hérités. Pour s'immerger, cela nécessite un casque de réalité virtuelle (VR); pour une véritable intégration entre le créé et le physique, des dispositifs de réalité augmentée (AR) sont nécessaires.

Une pierre de touche dans les industries des appareils AR/VR est l'acceptabilité sociale et sans progrès dans la technologie de détection, d'affichage et d'optique, les casques AR et VR ne seront pas assez élégants pour y parvenir. Malgré des milliards de dollars investis dans le développement, IDTechEx a déclaré que les véritables lunettes AR étaient encore loin de se trouver aux côtés des Ray-Ban en termes d'apparence ou d'affichage d'images de qualité IMAX. Meta (anciennement Facebook) a annoncé son projet de lunettes AR en même temps que son changement de nom, admettant qu'ils étaient à des années de la viabilité. Les casques VR invitent parfois à des comparaisons avec Robocop - seuls les appareils les plus haut de gamme commencent à brouiller les frontières entre ce qui est réel et ce qui ne l'est pas.

À long terme, l'objectif est un appareil léger et confortable que vous pouvez porter toute la journée, basculant entre AR et VR tout en permettant des interactions naturelles entre vous et les autres utilisateurs du métaverse. Le voyage technologique vers le matériel nécessaire pour créer cet appareil hypothétique présente des développements encore plus convaincants et des défis complexes que le logiciel.

Les écrans MicroLED font partie de la solution

Placer un écran juste devant vos yeux révèle des choses que nous ne remarquons pas en regardant un téléphone ou une télévision. Nous voyons les écarts entre les pixels dans un phénomène appelé effet de porte d'écran et la règle de base est que 60 pixels par degré (ppd) de champ de vision sont nécessaires pour que la VR ou la RA commencent à ressembler à la réalité, ce qui entraîne de grandes exigences en matière de résolution. . En plus de cela, l'optique est nécessaire pour focaliser et dimensionner correctement ces images pour notre vision. Dans le cas de la réalité augmentée, ces optiques sont très inefficaces, ce qui entraîne des demandes de luminosité de plusieurs millions de nits. À titre de référence, l'écran de l'iPhone 13 Pro Max atteint un maximum de 1200 nits.

Les écrans MicroLED sont une solution prometteuse pour la réalité augmentée et la réalité virtuelle. Ils ne souffrent pas de burn-in comme les écrans OLED, peuvent avoir des niveaux de luminosité fous (JadeBird en fait un pour les applications AR avec un niveau de luminosité maximal de 3 millions de nits), et permettent des pas de pixels minuscules, Mojo Vision produisant ce qu'ils appellent une nanoLED écran suffisamment petit pour tenir dans une lentille de contact et avec un pas de sous-pixel de 900 nm.

Cependant, il y a un problème majeur :les microaffichages microOLED ne sont pas bons pour produire des images en couleur, les microLED bleues étant nettement plus efficaces que les autres couleurs. La conversion de couleur par points quantiques est la solution privilégiée ici, permettant la conversion de la lumière bleue en rouge et en vert, et ces points quantiques peuvent être imprimés à jet d'encre ou à motifs lithographiques. Il existe toujours des problèmes de longévité, en particulier dans les micro-écrans très lumineux, ainsi que la dépendance aux métaux lourds dans de nombreuses formulations. Le calendrier de développement des écrans microLED est décrit en détail dans ce rapport sur la technologie, la commercialisation, les opportunités, le marché et les acteurs.

Le plus grand champ de bataille pour AR, en particulier, est l'optique de combinaison. Ces appareils superposent les images projetées sur une lentille transparente. Ici, les entreprises se battent pour le meilleur rendu des couleurs, le champ de vision le plus large et la plus grande boîte à yeux pour permettre une expérience d'affichage convaincante qui fonctionne pour chaque paire d'yeux.

Compte tenu de la grande nouveauté de cette année dans ce domaine, les guides d'ondes à relief de surface semblent être la solution sur laquelle parie l'industrie. En mai, WaveOptics a été racheté par Snap (un autre géant des médias sociaux tourné vers le métaverse) et en novembre, l'investissement de géants comme Samsung Electronics dans Digilens a conduit à une valorisation de 500 millions de dollars. Les deux sont des entreprises de guides d'ondes sans usine. Un développement passionnant de Digilens est son guide d'ondes TREX, qui peut doubler la résolution d'affichage efficace, fournissant une arme dans l'arsenal pour atteindre le 60ppd. Un autre rapport sur l'optique et les affichages en AR, VR et MR couvre les technologies, les acteurs et les marchés, et se penche en détail sur le combinateur optique et la technologie d'affichage dans ces applications.

Technologie de suivi oculaire

Si vous essayiez de construire un casque qui couvrait les 135 ° du champ de vision horizontal de chaque œil à une résolution de 60 ppm, les choses deviendraient rapidement ingérables - heureusement, seul le centre de notre vision est de cette haute qualité, les bords extérieurs ne l'étant pas. exigeant. En suivant nos yeux, la résolution peut être maximisée au centre de l'endroit où l'utilisateur regarde tout en réduisant les exigences ailleurs.

À l'avenir, cette technologie de suivi oculaire pourrait même être utilisée pour projeter des images AR/VR directement sur la rétine via un balayage par faisceau laser, évitant ainsi le besoin d'optiques de combinaison et de correction pour les porteurs de lunettes :c'est-à-dire si les consommateurs peuvent se familiariser avec l'idée.

Les entreprises de cet espace utilisent des technologies émergentes de capteurs d'images pour suivre l'œil plus efficacement. La vision basée sur les événements peut aider à réduire les demandes de traitement en enregistrant nativement le mouvement au lieu d'un flux d'images conventionnelles. À l'aide de capteurs d'image imprimés, la technologie de suivi oculaire peut être intégrée dans un ensemble plus svelte. Meta Materials Inc. (aucun lien avec Meta) intègre déjà des microcaméras directement dans les lentilles de lunettes et cette approche sera intégrée dans les optiques de combinaison ou de loupe pour AR et VR respectivement à mesure que la technologie évolue.

Haptique et expériences sensorielles

Tout ce qui a été discuté jusqu'à présent ne représente guère plus qu'un téléviseur haut de gamme attaché à votre visage si vous ne pouvez pas interagir avec lui d'une manière qui ressemble au monde réel. Non seulement les appareils AR et VR doivent détecter nos mouvements, mais, pour une immersion totale, des appareils haptiques (retour tactile) sont également nécessaires. En novembre 2021, la division Reality Labs (RL) de Meta a présenté un prototype de produit de gant haptique, y compris des vidéos de Mark Zuckerberg testant diverses démos. Ce gant utilise des systèmes microfluidiques pour fournir un retour haptique local à différentes zones de la main, semblant fournir un retour tactile supplémentaire à chaque doigt. Bien qu'il y ait eu une certaine controverse sur la ressemblance de ce prototype avec un produit de HaptX, la position IP de Meta est forte ici et elle représente les efforts déployés par les entreprises axées sur le métaverse pour garantir que des expériences sensorielles au-delà de l'audiovisuel sont livrées, selon IDTechEx.

L'analyste a déclaré que l'un des principaux gagnants du côté de la détection dans les casques récents a été les caméras à temps de vol pour le suivi des mains, éliminant le besoin d'interactions de style contrôleur de jeu avec les appareils VR et AR. Apple est connu pour être investi dans l'espace VR/AR depuis des années et, en octobre 2021, des sources de l'industrie ont rapporté que LG Innotek avait commencé à fournir des caméras de temps de vol à l'entreprise pour un casque VR dont la sortie est prévue en 2022. Quand Apple adopte une technologie, c'est généralement une déclaration forte qu'elle est sur le point de devenir omniprésente, représentant un autre point de données dans un avenir prometteur pour la RA et la VR.

IDTechEx conclut en disant que, de manière limitée, le métavers est déjà là. La montagne de développement matériel qui empêche sa pleine réalisation est lentement escaladée et des lunettes AR légères et esthétiques remplaçant nos téléphones et ordinateurs portables à l'avenir semblent être une quasi-certitude.