Le métaverse engagera les cinq sens

Sep 05, 2023

Dr. Jeroen Van Ham | 07 avril 2023

Alors même que l'industrie électronique continue d'améliorer la réalité virtuelle (VR) et la réalité augmentée (AR), un concept encore plus vaste s'impose : le métaverse. Là où la réalité augmentée et la réalité virtuelle sont essentiellement de nature visuelle, nous nous attendons à ce que le métaverse engage tous nos sens pour mélanger les mondes réel et numérique dans une expérience encore plus riche.

La réalité virtuelle et la réalité augmentée peuvent être visuelles, mais fournir cette expérience visuelle nécessite une suite de capteurs et d'actionneurs qui n'ont rien à voir avec la détection ou l'émission de lumière. Les capteurs de positionnement, de stabilité et de mouvement sont fondamentaux. Les données de ces différents capteurs doivent être traitées et les logiciels capables d'intégrer ces données pour produire des expériences progressivement plus riches et plus agréables doivent être continuellement affinés. Développer la VR/AR n'a pas été une mince affaire.

L'expérience métaverse nécessitera plus de capteurs, plus de types de capteurs différents, une puissance de traitement bien supérieure et des logiciels toujours plus sophistiqués. Orchestrer tout cela sera une tâche d'autant plus redoutable - tout à fait réalisable, mais le processus nous occupera certainement tous.

Pour mieux comprendre ce que pourrait être le métaverse, un rapide tour d'horizon de là où nous en sommes aujourd'hui sera utile.

La réalité virtuelle pourrait inclure des représentations numériques de lieux réels dans notre monde physique, des représentations virtuelles d'environnements qui n'existent pas autrement, ou tout mélange imaginable de l'apparence réelle avec le fantastique, tant que tout cela est généré par ordinateur.

La RA et la réalité mixte (MR) commencent toutes deux par le monde réel et physique, puis ajoutent quelque chose de virtuel. L'élément virtuel peut être n'importe quoi, de simples données alphanumériques à des objets, personnages ou scènes animés. Ce qui distingue la RA de la MR est encore une question d'opinion. Lorsque des distinctions sont faites, elles portent généralement sur des questions de degré - sur l'équilibre entre réel et virtuel.

Pour compliquer les choses, il y a aussi XR. Pour certains, le X dans XR n'est qu'un remplaçant pour les V, A et M dans VR, AR et MR, respectivement. D'autres disent que le X dans XR signifie "étendu", et bien sûr il n'y a pas d'accord sur ce que cela signifie non plus. La réalité étendue peut être synonyme de métaverse, ou non. Ou cela pourrait finir par être simplement un terme fourre-tout qui soulage les gens d'énumérer "VR, AR, MR et le métaverse" chaque fois que le sujet est abordé.

Bien que les termes restent flous, les technologies impliquées peuvent être considérées comme quelque peu définitives, du moins pour le moment. Pour commencer, la réalité virtuelle est définie par l'utilisation de lunettes et le sera probablement toujours.

À ce jour, AR et MR ont tendance à s'appuyer sur un support transparent (lunettes ou lunettes) ou quelque chose avec un combo appareil photo et écran qui peut se comporter comme s'il était transparent (un smartphone ou, encore une fois, des lunettes) qui sont accompagnés d'un mécanisme qui permet aux utilisateurs de percevoir des données et des images numériques. Actuellement, les technologies pour AR et MR sont très similaires, et si XR est quelque chose, il n'est pas défini de manière adéquate, donc pour le reste de cet essai, nous allons garder les choses simples et nous référer uniquement à VR, AR et au métaverse.

Il n'y a pas non plus d'accord sur la définition du métaverse, mais nous avons exprimé notre opinion plus tôt. Nous pensons qu'il est inutile de construire vers un métaverse à moins qu'il n'aille au-delà de la réalité virtuelle et de la réalité augmentée pour englober la vue, l'ouïe, le toucher, l'odorat et le goût.

Nous pensons donc que le métaverse sera défini par une technologie qui complète les masques et les lunettes, et peut-être même les remplace. Cela inclura presque certainement les appareils portables. Les appareils portables pourraient prendre presque toutes les formes, des bijoux (par exemple, des montres intelligentes) aux vêtements intelligents en passant par les prothèses et un jour, dans un avenir lointain, peut-être même des implants médicaux.

Les humains sont des créatures visuelles, et cela ne changera pas, donc la réalité virtuelle et la réalité augmentée seront naturellement des éléments fondamentaux du métaverse. Les écrans sont fondamentaux à la fois pour la réalité virtuelle et la réalité augmentée.

Les systèmes VR reposent presque exclusivement sur des écrans numériques insérés dans des lunettes. Différents systèmes AR adoptent des approches différentes, mais ils se résument généralement soit à monter un petit écran numérique quelque part dans le champ de vision de l'utilisateur, soit à projeter du contenu numérique sur le(s) verre(s) de lunettes.

TDK a récemment introduit une nouvelle option de projection. Nous avons créé un petit module laser léger qui projette des images numériques en couleur. Un réflecteur intégré aux verres des masques ou des lunettes dirige la projection directement dans la rétine des utilisateurs. Un avantage marginal intéressant de cette technique est qu'elle produit des images nettes et claires, même pour les personnes qui ont une vision imparfaite.

Cette approche permet de construire des casques plus petits et plus légers que ceux utilisant d'autres techniques d'affichage. Le poids n'est peut-être pas un gros problème avec les lunettes VR, mais des casques plus légers seront sans aucun doute appréciés. Cependant, la taille et le poids sont des problèmes avec les casques AR. L'indifférence du marché de masse à l'égard de la RA jusqu'à présent est attribuable au moins en partie au fait que le matériel est gênant, lourd et peu attrayant.

Nous pensons que la construction de casques AR avec de minuscules modules laser pourrait aider à accélérer les ventes de casques AR et le développement d'applications AR.

Littéralement, tous les mouvements humains possibles pourraient être incorporés dans une application VR ou AR, et il est donc nécessaire de pouvoir détecter les têtes qui pivotent, les doigts pointés, les corps accroupis – le tout avec six degrés de liberté (6DoF) – ou neuf (9DoF). Ces capteurs doivent être extrêmement précis ; une détection de mouvement imprécise peut entraîner divers degrés de désorientation chez certains utilisateurs.

Le mouvement est une chose; le poste en est un autre. Un utilisateur de réalité virtuelle peut avancer, reculer ou latéralement dans l'espace, mais généralement, les applications de réalité virtuelle n'obligent pas les utilisateurs à le faire. Cela dit, ce sera toujours une question de sécurité des utilisateurs pour que la plate-forme VR puisse détecter et suivre où se trouvent les utilisateurs dans l'espace réel, par exemple pour éviter les collisions avec les murs. Il est en outre utile de détecter toute autre chose dans cet environnement : meubles, autres personnes, animaux domestiques, etc.

La plupart des systèmes AR, quant à eux, doivent tenir compte de la mobilité totale dans l'espace physique réel et doivent donc avoir une détection de position précise. Le risque de distraction est inhérent au concept de RA ; à tout moment, tout en portant une plate-forme AR, un utilisateur peut lire, visionner une vidéo ou réagir à un objet virtuel. Il est impératif que le système AR compense la distraction de l'utilisateur en étant conscient de l'environnement au nom de l'utilisateur.

Les capteurs disponibles pour détecter l'environnement et la position de fixation comprennent :

Des accéléromètres à trois axes et des gyroscopes à 3 axes sont combinés pour détecter le mouvement avec 6DoF. L'intégration d'un magnétomètre 3 axes conduit à une détection 9DoF. Ces capteurs peuvent être utilisés dans presque toutes les combinaisons, en fonction des exigences d'une application VR ou AR donnée, ou d'un ensemble d'applications.

Les applications VR mono-utilisateur ont-elles besoin d'une détection ToF, par exemple ? Peut être pas. Mais encore une fois, peut-être. L'une des raisons d'ajouter la détection ToF serait d'obtenir une détermination précise de l'emplacement des mains des utilisateurs de réalité virtuelle dans l'espace réel, afin que des représentations numériques précises de leurs mains puissent être incorporées dans le monde virtuel. Avec un certain niveau de précision minimum, il serait possible d'abandonner ces appareils portables supplémentaires que certaines plates-formes VR utilisent pour le suivi des mains.

Ou envisagez un jeu VR multi-utilisateurs. Vous pouvez utiliser des capteurs ToF pour déterminer la position relative des joueurs les uns par rapport aux autres dans le monde réel et utiliser ces informations dans deux modes : dans le monde réel pour éviter les collisions et dans le monde virtuel pour empêcher les avatars des joueurs d'interférer les uns avec les autres.

Il existe une école de pensée qui dit que les plates-formes AR pourraient ne pas avoir besoin de la suite de capteurs la plus sophistiquée pour la détection de mouvement, le positionnement et la détection d'objets. La proposition est que l'environnement sera parsemé de capteurs, et les données pertinentes seront collectées et partagées entre tous les utilisateurs AR (et éventuellement les utilisateurs métavers) via un réseau sans fil.

Cela pourrait très bien finir par se produire, mais il pourrait être optimiste de penser que le monde sera bientôt aussi riche en capteurs, ou qu'il y aura une infrastructure sans fil adéquate avec une couverture étendue. Selon notre estimation, le monde peut obtenir une RA utile (et le métaverse) beaucoup plus tôt si les plates-formes de RA effectuent la plupart ou la totalité de leur propre détection. Cela peut nécessiter plus de traitement local, mais le risque de décalage ou de retard sera moindre, et il devrait également être plus facile de protéger les données des utilisateurs de cette façon.

Il peut y avoir des raisons pour lesquelles les plates-formes VR utilisent un microphone pour incorporer le son de l'environnement réel. D'un autre côté, il existe un certain nombre de raisons pour lesquelles les plates-formes AR surveillent l'audio environnemental.

La reconnaissance vocale seule pourrait être utile d'innombrables façons. Toute information transmise vocalement par quelqu'un pourrait être utilisée directement. Une adresse postale ou des directions vers un emplacement pourraient être automatiquement saisies dans une application cartographique. Les applications de traduction de langue pourraient être déclenchées automatiquement. Il existe de nombreuses raisons d'enregistrer l'audio ambiant seul ou en conjonction avec la vidéo.

Nous voudrions intégrer des caméras dans des plates-formes AR aux mêmes fins que nous les voulons dans nos smartphones. En fait, certains s'attendent à ce que les plates-formes AR remplacent certains smartphones, peut-être tous éventuellement. Et qui sait quelles applications les développeurs AR pourraient être en mesure de concevoir qui utilisent l'audio et la vidéo ?

Si le métaverse finit par engager tous nos sens, alors les plates-formes de métaverse incorporeront très certainement également des capteurs de mouvement, des capteurs de position, des caméras et des microphones.

Mais qu'en est-il du toucher ? Les données de bon nombre des mêmes capteurs utilisés pour la détection de mouvement, le positionnement et la détection d'objets peuvent être introduites dans des dispositifs haptiques. Ceux-ci peuvent être n'importe quoi, des bracelets aux gants en passant par les combinaisons partielles et complètes.

Il existe aujourd'hui des technologies haptiques en développement qui peuvent non seulement fournir une rétroaction physique indiquant que quelque chose est touché, mais aussi transmettre la texture de cet objet.

Avec la réalité virtuelle et la réalité augmentée, les "plates-formes" sont essentiellement des lunettes, des lunettes, des casques d'un type ou d'un autre. Cependant, le métaverse est susceptible d'être modulaire et implique de nombreux appareils portables différents qui pourraient être utilisés dans n'importe quelle combinaison en fonction des applications de métaverse que chaque personne choisit d'utiliser et de l'immersion qu'elle souhaite que ses expériences de métaverse soient.

Les sens sont complétés par le goût et l'odorat. Les détecteurs de CO2, par exemple, sont couramment disponibles et pourraient fournir des avertissements de conditions environnementales potentiellement dangereuses que la plupart des gens ne pourraient pas détecter par eux-mêmes.

La détection des odeurs et des saveurs se fait déjà aujourd'hui à l'aide de différents détecteurs et capteurs capables d'identifier la présence – et parfois même les proportions – de divers composés chimiques.

Recréer le goût et l'odorat pour l'utilisateur relève encore de la science-fiction. En effet, les plates-formes métaverses ne seront probablement jamais en mesure de nous transmettre le goût d'une recette ou l'odeur d'une sélection théorique de différents parfums s'ils sont combinés dans un parfum. Cela dit, une sélection de détecteurs de gaz et de produits chimiques pourrait vous dire si un aliment est impropre à la consommation ou quelle marque spécifique d'alcool a été utilisée dans le cocktail que vous venez de commander.

Plus d'informations sur les formats de texte