Hyperréel ou caricatural : les clés des identités réalistes dans le métaverse

Si vous vous demandez à quoi pourrait ressembler l'avenir de la réalité simulée, vous devriez regarder Blade Runner 2049 . Ce film a un personnage sous-estimé dont nous ne saisissons même pas complètement la vraie signification derrière la jolie image - l'hologramme idéalisé et portable Joi, avec un avatar personnalisé et des options pour changer son apparence en temps réel. En fait, Joi est une application compagnon d'IA qui peut être lue en 3D à l'aide d'appareils supplémentaires, mais le modèle 3D photoréaliste la fait paraître réelle. Le seul inconvénient est que Joi ne peut pas être entièrement matérialisé dans le monde réel.

Cependant, son hyperréalité signifie qu'elle est bien plus qu'une simple simulation – pour le protagoniste du film, c'est une vraie personne. C'est sa petite amie. Et, en la regardant dans le film, nous ignorons également son artifice. Joi pourrait être le meilleur exemple de ce que beaucoup de gens aimeraient être dans des espaces immersifs - parfaits, dotés de la capacité de créer et hyperréalistes.

Mais comment y arriver ? Des espaces virtuels qui imitent la réalité existent déjà, mais il n'existe toujours pas de solution unifiée pour leur transférer votre personnalité et maintenir une représentation de haute qualité. Cela prend du temps, coûte beaucoup d'argent et, par conséquent, n'est pas disponible pour l'utilisateur moyen.

Pourtant, réaliser des expériences virtuelles hyperréalistes – en particulier des avatars hyperréalistes – est à notre portée. Nous avons juste besoin de mieux comprendre comment nos identités virtuelles et numériques sont liées au concept d'hyperréalité, comment créer des versions hyperréalistes de nous-mêmes pour l'espace numérique et pourquoi la résolution du problème va au-delà de la visualisation de haute qualité des objets et les espaces.

Qu'est-ce que l'Hyperréalité ?

Nous considérons des choses hyperréelles comme des objets numériques visiblement indiscernables de la réalité physique. Mais en raison de leur nature numérique, ces objets ont également des propriétés et des capacités qui peuvent ne pas exister dans le monde physique. Cette définition s'applique aux avatars ou autres représentations de personnes (comme Joi de Blade Runner 2049 ), ainsi qu'à tout contenu numérique photoréaliste - cascades de films, jeux et effets spéciaux. L'hyperréalité est plus qu'une simple réalité augmentée qui trompe les sens parce que nous ne sentons pas - ou préférons ne pas sentir - la différence.

Pour une meilleure explication, plaçons l'hyperréalité sur le spectre entre réel et artificiel. Ce spectre comprend également la réalité augmentée et virtuelle, chacune offrant une expérience différente de la perception humaine.

• La réalité virtuelle est une représentation numérique complète d'un monde imaginaire que l'utilisateur expérimente comme une connaissance indépendante, une alternative au monde réel.

• La réalité augmentée est une réalité mixte avec des éléments du monde numérique ou du monde réel. Il est perçu par l'utilisateur comme une expérience d'interaction avec le monde numérique pour une plus grande immersion et créer un effet de présence.

• L'hyperréalité est une expérience d'origine numérique (artificielle) qui imite la réalité mais n'est pas perçue par l'utilisateur comme un jeu. Au contraire, cela élargit la perception de la réalité.

  
  

L'hyperréalité est la vraie vie, mais mieux

Je pense que l'hyperréalité sera un aspect clé de certaines expériences dans le métaverse et dans le futur Internet en général. Je suis d'accord avec Tom Graham, PDG et co-fondateur de Metaphysic, qui note que les gens préfèrent l'hyperréalité car elle permet des expériences plus authentiques et émotionnellement engageantes. Cette transition est nécessaire pour ouvrir un métavers au-delà du jeu et du divertissement, pour inclure des affaires quotidiennes plus ordinaires comme les visites chez les médecins ou les réunions de famille.

Depuis que le Web existe, les gens ont imaginé à quoi ressemblerait une véritable réalité virtuelle. Il y a près de 25 ans, par exemple, la psychologue Sherry Turkle décrivait l'avenir de l'identité humaine dans le monde Internet en utilisant le terme MUD (donjons multi-utilisateurs), que nous appelons aujourd'hui le métaverse : « MUDding est plus qu'un simple jeu informatique ; c'est l'hyperréalité en pleine force.

Et lorsqu'une personne se retrouve dans un espace virtuel, comment perçoit-elle ce monde ? Qui ou quoi sont-ils ? "Ils sont aussi réels que ma vraie vie", a répondu l'un des sujets de recherche de Turkle. «Je peux maintenant avoir un portefeuille de vies dans lesquelles ma vraie vie n'en est qu'une; RL [la vraie vie] n'est qu'une fenêtre de plus, et ce n'est généralement pas ma meilleure.

Étonnamment, les gens de la fin des années 1990 ont décrit leur sens de l'espace virtuel comme similaire à ce que nous ressentons aujourd'hui. Selon une étude mondiale réalisée par Momentum Worldwide à partir de juillet 2022 , les gens se sentent plus inclus dans le métaverse que dans la vraie vie. Le rapport a également révélé que les consommateurs se tournent vers l'expérience virtuelle pour remplir trois aspects essentiels de la vie : l'inspiration, l'individualité et l'inclusion.

Transférer une copie numérique de vous-même dans le monde virtuel et vivre des expériences humaines quotidiennes est la prochaine percée à faire sur la voie de la construction du métaverse.

En fait, beaucoup de gens croient que les expériences du monde réel seront éventuellement remplacées par des expériences virtuelles, et ils s'attendent à un avenir hyperréel. En juin 2022, McKinsey a interrogé plus de 3 400 consommateurs à travers le monde et a constaté que les deux tiers étaient enthousiastes à l'idée de faire passer leurs activités quotidiennes au métaverse, en particulier lorsqu'il s'agit de se connecter avec des personnes, d'explorer des mondes virtuels et de collaborer avec des collègues distants.

Cependant, un environnement donné ne se sentira hyper-réel que s'il reflète le monde réel autant que possible. Pas fictif et caricatural, mais réel . Comme un appel Zoom de travail mais dans un bureau 3D avec des collègues, ou comme un festival entre amis mais dans un espace 3D immersif. Nous avons déjà des environnements de jeu où l'utilisateur peut devenir n'importe qui, d'une princesse à un monstre ; il n'y a rien de technologiquement compliqué à leur sujet.

Des gens, des lieux et des choses

Le prochain défi est d'apprendre à recréer le monde réel et à nous y intégrer. Une grande partie de nous-mêmes , bien sûr, est notre apparence physique. Cependant, contrairement aux incarnations modernes des médias sociaux, où les utilisateurs luttent contre le besoin d'avoir l'air parfait ou d'avoir l'air "réel" (tout en restant bien sûr beau), l'hyperréalité devrait servir de forme de réduction du stress. Nous devrions être en mesure de modifier nos avatars numériques sans essayer de faire en sorte que notre moi littéral semble parfait – que vous souhaitiez ressembler à une célébrité ou rester vous-même en préservant vos caractéristiques personnelles.

Maintenir la capacité même de faire ce que nous voulons avec notre avatar est une autre clé - faire pousser des crocs ou choisir n'importe quelle couleur de cheveux, mettre des vêtements que nous aimons, ou même changer notre forme en une forme zoomorphe. Idéalement, dans la virtualité, c'est comme nous l'aimons.

Mais nos biens nous définissent également dans la vie réelle, et ils le feront également dans le métaverse. Nous nous efforcerons donc de transférer nos biens dans le monde numérique - par exemple, nos maisons, nos voitures, nos baskets ou même nos tasses préférées. De tels services existent déjà. Verse Estate , une agence de métavers spécialisée dans la création de modèles de maisons personnalisées hyperréalistes, permet aux clients d'ajouter des actifs numériques, leurs meubles préférés ou des œuvres d'art pour faire de leur maison virtuelle un lieu unique.

Encore mieux, si vos avatars, vos biens et votre identité numérique générale sont interopérables lorsque vous passez d'un monde ou d'un environnement à l'autre. Certaines technologies permettant de le faire existent déjà, notamment Ready Player Me , qui rend les identités virtuelles interopérables avec diverses plates-formes.

Entre statique et expressif se trouve une vallée étrange

Atteindre une véritable hyperréalité sera cependant difficile, même si certaines des capacités fondamentales prennent forme dans une certaine mesure. Résoudre toutes ses exigences et tous ses défis, qu'ils soient technologiques ou commerciaux, dépasse le cadre d'une entreprise ou d'un domaine. La quête d'un graphisme humain parfait fonctionne comme un microcosme du plus grand domaine.

Quand Meta a annoncé le lancement de sa plateforme métaverse Mondes d'Horizon , par exemple, tout le monde n'était pas satisfait de la qualité, des détails et du réalisme de l'avatar de dessin animé de Mark Zuckerberg. En fait, la plupart, sinon la totalité, des tentatives de visualisation actuelles dans le métavers sont loin d'être hyperréalistes et ne peuvent être comparées à celles, disons, des jeux de rôle en ligne massivement multijoueurs. Il y a une raison simple à cela : nous ne savons pas encore comment restituer la myriade d'émotions et d'expressions humaines qui devraient être disponibles dans des environnements virtuels réalistes, où les avatars répondent à des stimuli imprévisibles en temps réel.

Cependant, il existe un tas d'outils sur le marché pour créer des avatars numériques - des dessins animés comme CloneX et le Ready Player Me susmentionné aux plus hyper-réalistes fournis par des studios de personnages comme Reblika et Hyperreal . Ces studios présentent la plus haute qualité d'humains hyperréalistes pour le métaverse, en tête avec Unreal Engine's dernière version de MetaHuman , qui peut importer des scans de visage de personnes réelles et générer automatiquement un visage numérique. Bien que pour reproduire entièrement la copie numérique de quelqu'un en 3D, vous devez passer beaucoup de temps à jouer avec la couleur de la peau, les cheveux et d'autres détails, même si vous êtes un designer professionnel.

Je comparerais ces beaux humains numériques réalistes à une voiture très chère qui est la meilleure de sa catégorie, mais que vous ne pouvez conduire que pendant les vacances et sur une route droite et plate. Nous ne pourrons pas utiliser les mêmes outils et la même approche pour créer des humains numériques hyperréalistes pour un environnement dynamique en évolution rapide que nous le faisons avec le réalisme statique. Il est encore trop lourd et complexe pour relever tous les défis du rendu temps réel à grande échelle au sein du métaverse.

Tout récemment, cependant, Reality Labs de Meta taquiné ses dernières améliorations dans le projet Codec Avatars 2.0 - des prototypes d'avatars VR utilisant des techniques avancées d'apprentissage automatique. Le nouveau look des avatars très hyperréalistes et sont même capables d'exprimer des émotions , mais ils ne sont pas le résultat du seul travail des réseaux de neurones. Par exemple, une telle qualité nécessite toujours une numérisation avec des caméras 3D, qui, pour un certain nombre de raisons, ne seront probablement pas adoptées par le grand public de si tôt.

Dans l'ensemble, le principal obstacle est le calcul, car plus vous vous rapprochez de l'hyperréalité, plus vous avez besoin de puissance et de temps.

Par exemple, pour obtenir une augmentation de 1 % du réalisme, vous devez effectuer cinq fois le calcul.

Ainsi, le véritable défi pour les entreprises du métaverse est de résoudre l'étrange vallée de la représentation faciale, qui se traduit par des humains qui ont l'air réels, mais aussi contre nature et effrayants parce que quelque chose ne va pas .

L'effet de vallée étrange est encore plus perceptible lorsque nous vivons le métaverse via un appareil immersif comme un casque VR. Nous pouvons pardonner certains bugs dans les graphismes de jeux vidéo sur un écran plat, mais croyez-moi, vous ne voulez pas voir la jambe de quelqu'un séparée de son corps (au moins involontairement) lors de l'utilisation d'un casque XR ou voir des mouvements du visage qui ne suivent pas avec le discours direct. Par conséquent, la technologie - du réseau à l'appareil lui-même - doit être hautement optimisée pour permettre le rendu sur l'appareil en temps réel. Nous devons trouver un compromis viable entre les habitudes des utilisateurs, les capacités de l'appareil et le maintien d'un effet d'immersion hyperréaliste.

Le rendu neuronal est prometteur

Lorsque l'on parle de solutions technologiques de qualité inférieure mais plus rapides pour créer des personnages 3D réalistes, nous devrions examiner la méthode des champs de rayonnement neuronal (NeRF). La méthodologie NeRF a été décrite pour la première fois par des chercheurs de Google Research et de l'UC Berkeley en 2020 lors de la conférence européenne annuelle sur la vision par ordinateur. En 2022, une nouvelle vague de conversation sur cette technologie est apparue après que Nvidia a officiellement présenté son Instant NeRF – un modèle de rendu neuronal qui a la capacité de transformer plusieurs images 2D en scènes 3D sans balayage de la caméra. Contrairement à la modélisation polygonale classique, le rendu neuronal reproduit une scène 3D basée uniquement sur l'optique et l'algèbre linéaire. Selon Nvidia , il peut être utilisé pour "créer des avatars ou des scènes pour des mondes virtuels, pour capturer les participants à une vidéoconférence et leurs environnements en 3D, ou pour reconstruire des scènes pour des cartes numériques 3D".

Le principal avantage du rendu neuronal est sa scalabilité. Jusqu'à présent, le modèle a mis beaucoup de temps à apprendre et sa vitesse de rendu reste le principal gardien pour entrer sur le marché, mais l'IA est beaucoup plus flexible en termes d'optimisation. Les réseaux de neurones ont juste besoin de plus de temps et de données pour produire progressivement de meilleurs résultats. Je pense que nous allons bientôt observer l'émergence de nouvelles façons d'optimiser et de banaliser le rendu neuronal afin que chacun puisse prendre quelques selfies sur un smartphone et obtenir sa copie 3D virtuelle pour participer à un espace 3D hyper-réel.

C'est plus complexe technologiquement, mais je pense qu'il y aura un grand marché pour les futurs mondes virtuels hyperréalistes, en plus de ceux qui sont de type cartoon ou game-like. Et bien que nous parlions d'un avenir qui n'est pas encore tout à fait là, l'apprentissage automatique fait une fois de plus ses preuves dans un nouveau domaine. Cela pourrait jouer un rôle important dans la création de la magie hyperréaliste du métaverse.

Si vous souhaitez approfondir un peu le sujet, j'ai dressé une liste d'articles intéressants sur la création d'identité numérique, l'évolution graphique, le rendu neuronal, etc. :

• Double Negative livre le Joi de 'Blade Runner 2049' : Pour les geeks de CGI. Un article de Dan Sarto sur la façon dont l'expert en effets visuels Paul Lambert a créé le Joi holographique et d'autres éléments et visuels cyberpunk pour Blade Runner 2049.

  
  

• Les visages synthétiques créent un nouveau marché - et c'est terriblement bon : Une explication solide de l'évolution du visage numérique. Mon article sur la façon dont la technologie change nos visages et pourquoi ces transformations sont nécessaires aujourd'hui. Pour commencer, le mystère de savoir si l'IA peut créer une image digne de la confiance de millions de personnes.

  
  

• Perception sociale individuelle des avatars virtuels incarnés avec leurs expressions faciales habituelles et leur apparence faciale : Des recherches approfondies effectuées en 2021 se sont concentrées sur l'amélioration des expressions réalistes des personnages virtuels et des canaux de communication non verbaux pour créer une expérience plus personnalisée.

• Les visages frappés de Blaine O'neill dans les espaces latents : Cet article explique comment William Wiebe repense les avatars générés pour l'infrastructure du métaverse, révélant ses préférences intégrées dans le processus.

• Pourquoi les progrès du rendu 3D neuronal n'atteignent pas le marché : Un excellent article de mon collègue et co-fondateur de Reface, Oles Petriv, qui explique les aspects techniques du rendu neuronal sur la voie de la création instantanée d'objets 3D photoréalistes.

  
  

• Conception de mécanismes centrés sur l'humain avec une IA démocratique : Il s'agit davantage de résoudre l'IA et c'est presque hors sujet, mais tout en structurant mon article, j'ai aimé explorer la démonstration de preuve de concept de DeepMind sur l'apprentissage par renforcement profond, abordant l'un des principaux défis de la recherche en IA.