Hiperreal o caricaturesco: las claves de las identidades realistas en el metaverso

Si te preguntas cómo será el futuro de la realidad simulada, deberías ver Blade Runner 2049 . Esta película tiene un personaje subestimado cuyo verdadero significado ni siquiera captamos completamente detrás de la bonita imagen: el holograma idealizado y portátil Joi, con un avatar personalizado y opciones para cambiar su apariencia en tiempo real. De hecho, Joi es una aplicación complementaria de IA que se puede reproducir en 3D con la ayuda de dispositivos adicionales, pero el modelo 3D fotorrealista la hace parecer real. El único inconveniente es que Joi no se puede materializar completamente en el mundo real.

Sin embargo, su hiperrealidad significa que es mucho más que una simple simulación: para la protagonista de la película, es una persona real. ella es su novia Y, viéndola en la película, también ignoramos su artificialidad. Joi podría ser el mejor ejemplo de lo que a mucha gente le gustaría ser en espacios inmersivos: perfecto, dotado de la capacidad de crear e hiperrealista.

Pero, ¿cómo podemos llegar allí? Ya existen espacios virtuales que imitan la realidad, pero aún no existe una solución unificada sobre cómo trasladarles tu personalidad y mantener una representación de alta calidad. Toma tiempo, cuesta mucho dinero y, como resultado, no está disponible para el usuario promedio.

Sin embargo, lograr experiencias virtuales hiperrealistas, especialmente avatares hiperrealistas, está a nuestro alcance. Solo necesitamos una mejor comprensión de cómo nuestras identidades virtuales y digitales están conectadas con el concepto de hiperrealidad, cómo crear versiones hiperrealistas de nosotros mismos para el espacio digital y por qué resolver el problema va más allá de la visualización de alta calidad de objetos y espacios.

¿Qué es la Hiperrealidad?

Consideramos cosas hiperreales como objetos digitales que son visiblemente indistinguibles de la realidad física. Pero debido a su naturaleza digital, estos objetos también tienen propiedades y capacidades que pueden no existir en el mundo físico. Esta definición se aplica a avatares u otras representaciones de personas (como Joi de Blade Runner 2049 ), así como a cualquier contenido digital fotorrealista: acrobacias cinematográficas, juegos y efectos especiales. La hiperrealidad es más que una simple realidad aumentada que engaña a los sentidos porque no sentimos, o preferimos no sentir, la diferencia.

Para una mejor explicación, coloquemos la hiperrealidad en el espectro entre lo real y lo artificial. Este espectro también incluye realidad virtual y aumentada, cada una de las cuales brinda una experiencia diferente de percepción humana.

• La realidad virtual es una representación digital completa de un mundo imaginario que el usuario experimenta como un conocimiento independiente, una alternativa al mundo real.

• La realidad aumentada es una realidad mixta con elementos del mundo digital o del mundo real. Es percibido por el usuario como una experiencia de interacción con el mundo digital para una mayor inmersión y creando el efecto de presencia.

• La hiperrealidad es una experiencia de origen digital (artificial) que imita la realidad pero no es percibida por el usuario como un juego. Por el contrario, amplía la percepción de la realidad.

  
  

La hiperrealidad es la vida real, pero mejor

Creo que la hiperrealidad será un aspecto clave de ciertas experiencias en el metaverso y en el futuro de Internet en general. Estoy de acuerdo con Tom Graham, director ejecutivo y cofundador de Metaphysic, quien señala que las personas prefieren la hiperrealidad porque permite experiencias más auténticas y emocionalmente atractivas. Esta transición es necesaria para abrir un metaverso más allá de los juegos y el entretenimiento, para incluir asuntos cotidianos más comunes, como visitas a médicos o reuniones familiares.

Desde que existe la web, la gente ha imaginado cómo sería una verdadera realidad virtual. Hace casi 25 años, por ejemplo, la psicóloga Sherry Turkle describió el futuro de la identidad humana en el mundo de Internet usando el término MUD (mazmorras multiusuario), que hoy llamamos metaverso: “MUDding es más que un simple juego de computadora; es la hiperrealidad en toda su fuerza.”

Y cuando una persona se encuentra en un espacio virtual, ¿cómo percibe ese mundo? ¿Quiénes o qué son? “Son tan reales como mi vida real”, respondió uno de los sujetos de investigación de Turkle. “Ahora puedo tener una cartera de vidas en las que mi vida real es solo una; RL [la vida real] es solo una ventana más, y no suele ser la mejor”.

Sorprendentemente, la gente a fines de la década de 1990 describió su sentido del espacio virtual como similar a lo que sentimos hoy. Según un estudio global de Momentum Worldwide de julio de 2022 , las personas se sienten más incluidas en el metaverso que en la vida real. El informe también encontró que los consumidores buscan la experiencia virtual para completar tres aspectos centrales de la vida: inspiración, individualidad e inclusión.

Transferir una copia digital de uno mismo al mundo virtual y tener experiencias humanas cotidianas es el siguiente avance en el camino hacia la construcción del metaverso.

De hecho, muchas personas creen que las experiencias del mundo real eventualmente serán reemplazadas por experiencias virtuales, y esperan un futuro hiperreal. En junio de 2022, McKinsey encuestó a más de 3400 consumidores de todo el mundo y descubrió que dos tercios están entusiasmados con la transición de las actividades cotidianas al metaverso, especialmente cuando se trata de conectarse con personas, explorar mundos virtuales y colaborar con colegas remotos.

Sin embargo, cualquier entorno dado solo se sentirá hiperreal si refleja el mundo real tanto como sea posible. No ficticio y caricaturesco, sino real . Como una llamada Zoom de trabajo pero en una oficina 3D con colegas, o como un festival con amigos pero en un espacio 3D inmersivo. Ya tenemos entornos de juego donde el usuario puede convertirse en cualquier persona, desde una princesa hasta un monstruo; no hay nada tecnológicamente complicado en ellos.

Personas, lugares y cosas

El siguiente reto es aprender a recrear el mundo real e integrarnos en él. Una parte importante de nosotros mismos , por supuesto, es nuestra apariencia física. Sin embargo, a diferencia de las encarnaciones modernas de las redes sociales, donde los usuarios luchan por la necesidad de lucir perfectos o lucir "reales" (mientras, por supuesto, aún se ven bien), la hiperrealidad debería servir como una forma de reducción del estrés. Deberíamos poder modificar nuestros avatares digitales sin tratar de hacer que nuestro yo literal parezca perfecto, ya sea que desee lucir como una celebridad o seguir siendo usted mismo conservando sus características personales.

Mantener la capacidad de hacer lo que queramos con nuestro avatar es otra clave: crecer colmillos o elegir cualquier color de cabello, ponernos la ropa que nos gusta o incluso cambiar nuestra forma a una zoomorfa. Idealmente, en la virtualidad, es como nos gusta.

Pero nuestras pertenencias también nos definen en la vida real, y también lo harán en el metaverso. Por lo tanto, nos esforzaremos por transferir nuestras pertenencias al mundo digital, por ejemplo, nuestras casas, automóviles, zapatillas o incluso nuestras tazas favoritas. Tales servicios ya existen. Verse Estate , una agencia de metaverso que se especializa en crear modelos de casas personalizados hiperrealistas, permite a los clientes agregar activos digitales, sus muebles favoritos o arte para hacer de su hogar virtual un lugar único.

Aún mejor es si sus avatares, pertenencias e identidad digital general son interoperables a medida que realiza la transición entre mundos o entornos. Ya existen algunas tecnologías que permiten hacer esto, incluido Ready Player Me , que hace que las identidades virtuales sean interoperables con varias plataformas.

Entre lo estático y lo expresivo se encuentra un valle inquietante

Sin embargo, lograr la verdadera hiperrealidad será difícil, incluso cuando algunas de las capacidades fundamentales se están perfilando hasta cierto punto. Resolver todos sus requisitos y desafíos, tanto tecnológicos como comerciales, está más allá del alcance de cualquier empresa o campo. La búsqueda de las funciones gráficas humanas perfectas como un microcosmos de un campo mayor.

Cuando Meta anunció el lanzamiento de su plataforma de metaverso mundos horizonte , por ejemplo, no todos quedaron satisfechos con la calidad, los detalles y el realismo del avatar de dibujos animados de Mark Zuckerberg. De hecho, la mayoría, si no todos, los intentos de visualización actuales en el metaverso están lejos de ser hiperreales y no se pueden comparar con los de, por ejemplo, los juegos de rol multijugador masivos en línea. Hay una razón simple para esto: todavía no sabemos cómo representar la miríada de emociones y expresiones humanas que deberían estar disponibles en entornos virtuales realistas, donde los avatares responden a estímulos impredecibles en tiempo real.

Sin embargo, hay un montón de herramientas en el mercado para crear avatares digitales, desde los caricaturescos como CloneX y el mencionado Ready Player Me hasta los más hiperrealistas proporcionados por estudios de personajes como Reblika e Hyperreal . Estos estudios muestran la más alta calidad de humanos hiperreales para el metaverso, liderando con Unreal Engine último lanzamiento de MetaHuman , que puede importar escaneos faciales de personas reales y generar automáticamente un rostro digital. Aunque para reproducir completamente la copia digital de alguien en 3D, debe dedicar mucho tiempo a jugar con el color de la piel, el cabello y otros detalles, incluso si es un diseñador profesional.

Compararía a estos hermosos humanos digitales realistas con un automóvil muy costoso que es el mejor en su clase, pero que solo se puede conducir en vacaciones y en una carretera plana y recta. No podremos usar las mismas herramientas y el mismo enfoque para crear humanos digitales hiperrealistas para un entorno dinámico que cambia rápidamente como lo hacemos con el realismo estático. Todavía es demasiado pesado y complejo para enfrentar todos los desafíos de la representación en tiempo real a escala dentro del metaverso.

Sin embargo, recientemente, Meta's Reality Labs burlado sus últimas mejoras en el proyecto Codec Avatars 2.0: prototipos de avatares de realidad virtual que utilizan técnicas avanzadas de aprendizaje automático. Los nuevos avatares lucen muy hiperrealistas e incluso son capaces de expresar emociones , pero no son el resultado del trabajo de las redes neuronales únicamente. Por ejemplo, dicha calidad aún requiere escanear con cámaras 3D que, por varias razones, es poco probable que alcancen la adopción generalizada en el corto plazo.

En general, el principal obstáculo es la computación porque cuanto más te acercas a la hiperrealidad, más poder y tiempo necesitas.

Por ejemplo, para obtener un aumento del 1 % en el realismo, debe multiplicar por cinco el cálculo.

Entonces, el verdadero desafío para las empresas en el metaverso es resolver el misterioso valle de la representación facial, que da como resultado humanos que parecen reales, pero también antinaturales y espeluznantes porque algo está mal .

El efecto del valle inquietante es aún más notable cuando experimentamos el metaverso a través de un dispositivo inmersivo como un auricular VR. Podemos perdonar algunos errores en los gráficos de los videojuegos en una pantalla plana, pero créeme, no querrás presenciar cómo la pierna de alguien se separa de su cuerpo (sin querer, al menos) mientras usa un auricular XR o ver movimientos faciales que no se mantienen. con discurso directo. Por lo tanto, la tecnología, desde la red hasta el propio dispositivo, debe estar altamente optimizada para permitir la representación en el dispositivo en tiempo real. Tenemos que encontrar un compromiso viable entre los hábitos de los usuarios, las capacidades del dispositivo y el mantenimiento de un efecto de inmersión hiperrealista.

La representación neuronal se muestra prometedora

Cuando se habla de soluciones tecnológicas de menor calidad pero más rápidas para crear personajes 3D realistas, debemos observar el método de campos de radiación neuronal (NeRF). La metodología NeRF fue descrita por primera vez por investigadores de Google Research y UC Berkeley en 2020 en la Conferencia europea anual sobre visión artificial. En 2022, apareció una nueva ola de conversación sobre esta tecnología después de que Nvidia presentara oficialmente su Instant NeRF , un modelo de renderizado neuronal que tiene la capacidad de convertir múltiples imágenes 2D en escenas 3D sin escanear la cámara. A diferencia del modelado poligonal clásico, el renderizado neuronal reproduce una escena 3D basada únicamente en la óptica y el álgebra lineal. Según Nvidia , se puede usar para “crear avatares o escenas para mundos virtuales, capturar participantes de videoconferencias y sus entornos en 3D, o reconstruir escenas para mapas digitales en 3D”.

La principal ventaja de la representación neuronal es su escalabilidad. Hasta ahora, el modelo ha tardado mucho en aprenderse y su velocidad de renderizado sigue siendo el principal guardián para ingresar al mercado, pero la IA es mucho más flexible en términos de optimización. Las redes neuronales solo necesitan más tiempo y datos para producir resultados progresivamente mejores. Creo que pronto observaremos el surgimiento de nuevas formas de optimizar y comercializar el renderizado neuronal para que todos puedan tomar algunas selfies en un teléfono inteligente y obtener su copia virtual en 3D para participar en un espacio 3D hiperreal.

Es más complejo tecnológicamente, pero creo que habrá un gran mercado para futuros mundos virtuales que sean hiperrealistas, además de aquellos que son caricaturescos o similares a juegos. Y aunque estamos hablando de un futuro que aún no ha llegado, el aprendizaje automático se está demostrando una vez más en un nuevo campo. Podría desempeñar un papel importante en la creación de la magia hiperreal del metaverso.

Si desea explorar el tema un poco más a fondo, hice una lista de artículos interesantes sobre creación de identidad digital, evolución de gráficos, representación neuronal y más:

• Double Negative ofrece el Joi de 'Blade Runner 2049' : Para fanáticos de CGI. Una pieza de Dan Sarto sobre cómo el experto en efectos visuales Paul Lambert creó el Joi holográfico y otras cosas y efectos visuales cyberpunk para Blade Runner 2049.

  
  

• Los rostros sintéticos están construyendo un nuevo mercado, y es terriblemente bueno : Una sólida explicación de la evolución del rostro digital. Mi artículo sobre cómo la tecnología está cambiando nuestros rostros y por qué estas transformaciones son necesarias hoy. Para empezar, el misterio de si la IA puede crear una imagen digna de la confianza de millones.

  
  

• Percepción social del individuo de los avatares virtuales encarnados con sus expresiones faciales habituales y apariencia facial : una investigación exhaustiva realizada en 2021 se centró en mejorar las expresiones realistas de los personajes virtuales y los canales de comunicación no verbal para crear una experiencia más personalizada.

• La acuñación de rostros de Blaine O'Neill en espacios latentes : Esta pieza cubre cómo William Wiebe reconsidera los avatares generados para la infraestructura del metaverso, revelando sus preferencias incrustadas en el proceso.

• Por qué los avances en renderizado 3D neuronal no llegan al mercado : Un excelente artículo de mi colega y cofundador de Reface, Oles Petriv, que explica los aspectos tecnológicos del renderizado neuronal en el camino hacia la creación instantánea de objetos 3D fotorrealistas.

  
  

• Diseño de mecanismo centrado en el ser humano con IA democrática : Se trata más de resolver la IA y está casi fuera de tema, pero mientras estructuraba mi artículo, disfruté explorando la demostración de prueba de concepto de DeepMind del aprendizaje por refuerzo profundo, abordando uno de los desafíos clave en la investigación de la IA.