Hiperreal ou caricatural: as chaves para identidades realistas no metaverso

Se você está se perguntando como pode ser o futuro da realidade simulada, assista a Blade Runner 2049 . Este filme tem um personagem subestimado cujo verdadeiro significado nem mesmo captamos completamente por trás da imagem bonita - o holograma idealizado e portátil Joi, com um avatar personalizado e opções para mudar sua aparência em tempo real. Na verdade, Joi é um aplicativo complementar de IA que pode ser reproduzido em 3D com a ajuda de dispositivos adicionais, mas o modelo 3D fotorrealista a faz parecer real. A única desvantagem é que Joi não pode ser totalmente materializado no mundo real.

No entanto, sua hiper-realidade significa que ela é muito mais do que apenas uma simulação – para a protagonista do filme, ela é uma pessoa real. Ela é a namorada dele. E, ao vê-la no filme, também ignoramos sua artificialidade. Joi talvez seja o melhor exemplo do que muitas pessoas gostariam de ser em espaços imersivos — perfeitos, dotados de capacidade de criação e hiperrealistas.

Mas como a gente chega lá? Já existem espaços virtuais que imitam a realidade, mas ainda não existe uma solução unificada de como transferir sua personalidade para eles e manter uma representação de alta qualidade. Leva tempo, custa muito dinheiro e, como resultado, não está disponível para o usuário médio.

No entanto, alcançar experiências virtuais hiper-realistas – especialmente avatares hiper-realistas – está ao nosso alcance. Precisamos apenas entender melhor como nossas identidades virtuais e digitais estão conectadas ao conceito de hiper-realidade, como criar versões hiper-realistas de nós mesmos para o espaço digital e por que resolver o problema vai além da visualização de alta qualidade de objetos e espaços.

O que é hiper-realidade?

Nós consideramos coisas hiper-reais como objetos digitais que são visivelmente indistinguíveis da realidade física. Mas devido à sua natureza digital, esses objetos também possuem propriedades e capacidades que podem não existir no mundo físico. Essa definição se aplica a avatares ou outras representações de pessoas (como Joi de Blade Runner 2049 ), bem como a qualquer conteúdo digital fotorrealista — acrobacias de filmes, jogos e efeitos especiais. A hiper-realidade é mais do que apenas realidade aumentada que engana os sentidos porque não sentimos - ou preferimos não sentir a diferença.

Para uma melhor explicação, coloquemos a hiper-realidade no espectro entre o real e o artificial. Este espectro também inclui realidade aumentada e virtual, cada uma fornecendo uma experiência diferente de percepção humana.

• A realidade virtual é uma representação digital completa de um mundo imaginário que o usuário experimenta como conhecimento independente, uma alternativa ao mundo real.

• A realidade aumentada é uma realidade mista com elementos do mundo digital \ou do mundo real. É percebido pelo usuário como uma experiência de interação com o mundo digital para maior imersão e criando o efeito de presença.

• A hiper-realidade é uma experiência de origem digital (artificial) que imita a realidade, mas não é percebida pelo usuário como um jogo. Pelo contrário – amplia a percepção da realidade.

  
  

A hiper-realidade é a vida real, mas melhor

​​Acredito que a hiper-realidade será um aspecto fundamental de certas experiências no metaverso e na futura Internet em geral. Concordo com Tom Graham, CEO e co-fundador da Metaphysic, que observa que as pessoas preferem a hiper-realidade porque permite experiências mais autênticas e emocionalmente envolventes. Essa transição é necessária para abrir um metaverso além dos jogos e entretenimento, para incluir assuntos cotidianos mais comuns, como visitas a médicos ou reuniões familiares.

Desde que a web existe, as pessoas imaginam como seria uma verdadeira realidade virtual. Há quase 25 anos, por exemplo, a psicóloga Sherry Turkle descreveu o futuro da identidade humana no mundo da internet usando o termo MUD (masmorras multiusuário), que hoje chamamos de metaverso: “MUDding é mais do que apenas um jogo de computador; é a hiper-realidade em pleno vigor.”

E quando uma pessoa se encontra em um espaço virtual, como ela percebe esse mundo? Quem ou o que são eles? “Eles são tão reais quanto a minha vida real”, respondeu um dos sujeitos da pesquisa de Turkle. “Agora posso ter um portfólio de vidas em que minha vida real é apenas uma; RL [vida real] é apenas mais uma janela, e geralmente não é a minha melhor.

Surpreendentemente, as pessoas no final dos anos 1990 descreviam seu senso de espaço virtual como semelhante ao que sentimos hoje. De acordo com um estudo global da Momentum Worldwide de julho de 2022 , as pessoas se sentem mais incluídas no metaverso do que na vida real. O relatório também descobriu que os consumidores procuram a experiência virtual para preencher três aspectos principais da vida: inspiração, individualidade e inclusão.

Transferir uma cópia digital de si mesmo para o mundo virtual e ter experiências humanas cotidianas é o próximo avanço a ser feito no caminho para a construção do metaverso.

Na verdade, muitas pessoas acreditam que as experiências do mundo real acabarão sendo substituídas por experiências virtuais e esperam um futuro hiper-real. Em junho de 2022, a McKinsey pesquisou mais de 3.400 consumidores em todo o mundo e descobriu que dois terços estão entusiasmados com a transição das atividades cotidianas para o metaverso, especialmente quando se trata de se conectar com pessoas, explorar mundos virtuais e colaborar com colegas remotos.

No entanto, qualquer ambiente só parecerá hiper-real se refletir o mundo real tanto quanto possível. Não fictício e caricatural, mas real . Como uma chamada Zoom de trabalho, mas em um escritório 3D com colegas, ou como um festival com amigos, mas em um espaço 3D imersivo. Já temos ambientes de jogos onde o usuário pode se tornar desde uma princesa até um monstro; não há nada tecnologicamente complicado sobre eles.

Pessoas, lugares e coisas

O próximo desafio é aprender como recriar o mundo real e nos integrar a ele. Uma parte importante de nós mesmos , é claro, é nossa aparência física. No entanto, ao contrário das encarnações modernas da mídia social, onde os usuários lutam com a necessidade de parecer perfeito ou “real” (enquanto, é claro, ainda parece bom), a hiper-realidade deve servir como uma forma de redução do estresse. Devemos ser capazes de modificar nossos avatares digitais sem tentar fazer com que nossos eus literais pareçam perfeitos - quer você queira parecer uma celebridade ou manter-se preservando suas características pessoais.

Manter a própria capacidade de fazer o que queremos com nosso avatar é outra chave - crescer presas ou escolher qualquer cor de cabelo, vestir roupas que gostamos ou até mesmo mudar nossa forma para uma zoomórfica. Idealmente, na virtualidade, é do jeito que gostamos.

Mas nossos pertences também nos definem na vida real, e também no metaverso. Por isso, vamos nos esforçar para transferir nossos pertences para o mundo digital – por exemplo, nossas casas, carros, tênis ou até mesmo copos favoritos. Esses serviços já existem. A Verse Estate , uma agência metaverse especializada na criação de modelos hiper-realistas de casas personalizadas, permite que os clientes adicionem ativos digitais, seus móveis favoritos ou arte para tornar sua casa virtual um lugar único.

Melhor ainda é se seus avatares, pertences e identidade digital geral forem interoperáveis ​​durante a transição entre mundos ou ambientes. Já existem algumas tecnologias que permitem fazer isso, incluindo o Ready Player Me , que torna as identidades virtuais interoperáveis ​​com várias plataformas.

Entre mentiras estáticas e expressivas existe um vale misterioso

Alcançar a verdadeira hiper-realidade será difícil, mesmo que algumas das capacidades fundamentais estejam se moldando até certo ponto. Resolver todos os seus requisitos e desafios — tanto os tecnológicos quanto os de negócios — está além do escopo de qualquer empresa ou área. A busca pela perfeição gráfica humana funciona como um microcosmo do campo maior.

Quando a Meta anunciou o lançamento de sua plataforma metaverse mundos horizonte , por exemplo, nem todos ficaram satisfeitos com a qualidade, detalhamento e realismo do avatar de desenho animado de Mark Zuckerberg. Na verdade, a maioria, se não todas, as tentativas de visualização atuais no metaverso estão longe de ser hiper-reais e não podem ser comparadas àquelas, digamos, em jogos de RPG on-line massivamente multiplayer. A razão para isso é simples: ainda não sabemos como representar a miríade de emoções e expressões humanas que deveriam estar disponíveis em ambientes virtuais realistas, onde os avatares respondem a estímulos imprevisíveis em tempo real.

No entanto, existem várias ferramentas no mercado para a criação de avatares digitais – desde os caricaturais como CloneX e o já mencionado Ready Player Me até os mais hiper-realistas fornecidos por estúdios de personagens como Reblika e Hyperreal . Esses estúdios exibem a mais alta qualidade de humanos hiper-reais para o metaverso, liderando com o Unreal Engine versão mais recente do MetaHuman , que pode importar digitalizações faciais de pessoas reais e gerar automaticamente uma face digital. Embora, para reproduzir totalmente a cópia digital de alguém em 3D, você precise gastar muito tempo brincando com a cor da pele, cabelo e outros detalhes, mesmo se você for um designer profissional.

Eu compararia esses belos humanos digitais realistas a um carro muito caro que é o melhor de sua classe, mas que você só pode dirigir nos feriados e em uma estrada reta e plana. Não seremos capazes de usar as mesmas ferramentas e abordagem para criar humanos digitais hiper-realistas para um ambiente dinâmico e em rápida mudança, como fazemos com o realismo estático. Ainda é muito pesado e complexo para enfrentar todos os desafios da renderização em tempo real em escala dentro do metaverso.

Recentemente, porém, o Meta's Reality Labs provocado suas últimas melhorias no projeto Codec Avatars 2.0 – protótipos de avatares VR usando técnicas avançadas de aprendizado de máquina. A aparência dos novos avatares muito hiperrealistas e são até capazes de expressar emoções , mas não são resultado apenas do trabalho das redes neurais. Por exemplo, essa qualidade ainda requer digitalização com câmeras 3D, que, por vários motivos, provavelmente não alcançarão a adoção convencional em breve.

No geral, o principal obstáculo é a computação, porque quanto mais perto você chega da hiper-realidade, mais poder e tempo você precisa.

Por exemplo, para obter um aumento de 1% no realismo, você precisa fazer cinco vezes o cálculo.

Portanto, o verdadeiro desafio para as empresas no metaverso é resolver o vale misterioso da representação facial, que resulta em humanos que parecem reais, mas também não naturais e assustadores porque algo está errado .

O efeito do vale misterioso é ainda mais perceptível quando experimentamos o metaverso por meio de um dispositivo imersivo como um headset VR. Podemos perdoar alguns bugs nos gráficos de videogame em uma tela plana, mas acredite, você não quer testemunhar a perna de alguém separada de seu corpo (sem querer, pelo menos) enquanto estiver usando um fone de ouvido XR ou ver movimentos faciais que não acompanham com discurso direto. Portanto, a tecnologia — da rede ao próprio dispositivo — deve ser altamente otimizada para permitir a renderização no dispositivo em tempo real. Temos que encontrar uma compensação viável entre os hábitos do usuário, os recursos do dispositivo e a manutenção de um efeito de imersão hiper-realista.

A renderização neural mostra promessa

Ao falar sobre soluções tecnológicas de qualidade inferior, mas mais rápidas, para criar personagens 3D realistas, devemos olhar para o método de campos de radiância neural (NeRFs). A metodologia NeRF foi descrita pela primeira vez por pesquisadores do Google Research e da UC Berkeley em 2020 na European Conference on Computer Vision. Em 2022, uma nova onda de conversas sobre essa tecnologia surgiu depois que a Nvidia apresentou oficialmente seu Instant NeRF – um modelo de renderização neural que tem a capacidade de transformar várias imagens 2D em cenas 3D sem varredura de câmera. Em contraste com a modelagem poligonal clássica, a renderização neural reproduz uma cena 3D baseada exclusivamente em óptica e álgebra linear. Segundo a Nvidia , ele pode ser usado para “criar avatares ou cenas para mundos virtuais, para capturar participantes de videoconferências e seus ambientes em 3D, ou para reconstruir cenas para mapas digitais 3D”.

A principal vantagem da renderização neural é sua escalabilidade. Até agora, o modelo demorou muito para aprender e sua velocidade de renderização continua sendo o principal portão de entrada no mercado, mas a IA é muito mais flexível em termos de otimização. As redes neurais precisam apenas de mais tempo e dados para produzir resultados progressivamente melhores. Acho que logo observaremos o surgimento de novas maneiras de otimizar e comoditizar a renderização neural para que todos possam tirar algumas selfies em um smartphone e obter sua cópia 3D virtual para participar de um espaço 3D hiper-real.

É mais complexo tecnologicamente, mas acredito que haverá um grande mercado para futuros mundos virtuais hiper-realistas, além daqueles que são cartunescos ou parecidos com jogos. E embora estejamos falando sobre um futuro que ainda não chegou, o aprendizado de máquina está mais uma vez se provando em um novo campo. Poderia desempenhar um papel significativo na criação da magia hiper-real do metaverso.

Se você quiser explorar o assunto um pouco mais a fundo, fiz uma lista de artigos interessantes sobre criação de identidade digital, evolução gráfica, renderização neural e muito mais:

• Double Negative oferece o Joi de 'Blade Runner 2049' : Para geeks CGI. Um artigo de Dan Sarto sobre como o especialista em efeitos visuais Paul Lambert criou Joi holográfico e outras coisas e visuais cyberpunk para Blade Runner 2049.

  
  

• Faces sintéticas estão construindo um novo mercado - e é muito bom : Uma explicação sólida da evolução da face digital. Meu artigo sobre como a tecnologia está mudando nossos rostos e por que essas transformações são necessárias hoje. Para começar, o mistério de saber se a IA pode criar uma imagem digna da confiança de milhões.

  
  

• Percepção social individual de avatares virtuais incorporados com suas expressões faciais habituais e aparência facial : Pesquisas aprofundadas feitas em 2021 focaram em melhorar as expressões realistas dos personagens virtuais e os canais de comunicação não-verbal para criar uma experiência mais personalizada.

• Blaine O'Neill cunhou rostos em espaços latentes : Este artigo aborda como William Wiebe repensa os avatares gerados para a infraestrutura do metaverso, revelando suas preferências incorporadas no processo.

• Por que os avanços na renderização 3D neural não estão chegando ao mercado : Um ótimo artigo do meu colega e co-fundador da Reface, Oles Petriv, que explica os aspectos técnicos da renderização neural no caminho para a criação instantânea de objetos 3D fotorrealistas.

  
  

• Design de mecanismo centrado no ser humano com IA democrática : Este é mais sobre a solução de IA e é quase fora do tópico, mas enquanto estruturava meu artigo, gostei de explorar a demonstração de prova de conceito do DeepMind de aprendizado por reforço profundo, abordando um dos principais desafios na pesquisa de IA.