초현실적이거나 만화 같은: 메타버스에서 실제와 같은 정체성을 얻는 열쇠

시뮬레이션 현실의 미래가 어떤 모습일지 궁금하다면 블레이드 러너 2049를 시청해 보세요. 이 영화에는 아름다운 그림 뒤에 숨어 있는 진정한 의미조차 완전히 파악하지 못하는 과소평가된 캐릭터가 하나 있습니다. 바로 맞춤 아바타와 외모를 실시간으로 변경할 수 있는 옵션을 갖춘 이상화되고 휴대 가능한 홀로그램인 Joi입니다. 실제로 Joi는 추가 장치의 도움으로 3D로 플레이할 수 있는 AI 동반 ​​앱이지만, 사실적인 3D 모델은 Joi를 실제처럼 보이게 합니다. 유일한 단점은 Joi가 현실 세계에서 완전히 실현될 수 없다는 것입니다.

그러나 그녀의 초현실성은 그녀가 단순한 시뮬레이션 그 이상임을 의미합니다. 영화의 주인공에게 그녀는 실제 사람입니다. 그 사람 여자친구예요. 그리고 영화 속 그녀를 보면서 우리는 그녀의 인위성을 무시하기도 한다. Joi는 많은 사람들이 몰입형 공간, 즉 완벽하고 창조 능력을 부여받으며 초현실적인 공간에 있기를 원하는 가장 좋은 예일 수 있습니다.

그런데 거기까지 어떻게 가나요? 현실을 모방하는 가상 공간은 이미 존재하지만, 개성을 가상 공간에 전달하고 고품질 표현을 유지하는 방법에 대한 통일된 솔루션은 아직 없습니다. 시간이 걸리고 비용이 많이 들며 결과적으로 일반 사용자는 사용할 수 없습니다.

그러나 초현실적인 가상 경험, 특히 초현실적인 아바타를 달성하는 것은 우리의 손에 달려 있습니다. 우리는 우리의 가상 및 디지털 정체성이 초현실주의 개념과 어떻게 연결되어 있는지, 디지털 공간을 위해 초현실적인 버전의 우리 자신을 만드는 방법, 그리고 문제 해결이 왜 사물과 사물의 고품질 시각화를 넘어서는지를 더 잘 이해해야 합니다. 공백.

초현실이란 무엇입니까?

우리는 고려한다 초현실적인 것들 물리적 현실과 시각적으로 구별할 수 없는 디지털 개체입니다. 그러나 디지털 특성으로 인해 이러한 개체는 물리적 세계에 존재할 수 없는 속성과 기능도 가지고 있습니다. 이 정의는 아바타 또는 사람의 기타 표현(예: Blade Runner 2049 의 Joi)뿐만 아니라 영화 스턴트, 게임 및 특수 효과와 같은 사실적인 디지털 콘텐츠에도 적용됩니다. 초현실은 우리가 차이를 느끼지 못하거나 느끼지 않기 때문에 감각을 속이는 단순한 증강 현실 그 이상입니다.

더 나은 설명을 위해 현실과 인공의 스펙트럼에 초현실을 두자. 이 스펙트럼에는 증강 현실과 가상 현실도 포함되며, 각각은 인간의 인식에 대한 서로 다른 경험을 제공합니다.

• 가상 현실은 사용자가 현실 세계의 대안인 독립적인 지식으로 경험하는 상상의 세계를 완전한 디지털 방식으로 표현한 것입니다.

• 증강 현실 은 디지털 세계나 현실 세계의 요소가 혼합된 현실입니다. 사용자는 몰입감을 높이고 존재감 효과를 창출하기 위해 디지털 세계와의 상호 작용 경험으로 인식합니다.

• 초현실은 현실을 모방하지만 사용자가 게임으로 인식하지 않는 디지털(인공) 기원의 경험입니다. 오히려 현실에 대한 인식이 확장됩니다.

  
  

초현실은 실제 생활이지만 더 좋습니다

​​저는 초현실이 메타버스와 미래 인터넷 전반의 특정 경험의 핵심 측면이 될 것이라고 믿습니다. 사람들이 초현실을 선호하는 이유는 초현실이 더 진실되고 감정적으로 매력적인 경험을 가능하게 하기 때문이라는 Metaphysic의 CEO이자 공동 창립자인 Tom Graham의 의견 에 저는 동의합니다. 이러한 전환은 게임과 엔터테인먼트를 넘어 의사 방문이나 가족 모임과 같은 보다 일상적인 업무를 포함하는 메타버스를 여는 데 필요합니다.

웹이 존재하는 한 사람들은 실제 가상 현실이 어떤 모습일지 상상해 왔습니다. 예를 들어 거의 25년 전 심리학자 Sherry Turkle은 오늘날 우리가 메타버스라고 부르는 MUD(다중 사용자 던전)라는 용어를 사용하여 인터넷 세계에서 인간 정체성의 미래를 설명했습니다 . “MUDding은 단순한 컴퓨터 게임 그 이상입니다. 그것은 완전한 초현실이다.”

그리고 인간이 가상 공간에 있을 때 그 세계를 어떻게 인식하는가? 그들은 누구입니까, 아니면 무엇입니까? Turkle의 연구 대상자 중 한 명이 “그들은 내 실제 생활만큼 현실적입니다.”라고 대답했습니다. “이제 나는 내 실제 삶이 하나인 삶의 포트폴리오를 가질 수 있습니다. RL [실생활]은 단지 하나의 창일 뿐이며 일반적으로 나에게 가장 좋은 창은 아닙니다.”

놀랍게도 1990년대 후반 사람들은 가상 공간에 대한 감각이 오늘날 우리가 느끼는 것과 유사하다고 설명했습니다. 2022년 7월 Momentum Worldwide의 글로벌 연구 에 따르면 사람들은 실제 생활보다 메타버스에 더 많이 소속되어 있다고 느낍니다. 보고서는 또한 소비자들이 영감, 개성, 포용성이라는 삶의 세 가지 핵심 측면을 채우기 위해 가상 경험을 찾는다는 사실을 발견했습니다 .

자신의 디지털 복사본을 가상 세계로 전송하고 일상적인 인간 경험을 갖는 것은 메타버스를 구축하는 과정에서 이루어질 다음 혁신입니다.

실제로 많은 사람들은 실제 경험이 결국 가상 경험으로 대체될 것이라고 믿으며 초현실적인 미래를 기대하고 있습니다. 2022년 6월 McKinsey는 전 세계 3,400명 이상의 소비자를 대상으로 설문조사를 실시한 결과, 3분의 2가 특히 사람과의 연결, 가상 세계 탐색, 원격 동료와의 협업과 관련하여 일상 활동을 메타버스로 전환하는 것에 대해 흥미를 갖고 있는 것으로 나타났습니다.

그러나 주어진 환경은 현실 세계를 최대한 반영하는 경우에만 초현실적으로 느껴질 것입니다. 허구나 만화 같은 것이 아니라 현실입니다 . 업무용 Zoom 통화처럼 동료와 함께하는 3D 사무실에서, 친구와 함께 축제처럼 몰입감 넘치는 3D 공간에서. 우리는 이미 사용자가 공주부터 괴물까지 누구나 될 수 있는 게임 환경을 갖추고 있습니다. 기술적으로 복잡한 것은 없습니다.

사람, 장소, 사물

다음 과제는 현실 세계를 재현하고 현실 세계에 우리 자신을 통합하는 방법을 배우는 것입니다. 물론 우리 자신 의 주요 부분은 신체적 외모입니다. 그러나 사용자가 완벽해 보이거나 "진짜"처럼 보이려고 애쓰는 현대 소셜 미디어와는 달리, 초현실은 스트레스 감소의 한 형태로 작용해야 합니다. 우리는 문자 그대로의 모습을 완벽하게 보이려고 노력하지 않고도 디지털 아바타를 수정할 수 있어야 합니다. 연예인처럼 보이길 원하든 개인적인 특징을 유지하여 자신의 모습을 유지하고 싶든 말이죠.

아바타로 원하는 것을 수행할 수 있는 능력을 유지하는 것이 또 다른 핵심입니다. 송곳니를 키우거나 머리 색깔을 선택하고, 좋아하는 옷을 입거나 심지어 모양을 확대/축소 형태로 변경하는 것입니다. 이상적으로는 가상에서는 우리가 좋아하는 방식입니다.

그러나 우리의 소지품은 실제 생활에서도 우리를 정의하며 메타버스에서도 마찬가지입니다. 그래서 우리는 집, 자동차, 운동화, 심지어 좋아하는 컵과 같은 소지품을 디지털 세계로 옮기기 위해 노력할 것입니다. 그러한 서비스는 이미 존재합니다. 초현실적인 맞춤형 주택 모델 제작을 전문으로 하는 메타버스 에이전시인 Verse Estate는 고객이 디지털 자산, 좋아하는 가구 또는 예술 작품을 추가하여 가상 주택을 독특한 장소로 만들 수 있도록 합니다.

더욱 좋은 점은 세계나 환경 간 전환 시 아바타, 소지품, 일반 디지털 신원이 상호 운용 가능하다는 것입니다. 가상 ID를 다양한 플랫폼과 상호 운용할 수 있게 만드는 Ready Player Me를 포함하여 이를 수행할 수 있는 일부 기술이 이미 존재합니다.

정적인 것과 표현적인 것 사이에는 불쾌한 계곡이 있습니다.

그러나 일부 기본 기능이 어느 정도 형성되고 있더라도 진정한 초현실성을 달성하는 것은 어려울 것입니다. 기술적 요구 사항과 비즈니스 요구 사항 등 모든 요구 사항과 과제를 해결하는 것은 어느 한 회사나 분야의 범위를 벗어납니다. 완벽한 휴먼 그래픽을 향한 탐구는 더 큰 분야의 축소판으로 기능합니다.

Meta가 Metaverse 플랫폼 출시를 발표했을 때 호라이즌 월드 예를 들어, 모든 사람이 Mark Zuckerberg 만화 아바타의 품질, 디테일, 사실성에 만족한 것은 아닙니다. 사실, 전부는 아니지만 대부분의 현재 메타버스 시각화 시도는 초현실과는 거리가 멀고 대규모 멀티플레이어 온라인 롤플레잉 게임의 시도와 비교할 수 없습니다. 이에 대한 간단한 이유가 있습니다. 아바타가 예측할 수 없는 자극에 실시간으로 반응하는 실제와 같은 가상 환경에서 사용할 수 있어야 하는 수많은 인간의 감정과 표현을 렌더링하는 방법을 우리는 아직 모릅니다.

그러나 CloneX 및 앞서 언급한 Ready Player Me와 같은 만화적인 것부터 Reblika 및 Hyperreal 과 같은 캐릭터 스튜디오에서 제공하는 가장 초현실적인 것까지 디지털 아바타를 만들기 위한 다양한 도구가 시장에 나와 있습니다 . 이 스튜디오는 언리얼 엔진을 통해 메타버스를 위한 최고 품질의 초현실적 인간을 선보입니다. 최신 MetaHuman 릴리스 , 실제 사람의 얼굴 스캔을 가져와 자동으로 디지털 얼굴을 생성할 수 있습니다. 비록 누군가의 디지털 카피를 3D로 완벽하게 재현하려면, 프로 디자이너라도 피부색, 머리카락, 기타 세부 사항을 가지고 노는 데 많은 시간을 소비해야 합니다.

나는 이 아름답고 사실적인 디지털 휴먼을 동급 최고이지만 휴일에만 직선 도로와 평평한 도로에서만 운전할 수 있는 매우 값비싼 자동차에 비유하고 싶습니다. 우리는 빠르게 변화하는 역동적인 환경에 맞게 초현실적인 디지털 휴먼을 만들기 위해 정적 현실주의와 동일한 도구와 접근 방식을 사용할 수 없습니다. 메타버스 내에서 실시간 렌더링의 모든 과제를 대규모로 해결하기에는 여전히 너무 무겁고 복잡합니다.

하지만 최근에는 Meta의 Reality Labs가 놀림 Codec Avatars 2.0 프로젝트의 최신 개선 사항은 고급 기계 학습 기술을 사용한 프로토타입 VR 아바타입니다. 새로운 아바타의 모습 매우 초현실적이며 감정 표현도 가능합니다. , 그러나 이는 신경망 단독 작업의 결과가 아닙니다. 예를 들어 이러한 품질을 얻으려면 여전히 3D 카메라를 사용한 스캐닝이 필요하지만 여러 가지 이유로 곧 주류로 채택될 가능성은 낮습니다.

전반적으로 주요 장애물은 계산입니다. 초현실에 가까워질수록 더 많은 전력과 시간이 필요하기 때문입니다.

예를 들어 현실감을 1% 높이려면 계산을 5배 수행해야 합니다.

따라서 메타버스에 있는 기업의 진정한 과제는 얼굴 표현의 불쾌한 골짜기를 해결하는 것입니다. 이로 인해 인간은 실제처럼 보이지만 뭔가 이상 하기 때문에 부자연스럽고 소름끼치게 됩니다.

불쾌한 골짜기 효과는 VR 헤드셋과 같은 몰입형 장치를 통해 메타버스를 경험할 때 더욱 두드러집니다. 평면 화면에서 비디오 게임 그래픽의 일부 버그를 용서할 수 있지만 저를 믿으십시오. XR 헤드셋을 사용하는 동안 누군가의 다리가 몸에서 분리되는 것을 (적어도 의도치 않게) 목격하거나 따라가지 못하는 얼굴 움직임을 보고 싶지 않을 것입니다. 직접적인 말로. 따라서 네트워크에서 장치 자체에 이르기까지 기술은 장치에서 실시간으로 렌더링할 수 있도록 고도로 최적화되어야 합니다. 우리는 사용자 습관, 장치 성능, 초현실적인 몰입 효과 유지 사이에서 실행 가능한 균형점을 찾아야 합니다.

신경 렌더링은 가능성을 보여줍니다

사실적인 3D 캐릭터를 만들기 위한 품질은 낮지만 더 빠른 기술 솔루션에 대해 이야기할 때 NeRF(신경 복사 필드) 방법을 살펴봐야 합니다. NeRF 방법론은 2020년 컴퓨터 비전에 관한 연례 유럽 회의에서 Google Research와 UC Berkeley의 연구원들이 처음으로 설명했습니다 . 2022년 Nvidia가 카메라 스캐닝 없이 여러 2D 이미지를 3D 장면으로 전환할 수 있는 신경 렌더링 모델인 Instant NeRF를 공식적으로 선보인 후 이 기술에 대한 새로운 대화의 물결이 나타났습니다. 기존의 다각형 모델링과 달리 신경 렌더링은 광학 및 선형 대수학만을 기반으로 3D 장면을 재현합니다. Nvidia에 따르면 "가상 세계를 위한 아바타나 장면을 생성하고, 화상 회의 참가자와 환경을 3D로 캡처하거나, 3D 디지털 지도를 위한 장면을 재구성"하는 데 사용할 수 있습니다.

신경 렌더링의 주요 장점은 확장성입니다. 지금까지 모델을 학습하는 데 오랜 시간이 걸렸고 렌더링 속도가 시장 진출의 주요 관문으로 남아 있지만 AI는 최적화 측면에서 훨씬 더 유연합니다. 신경망은 점진적으로 더 나은 결과를 생성하기 위해 더 많은 시간과 데이터가 필요합니다. 모든 사람이 스마트폰으로 셀카 몇 장을 찍고 가상 3D 사본을 얻어 초현실적인 3D 공간에 참여할 수 있도록 신경 렌더링을 최적화하고 상품화하는 새로운 방법의 출현을 곧 관찰하게 될 것입니다.

기술적으로는 더 복잡하지만 미래에는 만화나 게임 같은 가상 세계 외에도 초현실적인 가상 세계에 대한 큰 시장이 있을 것이라고 믿습니다. 아직은 실현되지 않은 미래에 대해 이야기하고 있지만 머신러닝은 새로운 분야에서 다시 한 번 그 가치를 입증하고 있습니다. 이는 메타버스의 초현실적인 마법을 창조하는 데 중요한 역할을 할 수 있습니다.

주제를 좀 더 깊이 탐구하고 싶다면 디지털 ID 생성, 그래픽 진화, 신경 렌더링 등에 관한 흥미로운 기사 목록을 만들었습니다.

• 더블 네거티브, '블레이드 러너 2049'의 조이를 전달하다 : CGI 괴짜를 위한 것입니다. VFX 전문가 Paul Lambert가 Blade Runner 2049의 홀로그램 Joi와 기타 사이버펑크 콘텐츠 및 비주얼을 어떻게 제작했는지에 대한 Dan Sarto의 글입니다.

  
  

• 합성 얼굴이 새로운 시장을 구축하고 있으며 이는 매우 훌륭합니다. : 디지털 얼굴의 진화에 대한 탄탄한 설명. 기술이 우리의 얼굴을 어떻게 변화시키고 있으며 오늘날 이러한 변화가 필요한 이유에 대한 기사입니다. 우선, AI가 수백만 명의 신뢰를 받을 만한 이미지를 만들 수 있는지에 대한 미스터리가 있습니다.

  
  

• 습관적인 표정과 외모로 구현된 가상 아바타에 대한 개인의 사회적 인식 : 2021년에 진행된 심층 연구는 가상 캐릭터의 사실적인 표현과 비언어적 의사소통 채널을 개선하여 보다 맞춤화된 경험을 만드는 데 중점을 두었습니다.

• 잠재 공간에 나타난 블레인 오닐의 주조 얼굴 : 이 글은 William Wiebe가 메타버스의 인프라를 위해 생성된 아바타를 어떻게 다시 생각하고 그 과정에 내재된 선호도를 드러내는지를 다루고 있습니다.

• 신경망 3D 렌더링의 발전이 시장에 도달하지 못하는 이유 : 내 동료이자 Reface 공동 창업자인 Oles Petriv가 작성한 훌륭한 기사로, 사실적인 3D 개체를 즉시 생성하는 과정에서 신경 렌더링의 기술적 측면을 설명합니다.

  
  

• 민주적 AI를 활용한 인간 중심 메커니즘 설계 : 이것은 AI 해결에 관한 것이며 거의 주제에서 벗어났습니다. 하지만 기사를 구성하는 동안 AI 연구의 주요 과제 중 하나를 해결하는 DeepMind의 심층 강화 학습 개념 증명 시연을 탐색하는 것이 즐거웠습니다.