超现实或卡通化：元宇宙中栩栩如生的身份的关键

如果您想知道模拟现实的未来会是什么样子，您应该观看《银翼杀手 2049》 。这部电影中有一个被低估的角色，我们甚至无法完全理解其在漂亮图片背后的真正含义——理想化且便携的全息图 Joi，具有自定义头像和实时更改她外观的选项。事实上，Joi 是一个 AI 伴侣应用程序，可以在其他设备的帮助下以 3D 形式播放，但逼真的 3D 模型让她看起来很真实。唯一的缺点是 Joi 无法在现实世界中完全实体化。

然而，她的超现实意味着她不仅仅是一个模拟——对于电影的主角来说，她是一个真实的人。她是他的女朋友。而且，在电影中看她，我们也忽略了她的矫揉造作。 Joi 可能是许多人希望在沉浸式空间中成为什么样的人的最好例子——完美、具有创造能力和超现实主义。

但是我们如何到达那里呢？模仿现实的虚拟空间已经存在，但如何将你的个性转移到其中并保持高质量的表现仍然没有统一的解决方案。它需要时间，花费大量金钱，因此普通用户无法使用。

然而，实现超现实的虚拟体验——尤其是超现实的化身——在我们的掌握之中。我们只需要更好地了解我们的虚拟和数字身份如何与超现实概念相关联，如何为数字空间创建超现实版本的我们自己，以及为什么解决问题超出了对象的高质量可视化和空间。

什么是超现实？

我们认为超现实的东西作为与物理现实在视觉上无法区分的数字对象。但由于它们的数字特性，这些对象还具有物理世界中可能不存在的属性和功能。此定义适用于化身或其他人物形象（如《银翼杀手 2049》中的 Joi），以及任何逼真的数字内容——电影特技、游戏和特效。超现实不仅仅是欺骗感官的增强现实，因为我们没有——或者不想——感受到差异。

为了更好地解释，让我们将超现实放在真实和人工之间的范围内。该频谱还包括增强现实和虚拟现实，每种都提供不同的人类感知体验。

• 虚拟现实是一个想象世界的完整数字表示，用户将其体验为独立知识，是现实世界的替代品。

• 增强现实是一种混合现实，具有数字世界或现实世界的元素。用户将其视为与数字世界交互的体验，以增强沉浸感并创造临场感。

• 超现实是一种模拟现实但不被用户视为游戏的数字（人工）起源体验。相反——它扩展了对现实的感知。

  
  

超现实是现实生活，但更好

我相信超现实将成为元宇宙和未来整个互联网中某些体验的关键方面。我同意 Metaphysic 的首席执行官兼联合创始人 Tom Graham 的观点，他指出人们更喜欢超现实，因为它可以带来更真实、更引人入胜的体验。这种转变对于打开游戏和娱乐之外的元宇宙是必要的，以包括更多普通的日常事务，如看病或家庭聚会。

只要网络存在，人们就会想象真正的虚拟现实会是什么样子。例如，大约 25 年前，心理学家雪莉·特克尔 (Sherry Turkle) 使用术语 MUD（多用户地牢）描述了互联网世界中人类身份的未来，今天我们称之为元宇宙：“MUDding 不仅仅是一种电脑游戏；这是全力以赴的超现实。”

当一个人发现自己处于虚拟空间中时，他们如何感知那个世界？他们是谁或什么？ “它们和我的真实生活一样真实，”特克尔的一名研究对象回答道。 “我现在可以拥有一系列生活，其中只有我的真实生活； RL [现实生活] 只是又一个窗口，通常不是我最好的窗口。”

令人惊讶的是，1990 年代后期的人们将他们对虚拟空间的感觉描述为与我们今天的感觉相似。根据Momentum Worldwide 从 2022 年 7 月开始的一项全球研究，与现实生活相比，人们感觉更多地融入了虚拟世界。该报告还发现，消费者希望通过虚拟体验来充实生活的三个核心方面：灵感、个性和包容。

将自己的数字副本转移到虚拟世界并拥有日常人类体验是构建虚拟宇宙的下一个突破。

事实上，许多人认为现实世界的体验最终会被虚拟体验所取代，他们期待着超现实的未来。 2022 年 6 月， 麦肯锡对全球 3,400 多名消费者进行了调查，发现三分之二的消费者对将日常活动转变为虚拟世界感到兴奋，尤其是在与人联系、探索虚拟世界以及与远程同事协作方面。

然而，任何给定的环境只有在尽可能多地反映真实世界的情况下才会让人感觉超真实。不是虚构和卡通化的，而是真实的。就像工作 Zoom 电话但在 3D 办公室与同事一起，或者像节日与朋友一起但在沉浸式 3D 空间中。我们已经有了游戏环境，用户可以在其中变成任何人，从公主到怪物；它们在技术上没有任何复杂之处。

人物、地点和事物

下一个挑战是学习如何重建现实世界并将我们自己融入其中。当然，我们自己的主要部分是我们的外表。然而，与现代社交媒体的化身不同，在社交媒体中，用户为看起来完美或看起来“真实”（当然，仍然看起来不错）的需要而苦苦挣扎，超现实应该作为一种减轻压力的形式。我们应该能够修改我们的数字化身，而不必试图让我们的真实自我看起来完美——无论你是想看起来像个名人，还是通过保留你的个人特征来保持自我。

保持我们用化身做我们想做的事情的能力是另一个关键——长出尖牙或选择任何头发颜色，穿上我们喜欢的衣服，甚至将我们的形状改变为动物形态。理想情况下，在虚拟世界中，这就是我们喜欢的方式。

但我们的财产也在现实生活中定义了我们，在虚拟世界中也是如此。所以我们会努力将我们的财产转移到数字世界——例如，我们的房子、汽车、运动鞋，甚至最喜欢的杯子。此类服务已经存在。 Verse Estate是一家专门创建超现实主义定制房屋模型的 metaverse 机构，它允许客户添加数字资产、他们最喜欢的家具或艺术品，使他们的虚拟家庭成为一个独特的地方。

更好的是，当您在世界或环境之间转换时，您的化身、物品和通用数字身份可以互操作。一些实现这一点的支持技术已经存在，包括Ready Player Me ，它使虚拟身份可以与各种平台互操作。

在静态和表现力之间存在一个恐怖谷

然而，实现真正的超现实将是困难的，即使一些基本能力正在某种程度上形成。解决它的所有要求和挑战——技术的和商业的——超出了任何一家公司或领域的范围。追求完美的人类图形功能是更大领域的缩影。

当Meta 宣布推出其 metaverse 平台时地平线世界例如，并不是每个人都对马克扎克伯格卡通头像的质量、细节和真实感感到满意。事实上，即使不是全部，目前虚拟宇宙中的大多数可视化尝试都远非超现实，无法与大型多人在线角色扮演游戏中的可视化尝试相提并论。原因很简单：我们还不知道如何在逼真的虚拟环境中呈现无数的人类情感和表情，在这些虚拟环境中，化身会实时响应不可预测的刺激。

然而，市场上有许多用于创建数字化身的工具——从像CloneX和前面提到的 Ready Player Me 这样的卡通化到像Reblika和Hyperreal这样的角色工作室提供的最超现实的。这些工作室展示了元宇宙中最高品质的超现实人类，以虚幻引擎最新的 MetaHuman 版本，可以导入真人面部扫描，自动生成数字人脸。尽管要以 3D 形式完全复制某人的数字副本，您需要花费大量时间来处理肤色、头发和其他细节，即使您是专业设计师也是如此。

我会将这些美丽逼真的数字人类与一辆非常昂贵的汽车进行比较，这种汽车是同类产品中最好的，但你只能在假期和笔直平坦的道路上驾驶。我们将无法使用与静态现实主义相同的工具和方法来为快速变化的动态环境创建超现实主义数字人类。它仍然过于繁重和复杂，无法应对虚拟宇宙中大规模实时渲染的所有挑战。

不过，就在最近，Meta 的 Reality Labs戏弄它在 Codec Avatars 2.0 项目中的最新改进——使用先进的机器学习技术制作 VR 头像原型。新头像的样子非常超现实，甚至能够表达情感，但它们不仅仅是神经网络工作的结果。例如，这样的质量仍然需要使用 3D 相机进行扫描，由于多种原因，它不太可能很快成为主流。

总的来说，主要障碍是计算，因为你越接近超现实，你需要的能量和时间就越多。

例如，要增加 1% 的真实感，您需要进行五倍的计算。

因此，对于元宇宙中的公司来说，真正的挑战是解决面部表现的恐怖谷，这会导致人类看起来真实，但又不自然和令人毛骨悚然，因为有些东西刚刚关闭。

当我们通过 VR 耳机等身临其境的设备体验虚拟世界时，恐怖谷效应会更加明显。我们可以原谅纯平屏幕上视频游戏图形中的一些错误，但请相信我，您不想在使用 XR 耳机时看到某人的腿与他们的身体分开（至少是无意的），或者看到跟不上的面部动作用直接的话语。因此，技术——从网络到设备本身——必须高度优化以允许在设备上实时渲染。我们必须在用户习惯、设备功能和保持超现实沉浸效果之间找到可行的权衡。

神经渲染显示出希望

在谈到用于创建逼真的 3D 角色的质量较低但速度更快的技术解决方案时，我们应该看看神经辐射场 (NeRFs) 方法。 2020 年，谷歌研究院和加州大学伯克利分校的研究人员在一年一度的欧洲计算机视觉会议上首次描述了 NeRF 方法。 2022 年，在Nvidia 正式展示其 Instant NeRF之后，关于这项技术的新一波讨论出现了——一种神经渲染模型，无需相机扫描即可将多个 2D 图像转换为 3D 场景。与经典的多边形建模相比，神经渲染仅基于光学和线性代数再现 3D 场景。根据 Nvidia 的说法，它可用于“为虚拟世界创建化身或场景，以 3D 方式捕捉视频会议参与者及其环境，或为 3D 数字地图重建场景。”

神经渲染的主要优点是它的可扩展性。到目前为止，该模型已经花了很长时间学习，其渲染速度仍然是进入市场的主要看门人，但 AI 在优化方面要灵活得多。神经网络只需要更多的时间和数据来产生更好的结果。我认为我们很快就会观察到优化和商品化神经渲染的新方法的出现，这样每个人都可以在智能手机上自拍几张，并获得他们的虚拟 3D 副本以参与超真实的 3D 空间。

它在技术上更复杂，但我相信除了卡通或游戏类的虚拟世界之外，未来超现实的虚拟世界将有一个巨大的市场。尽管我们谈论的未来尚未到来，但机器学习再次在一个新领域证明了自己。它可以在创造虚拟宇宙的超现实魔法方面发挥重要作用。

如果你想更深入地探讨这个话题，我列出了一些关于数字身份创建、图形进化、神经渲染等的有趣文章：

• 双重否定带来了《银翼杀手 2049》的乐趣：对于 CGI 极客。 Dan Sarto 的一篇关于 VFX 专家 Paul Lambert 如何为 Blade Runner 2049 创建全息 Joi 和其他赛博朋克内容和视觉效果的文章。

  
  

• 合成面孔正在建立一个新市场——而且非常好: 对数字面部进化的可靠解释。我的文章是关于技术如何改变我们的面孔以及为什么今天需要这些转变。对于初学者来说，人工智能能否创造出值得数百万人信赖的形象是个谜。

  
  

• 个人对虚拟化身的社会感知体现在他们的习惯面部表情和面部外观：2021 年进行的深入研究侧重于改善虚拟角色的逼真表情和非语言交流渠道，以创造更加个性化的体验。

• 布莱恩·奥尼尔 (Blaine O'neill) 在潜在空间中铸造面孔：这篇文章介绍了 William Wiebe 如何重新思考为元宇宙的基础设施生成的化身，揭示其在这个过程中嵌入的偏好。

• 为什么神经 3D 渲染的进步没有进入市场：我的同事兼 Reface 联合创始人 Oles Petriv 撰写的一篇很棒的文章，解释了神经渲染在即时创建逼真的 3D 对象的过程中的技术方面。

  
  

• 以人为本的机制设计与民主人工智能：这更多是关于解决 AI 问题，几乎是题外话，但在构建我的文章时，我喜欢探索 DeepMind 的深度强化学习概念验证演示，解决 AI 研究中的关键挑战之一。