paint-brush
Mawari 如何彻底改变 3D 内容交付经过@ishanpandey
494 讀數
494 讀數

Mawari 如何彻底改变 3D 内容交付

经过 Ishan Pandey13m2024/09/04
Read on Terminal Reader

太長; 讀書

Mawari 是世界上第一个空间流解决方案和内容交付网络。其使命是通过云流技术实现空间计算的民主化。在区块链的支持下,它使全球分销合作伙伴社区能够参与这一愿景。该公司总部位于日本涩谷。
featured image - Mawari 如何彻底改变 3D 内容交付
Ishan Pandey HackerNoon profile picture
0-item
1-item


Ishan Pandey嗨,Luis,欢迎参加我们的访谈系列。Mawari 的使命是通过云流技术实现空间计算的普及。您能分享一下 Mawari 成立背后的故事以及您的愿景自 2017 年以来是如何演变的吗?


Luis Oscar Ramirez:谢谢你,Ishan。我们拥有多项专利,在全球开展了 40 多次商业活动,并被公认为全球首个空间流解决方案和内容交付网络,因此 Mawari 似乎一夜成名。但让我们澄清一下:这段旅程始于 2017 年的涩谷,一路走来并不容易。今天看似一蹴而就的突破,实际上是多年不懈研发、不懈创新和坚定不移奉献的结晶。


我们预见了未来的到来。我们的创始原则简单而又激进:“框架”媒体(内容被限制在屏幕内)将演变为“无框架”媒体,无缝集成与现实世界和您互动的虚拟对象。这不仅仅是一个概念;这是我们与物理和数字世界互动方式的范式转变——一场“物理数字化”革命。Mawari 在日语中的意思是“您的周围环境”或“环顾四周”,完美地概括了我们的使命,即拆除这些框架并重新想象一切可能。然而,真正的灵感来自 2016 年 MUTEK Japan 的共同创立。


这不仅仅是一个数字艺术节,更是新兴尖端媒体实验的前沿。2017 年,我们看到艺术家们探索虚拟现实这一新兴领域,不断突破可能性的极限。但我们也看到他们面临的巨大挑战:数据密集度、所需的计算能力以及扩展这些体验的难度。很明显,下一代娱乐需要有人来突破这些障碍。我们选择成为那个人。从第一天起,我们的使命就非常明确:让每个人都能使用 3D/空间计算媒体。2018 年,我们的愿景遇到了决定性的挑战。


电信巨头 KDDI 开发了首批人工智能数字人之一 Aiko,使用虚幻引擎 4 以惊人的真实感进行渲染。她被设计成可以实时交谈,是一个生活在 AR 眼镜和智能手机中的数字礼宾。但问题在于:现有的移动设备无法处理实时 3D 渲染和人工智能驱动交互所需的巨大计算能力。这个问题迫切需要解决,这是空间流的完美用例。KDDI 发布了一份 RFP,希望将 Aiko 以全 3D 形式传输到智能眼镜上,这一挑战甚至可能吓倒最大的科技公司。它确实做到了——除了 Mawari,一家只有 3 名员工的初创公司。


尽管困难重重,我们还是赢了。在与主要科技公司的竞争中,我们,这个故事中的大卫,战胜了科技界的巨人。这是我们的“顿悟”时刻。我和我的联合创始人亚历山大·鲍里索夫意识到,我们可以实现别人认为不可能实现的事情。通过整合和调整几种最先进的技术,我们以全 3D 方式实时播放了 Aiko。但我们很快就意识到一个残酷的现实:最先进的技术堆栈和基础设施是我们实现雄心壮志的死胡同。


我们独自解决了延迟和带宽问题。在没有外部帮助的情况下,我们不得不重新考虑一切——从渲染到编码、流式传输和解码 3D 内容——不是通过传统方式,而是通过一种新的创新方法。这导致了我们核心技术的诞生:Mawari 引擎及其空间流式传输 SDK,原生于空间计算和增强现实。


当我们开始商业部署时,我们看到了快速的采用,但也遇到了另一个障碍——可扩展性。即使是像 AWS 这样最强大的超大规模提供商也无法帮助我们实现所需的规模。现有的数据中心和内容交付网络不是为实时空间流构建的。


到 2021 年,我们面临另一个关键决定:等待超大规模企业最终赶上来,还是开辟自己的前进道路。我们选择了后者。我们建立了 Mawari 网络——世界上第一个也是唯一一个 DePIN(去中心化物理基础设施网络),可实时协调空间计算的存储、带宽和渲染。它由区块链提供支持,使全球分销合作伙伴社区能够参与这一愿景。


我们的使命从未动摇。我们迎难而上,克服每一个技术瓶颈,以实现目标。我们的愿景是什么?它一如既往地清晰而大胆,我们不仅与行业共同发展,还定义行业前进的道路。


Ishan Pandey: Mawari 专有的 3D 分割渲染技术和 3D 流式编解码器正在解决空间计算领域的重大挑战。您能解释一下这些技术的工作原理以及它们对未来的 XR 体验至关重要的原因吗?


Luis Oscar Ramirez:空间流媒体为何如此重要?想想看:当您在 Netflix 上按下播放键时,一部 4K 电影几乎立即出现在您的电视或智能手机上。我们甚至不再考虑它;它已经成为我们日常生活的一部分。但现实是:在 Mawari 之前,空间内容无法大规模提供,并且无法达到我们期望从 Netflix 或 YouTube 等服务获得的质量和即时性。这就是房间里的大象。Mawari 的技术正在实现一些非凡的事情。我们为空间内容带来了同样无缝的体验 - 无需下载、无需等待、没有存储限制。就像您今天听音乐或看电影一样 - 轻松、即时。


我们正在消除摩擦,让每个人都能随时随地享受空间体验的动态流式传输。它是如何工作的?正如我之前提到的,Mawari 的技术旨在原生于空间计算,这是一个带来独特挑战和机遇的领域。首先,让我们考虑一下空间计算体验的本质:它们结合了 2D 和 3D 内容。虽然我们已经利用高效的技术和编解码器完善了 2D 内容流式传输的艺术,但 3D 内容却并非如此。这就是 Mawari 的用武之地。我们创造了突破性的技术,专门用于高效地传输 3D/沉浸式内容,并使用我们专利的格式将其无缝集成到空间体验中。


现在,让我们来谈谈核心问题:如果你想要流式传输整个空间体验,你要处理的不仅仅是 2D 和 3D 内容。你还要处理空间计算元素——设备执行的实时计算,以在现实世界中定位你和内容。由于这些设备本质上充当了你眼睛的视口,因此它们需要超低延迟。通过网络流式传输这些元素会使它们极易受到延迟的影响。当出现问题时,你不仅会看到缓冲图标。你会看到屏幕锁定,这不仅令人烦恼;它还会导致晕动症和体验不佳。对于 2D 内容,缓冲只是一种不便。但在空间计算中,这是一个影响用户身体的关键问题。


这就是为什么我们认为某些元素必须直接在设备上处理或渲染:空间计算和基本 2D 元素,如 UI 组件(按钮、菜单等)。而这正是我们的分割渲染技术发挥作用的地方。我们让这些关键元素在设备本身上渲染,而丰富、动态的 3D 内容则从 Mawari 网络流式传输。可以这样想:使用 Netflix,您可以下载应用框架,但可以流式传输内容。我们在这里应用相同的逻辑,消除摩擦并提供无缝体验。这种方法消除了传统的障碍——无需下载,没有存储问题,只有无缝的实时流式传输。总结一下:我们将 3D/沉浸式内容流式传输到在配备 Mawari 分割渲染技术的设备上运行的空间体验中。


这就是这两种技术如何携手打造完美用户体验的方式。我们的分割渲染技术还有另一个改变游戏规则的方面:情境感知流媒体。此功能称为遮挡,可让您将流媒体内容精确地放置在现实世界中。想象一下,一位人工智能助手坐在您对面的桌子旁;你会希望只看到它的上半身,就像一个真人一样。如果我们将整个体验都流式传输,那么实现这种情境真实感水平将是不可能的。它会让人感觉像一个过时的叠加层,让人想起旧的 View-Master 玩具——与我们正在构建的沉浸式未来相去甚远。


Ishan Pandey:Mawari #DePIN 网络利用 GPU 驱动的节点实现高效的实时 3D 内容流式传输。这种去中心化方法与传统内容交付网络有何不同?它具有哪些优势?


Luis Oscar Ramirez: Mawari Network 从一开始就是一个 DePIN,因为集中式方法和传统内容交付网络不适合扩展我们的空间流解决方案,这就是我所定义的“目标驱动的 DePIN”。更具体地说,传统的内容交付网络在其节点之间分发内容,在处理初始源后,这些内容不需要计算,但是当涉及到实时 3D 流时,我们需要在网络节点之间分发计算和存储(源文件)。


这意味着我们需要一个分布合理、靠近最终用户的 GPU 节点群,以确保到最终用户设备的最佳往返延迟。除此之外,我们还可以与可编程的最后一英里网络交互以保证 QoS。这种编排需要近乎实时地进行,而这不是当今集中式/传统网络所能提供的。


更重要的是,超大规模企业已在其当前的基础架构上投资了数十亿美元,这些组织中没有一位首席财务官会批准为空间流建造新的专用设施,直到有可计算的回报期 - 换句话说,足够的需求来证明在这个新基础设施上数十亿甚至数万亿美元的投资是合理的 - 这是典型的 web2。


Mawari 采用新架构并使用 DePIN 作为方法,利用全球大量现有 GPU 节点并创建一个全球合作伙伴社区,这些合作伙伴贡献资源来快速扩展全球内容交付网络,从而消除了 CaPex 负担。与传统 CDN 和云服务不同,该网络不是由纸质合同提供支持,而是由区块链提供支持。区块链是一项 21 世纪技术,旨在实现 21 世纪沉浸式内容和体验的革命。区块链不仅提供可靠的绩效跟踪,还提供绩效的程序化管理,并自动向所有合作伙伴分配公平的财务奖励。


Ishan Pandey:您曾提到,消费者习惯于期望多媒体内容能够可靠地流式传输,就像 Netflix 一样。Mawari 如何努力将这种级别的无缝流式传输带入 XR 领域?


Luis Oscar Ramirez: Ishan,这个问题问得好。在技术方面,我们已经打下了基础——创造技术并协调资源,以满足当今消费者的高期望。随着空间计算设备的发展,我们将继续专注于持续创新。但让我们明确一点:我们自己不创造内容。这就是我们与开发人员和内容创建者的合作所在。


我们与有远见的艺术家、知识产权所有者、企业家和品牌密切合作。这是一种伙伴关系——一种将我们的尖端技术和实践经验与他们的创意愿景结合在一起的合作。我们的使命很明确:让开发人员和创作者能够创造令人惊叹的空间体验,吸引他们的观众。为什么?因为我们相信消费者第一次接触空间技术应该是神奇的——它应该创造一个“哇”的时刻,从而产生兴奋和采用的连锁反应。至于扩展,我们看到的轨迹与视频游戏的轨迹相似。


还记得视频游戏最初在基于位置的街机游戏厅获得关注,然后进入家庭,并最终通过电子竞技和流媒体发展成为一种大规模的在线文化吗?我们相信空间计算将走上类似的道路。这就是为什么我们鼓励我们的合作伙伴首先在 LBX(基于位置的体验)街机游戏厅推出他们的体验,人们可以在那里亲身体验这项技术。


以我们在日本 Mutek 举办的 XR 表演为例。这不仅仅是一场普通的表演,更是一次令人着迷的体验。著名编舞家 Hiroaki Umeda 与使用虚幻引擎 5 的实时 3D 运动图形工具 MXR 合作。通过集成我们的空间流式 SDK,MXR 带来了真正非凡的体验——一场无缝同步投影映射、声音和空间内容的实时表演。

案例研究 → Mawari x MXR 呈现:Hiroaki Umeda 的“同化 XR”


结果不言而喻


空间体验已准备好迎接黄金时段——不再有噱头。


观众们渴望看到新颖、引人入胜的内容。这场演出不到一天就销售一空,7 分钟的演出票价为 20 美元。96% 的观众表示满意,71% 的首次用户认为它物有所值,并表示会向亲朋好友推荐。这就是您点燃飞轮效应的方式。您可以创造令人难忘的体验,激励更多创作者,并为整个空间计算生态系统积聚动力。


Ishan Pandey:Mawari 为开发人员开发了 Spatial Streaming SDK,并开发了用于内容交付的 Mawari Network。这两个元素如何协同工作以创造更具沉浸感和响应能力的 XR 体验?


Luis Oscar Ramirez:可以把它想象成阴阳。空间流 SDK 和 Mawari 网络是强大生态系统的两个组成部分。如果没有 SDK,内容创建者和开发者就无法将高质量、沉浸式的内容传输到空间设备。如果没有 Mawari 网络,他们就无法将这些体验扩展到全球受众。


工作原理如下:SDK 是我们为开发者和内容创作者提供的工具,是释放他们的创造力和创造令人惊叹的体验的途径。多年来,我们学到了一件关键的事情:创作者应该专注于他们最擅长的事情——发挥创造力。我们的技术会处理其余的事情,消除阻碍他们前进的任何障碍并简化流程。


我们不会要求开发人员改变他们的工作方式。我们的 SDK 可直接与他们现有的工作流程集成,无论他们使用的是 Unity 还是 Unreal Engine。这是一个简单的插件 - 无需学习新工具或更改已在运行的内容。在云编排方面,它同样简单明了。创作者需要做的就是将他们的 Unity 或 Unreal Engine 项目上传到 Mawari 网络。从那里,我们在后端管理一切,就像今天的传统 2D 内容交付网络一样。


这种方法的关键在于效率和授权。它消除了开发人员学习新工具或聘请专业人员进行云流、DevOps 或后端管理的需要。曾经需要数周或数月才能掌握并花费数天才能部署的事情现在只需简单的上传即可。这就是我们如何让开发人员释放他们的创造力并将他们的愿景变成现实,而且速度比以往任何时候都更快、更高效。


Ishan Pandey:XR 行业正在快速发展。您认为未来 5-10 年空间计算和 XR 流媒体面临的最大挑战和机遇是什么?


Luis Oscar Ramirez:空间计算行业正在快速发展,这种发展在未来 5-10 年既带来了重大挑战,也带来了巨大的机遇。我们今天面临的最大挑战之一是空间设备的普及率低。虽然这看起来像是一个障碍,但实际上却是一个独特的机会。目前,市场是开放的——一块等待被填满的空白画布。目前还没有占主导地位的玩家,也没有定义该领域的“杀手级应用”。这是我们摆脱传统垄断、实现内容创作和分发民主化的机会。这是一个创新的好时机,我们可以探索新的想法,开发突破性的应用程序,并为空间计算的真正发展设定标准。


这就是为什么协作和社区驱动的方法如此重要。空间行业的未来不会由一家公司或少数几个参与者构建——它需要一个社区。就像开源运动改变了软件游戏一样,社区驱动的方法将是让空间计算蓬勃发展的关键。这就是 Mawari DePIN 网络发挥作用的地方。与其他 DePIN 网络与老牌巨头竞争的市场不同,空间计算是一张白纸。这为 Mawari DePIN 网络提供了一个难得的机会,使其成为去中心化空间流媒体和沉浸式内容交付的标准。


但我们不能忽视开发者的货币化问题。随着空间计算的发展,开发者需要明确的途径将他们的创新转化为收入。在 Mawari,我们不仅仅是培育生态系统;我们还积极引导我们的合作伙伴制定有效的货币化战略。这不是一件小事——这是一项巨大的努力,为支持创作者和消费者的强大、可持续的生态系统奠定了基础。通过建立新的商业模式和收入来源,我们正在为更广泛、更具包容性的空间生态系统铺平道路。


展望未来,虽然存在挑战,但机遇更大。设备普及率低、缺乏杀手级应用以及需要协作方法——这些不仅仅是障碍。它们是新领导者出现、新想法扎根和新标准制定的条件。Mawari 抓住这些机会,引领潮流,塑造空间计算的未来。


Ishan Pandey:Mawari 已经与 KDDI 等公司合作开展 AR 激活。您能否分享一些关于这些技术实际应用的见解,以及它们如何影响您扩展 XR 体验的方法?


Luis Oscar Ramirez:我们获得的最有价值的见解来自于在 40 多个不同的项目中商业部署我们的技术。这种现实世界的经验是我们最好的老师。它向我们展示了什么真正吸引消费者——是什么让他们说“哇!”它还教会了我们如何减少采用新技术时经常出现的摩擦,并帮助我们了解哪些商业模式在这个新兴行业中真正蓬勃发展。其次,通过实施我们自己的技术,我们了解了开发人员需要什么来简化他们的流程并释放他们的创造力。这是关于为他们提供正确的工具,让他们轻松进行创新。


通过与 KDDI、T-Mobile、德国电信和西班牙电信的合作,我们早期获得了 5G 网络及其 API,这改变了行业格局。它让我们看到了在现实世界的最后一英里条件下什么方法有效。这种经验促使我们在实验室的受控环境之外改进我们的技术,以应对消费者部署的挑战性现实——对错误的容忍度为零。


我们与 Qualcomm、Xreal 和 Magic Leap 的合作同样至关重要。通过早期接触空间设备,我们能够了解使一切无缝协作的更精细的细节。正是这种源于实践经验的深刻理解,使我们能够创造出和谐、突破性的解决方案,重新定义空间计算的可能性。


别忘了点赞并分享这个故事!


既得利益披露:本文作者是一位独立撰稿人,通过我们的商业博客计划。HackerNoon 已审查了该报告的质量,但本文中的声明属于作者。#DYOR