使用 Oracle 开发 XR，第 4 集：健康、数字孪生、可观察性和元界

在本系列的第四篇文章中，我将重点关注健康、数字双胞胎、物联网、可观察性的 XR 应用，以及它在元宇宙中的相关使用。

这是使用 Oracle 开发 XR 应用程序和体验系列的第四篇，重点介绍计算机视觉 AI 和 ML 的 XR 应用程序及其在元界中的相关使用。在下面找到前两篇文章的链接：

• 使用 Oracle 开发 XR，第 1 集：空间、AI/ML、Kubernetes 和 OpenTelemetry
• 使用 Oracle 开发 XR，第 2 集：属性图、数据可视化和元界
• 使用 Oracle 开发 XR，第 3 集：计算机视觉 AI、ML 和元界

与之前的帖子一样，这里我将再次专门展示使用 Oracle 数据库和云技术、HoloLens 2、混合现实工具包和 Unity 平台开发的应用程序。

在整个博客中，我将参考这个相应的演示视频：

扩展现实 (XR)、元界和 HoloLens

我将向读者推荐本系列的第一篇文章，了解 XR 和 HoloLens 的概述（如上链接）。该帖子基于数据驱动的微服务研讨会，并通过与食品/产品的 3D 模型、3D/空间真实世界地图等交互，展示了元节中将出现的许多方面，例如在线购物。 ，以及后端 DevOps（Kubernetes 和 OpenTelemetry 跟踪）等。

该系列的第二篇文章基于多个图形研讨会，展示了模型、笔记本、布局和亮点的可视化、创建和操作，用于社交图、神经网络和金融部门（例如，洗钱检测）。

该系列的第三篇文章使用计算机视觉 AI 来检测、标记和说出房间中的图像，并从同一房间中提取文本，以便根据环境提供各种上下文信息等。这一个，主题可以共享和积极协作，甚至是实时的，远程的。这些类型的能力是元宇宙概念的关键，并将在这些未来的作品中得到扩展和扩展。

本博客不会深入探讨数字双胞胎，而是重点关注这些主题的 XR 支持以及为此目的使用 Oracle 技术。

数字孪生

有许多细微的定义可用，但总的来说，“数字孪生是对象或系统的虚拟表示，它跨越其生命周期，从实时数据更新，并使用模拟、机器学习和推理来帮助决策-制造。”数字替身通常特指人类的表现形式。实时数据通常是从传感器收集的，因此物联网架构等经常在该过程中使用，尽管可以使用多种类型的来源和技术。

数字双胞胎有相当多的材料，所以我将简要介绍这个主题，但它在 XR 和元界中的创新、协作、沉浸等潜力确实是无限的，非常令人兴奋。很多领域的例子不胜枚举。在这里，我将只涉及健康（作为更大的健康、运动、保健等空间的代表）和家庭（作为更大的 AEC 空间的代表）。

健康与保健

健康和医疗保健目前越来越多地成为 XR 创新取得最大进展的领域。来自 Amwell 等公司的远程医疗和远程医疗已经为卫生系统、健康计划、雇主和医生提供了全面的数字医疗解决方案，并取得了长足的进步，特别是在流行病等带来的必要性方面，这种情况肯定会继续下去将通过 XR 进行增强，以提供以前无法获得的位置、条件和专业领域的访问权限。此外，XR 已经用于卫生部门的培训和教育已有一段时间了，特别是 HoloLens 现在已用于现场手术。与计算机视觉人工智能、预测分析等结合使用，在不久的将来，治疗的效率和质量将实现飞跃。我将在本系列即将发布的博客中展示这方面的一个示例，并且随着 Oracle 和 Cerner 的合并，您可以期待在该领域看到进一步的协同作用和进步。

尽管显然直接相关，但本博客中的示例直接关注个人健康本身以及患者/人类锻炼的数字双胞胎/双重表示。有许多用于健身和其他方面的技术和可穿戴设备，非常适合此目的。

我一直专注于 Apple Watch 及其 HealthKit API 的开发，因为它提供了惊人的信息量，包括活动（activeEnergyBurned、swimingStrokeCount、vo2Max，...）、身体测量（bodyFatPercentage，...）、生殖健康（basalBodyTemperature )、听力（环境音频暴露）、生命体征（心率、血压）、实验室和测试结果（血糖）、营养（饮食胆固醇）、饮酒量、移动性、紫外线照射等。除了手表的其他信息外，还提供此信息它的应用程序收集和提供天气、GPS 等。

视频中显示的演示需要一名跑步者佩戴手表和应用程序，该应用程序不断将任何选定的指标发送到 Oracle 数据库。发送的指标可以在手表或数据库本身进行配置，使应用程序非常动态。

在这种情况下，会发送 GeoJSON/GPS 位置、心率、踏频、燃烧的卡路里、海拔和温度。这可以使用 MQTT 以各种方式完成（例如，可以使用从 Mosquitto 到 Oracle AQ/TEQ 消息传递系统的桥接/事件网格来利用那里的功能），或者在这种情况下，使用 Rest。

HoloLens 反过来从数据库中接收此信息，并在地图上的适当 GPS 位置上绘制人类站立、行走或跑步（取决于位置距离/随时间变化）。人体动画的方向和旋转由接收到的 GeoJSON 坐标的历史/变化、接收到的天气统计数据等确定的光照等决定。人体动画沿着中矢状平面与骨骼、肌肉等系统分开暴露以进行标记/跟踪，以防这些区域中的任何特定生物特征想要被标记、测量和分析。

同时，统一的可观察性导出器从数据库中接收这些信息，并以 Prometheus 格式提供指标等，以便在 Grafana 控制台中显示和监控。您可以在此处了解有关 Oracle 统一可观察性框架的更多信息，并在即将发布的博客中更详细地了解此处。

Oracle 被称为融合数据库，因为它支持单个数据库中的所有数据类型/格式（以及工作负载、消息传递等）。此处举例说明，各种统计数据可以以关系格式存储，GPS 位置以 (Geo)JSON 格式存储，MapMyRun/TCX 或 Stava/GPX 以 XML 格式存储。

这允许兼容性、跨数据类型查询和操作等。这样，活动/运行可以在以后回放和分析。 XR 在健身和运动（健康和娱乐）方面取得了许多突破，这些突破超出了本文的范围。

家庭、建筑、工程和施工

实施 XR 的第一个也是最突出的行业可能是建筑、工程和施工 (AEC) 行业，以及相关程度的家居行业。从布置房屋中的虚拟家具到编排极其复杂的建筑工地和流程，如甲骨文的Aconex提供的一切。

视频中显示的演示需要对一些关键概念进行简单表示。 HoloLens 呈现房子的 3D 可视化。可以通过许多现有技术轻松快速生成可视化，例如更新手机上的激光雷达支持，但是，在这种情况下，我只是使用房屋模型，尽管我确实包含了房屋中鼓的摄影测量扫描该模型。 （这是静态完成的，但是，随着时间的推移，动态/实时摄影测量、激光雷达等扫描对于数字孪生生成变得越来越可行，未来的博客将证明这一点。）。

房子里的真实世界的灯光不断地发送它的颜色状态（通过 MQTT），HoloLens 接收这些状态，然后用来设置它的虚拟/数字双灯的颜色。相反，当按下 HoloLens 应用程序中的虚拟/数字双色按钮时，会发送颜色命令（这一次是在 Rest 上，尽管它也可能是 MQTT）并且现实世界的光线会变为所选颜色。由于这些更改存储在数据库中，因此可以通过互联网连接从任何地方监控和控制房屋的数字孪生。

此外，面向房屋外部的安全摄像头流式传输其捕获的视频（一种可能的方法是将Pi 摄像头流式传输到 Oracle 云或使用 Oracle 新的 OCI 数字媒体服务的视频流），Hololens 接收和显示在数字双胞胎模型中，因此用户还可以查看安全摄像头，从任何位置重新创建房屋的真实实时表示/模型。

Hololens 应用程序还可以将摄像头馈送覆盖在与外墙上摄像头位置相对应的实际/真实世界内墙上，从而创建墙壁的透视效果。

最后，数字双胞胎可以是现实世界对象和位置的表示，也可以是过程或概念的表示，或两者兼而有之，因此在这个例子中，我们进一步用一个可以看到威尼斯运河、内罗毕沙漠的水洞等的窗户代替窗户. 通过直播。混合现实的另一个经典例子。

其他部门

在 XR 领域开发更多数字双胞胎和数字双胞胎的其他例子包括金融科技，例如先进的数字助理、用于保险的汽车传感器等、用于采矿和其他行业的地理信息系统、用于各种会议的全息图和摄影测量，以及会议，以及高级传感器和分析，例如甲骨文激动人心的 F1 Redbull 协作项目，这些只是其中的几个例子。

额外的想法

我已经给出了一些想法和示例，说明了 Oracle 如何将数字替身和 XR 一起使用和促进。我期待很快发布更多关于此主题以及 XR 与 Oracle 云和数据库的其他领域的博客。

请参阅我在此处和此处发布的文章，了解有关 XR 和 Oracle 云和融合数据库的更多信息，以及有关微服务、可观察性、事务处理等的各种主题。此外，如有任何新问题或建议，请随时与我联系博客和视频，因为我非常愿意接受建议。感谢您的阅读和观看。