使用 Oracle、第 5 集医疗保健、Vision AI、培训/协作和消息传递开发 XR

这是关于使用 Oracle 开发 XR 应用程序和体验的系列文章的第五篇，重点关注医疗保健、视觉 AI、培训和协作以及消息传递的 XR 应用程序，包括多平台开发等其他主题。

在下面找到前四篇文章的链接：

使用 Oracle 开发 XR，第 1 集：空间、AI/ML、Kubernetes 和 OpenTelemetry
使用 Oracle 开发 XR，第 2 集：属性图和数据可视化
使用 Oracle 开发 XR，第 3 集：计算机视觉 AI 和 ML
使用 Oracle 开发 XR，第 4 集：数字孪生和可观察性

与之前的帖子一样，我将专门展示使用 Oracle 数据库和云技术开发的应用程序，这些应用程序使用 HoloLens 2、Oculus、iPhone 和 PC，并使用 Unity 平台和 OpenXR（用于多平台支持）、Apple Swift 和 WebXR 编写。

在整个博客中，我将参考下面相应的演示视频。

扩展现实 (XR) 和医疗保健

我将推荐读者阅读本系列的第一篇文章（同样，链接在上面）以了解 XR 的概述，我不会深入探讨医疗保健领域涉及的大量技术，而是将重点放在这些主题的 XR 支持以及甲骨文技术为此目的的使用，特别是因为甲骨文通过收购 Cerner 和其他努力增加了对这一领域的关注。众所周知，自大流行以来，远程医疗发展迅猛，仅在大流行前一个月就以 78 倍的速度达到峰值，即使现在仍保持在 38 倍的水平。

这些和其他数字及其影响在许多出版物中都有详细记录，例如这篇麦肯锡报告和VR/AR 协会医疗保健论坛，本文将引用这些内容。人们只需要在 2021 年听说过约翰霍普金斯大学使用 XR 进行现场手术，就可以了解 XR 将在多大程度上帮助这个行业，因此，我不会太深入地试图证明这一点，但是继续给出一些涉及 Oracle 数据库和云技术的示例和想法。

视觉AI与情境智能：实时分析与诊断

第一个示例涉及使用 Hololens 混合现实耳机（尽管可以使用其他耳机/设备）和 Oracle 的 Vision AI 服务。设想医护人员佩戴 XR 设备为他们提供额外的功能和信息（事实上，许多人已经这样做了）应该没有太大的想象力。

如今，医生、牙医等经常将电脑屏幕与患者进行交叉对照，以检查信息并确定他们所见（X 光、核磁共振等）的方向，并且通常在头戴式灯、单眼放大镜等位置. 这里讨论的 XR 解决方案仅仅是它的演变。有关此应用程序的更多详细信息可以在此处的研究博客中找到，但此处描述了其工作原理的基本细节。

在 Hololens 上运行的应用程序以佩戴者的视野为参考，使用其内置相机拍摄照片，并定期拍摄。这提供了至少更方便的免提体验。尽管如此，在许多情况下，例如在手术室中，用户的手仍需要与真实（或 XR）世界进行交互，从而使其成为更优化的解决方案。这也意味着系统可以获取从业者可能不知道或无法访问的上下文信息，同时快速收集和处理此类信息，而无需从业者明确指示，从而也节省了时间。这导致混合现实提供的优化，这是沉浸的令人兴奋的副产品。

然后，Hololens 通过安全的 REST 调用将这些图片发送到 OCI 对象存储， OCI 视觉人工智能服务可以方便地直接访问这些图片，并在数据库中存储和/或访问这些图片。

从这一点开始，可以使用多种不同的方法和架构来执行逻辑和对 Oracle Vision AI API 的调用，以处理 XR 设备发送的图像。例如，就使用的语言而言，初始版本是使用 OCI CLI、Java 和 Python 编写的，最终使用的是 Java GraalVM 原生映像版本。

此外，由于 Java GraalM 本机映像在服务执行特定的短暂例程时几乎立即启动，因此它是无服务器功能的理想选择。 OCI Notification Service 可以选择监听 Object Store 的变化，也可以调用无服务器函数。

Java服务收到图片上传到对象存储的通知，进行如下一系列操作：

1. 执行由 X 射线对象检测模型支持的 OCI Vision AI 服务 API 调用，并提供 Hololens 发送的图像的位置。
2. 从对象检测模型接收回复，其中包含 X 射线出现在图像中的百分比机会及其边界坐标。
3. 使用边界坐标裁剪原始图像。
4. 执行另一个由 X 射线分类模型支持的 OCI Vision AI 服务 API 调用，并为其提供 X 射线的裁剪图像。
5. 从图像分类模型接收回复，其中包含异常/肺炎迹象的 X 射线百分比变化。
6. Hololens 应用程序收到此回复并通过声音通知通知佩戴者——这是可配置的，也可以是视觉的。就此应用程序而言，信息包括裁剪后的 X 射线照片及其发现的详细信息，这些信息在位于手腕上的虚拟菜单中列出并存储，只有佩戴者可以查看。这种方法可以防止佩戴者的打扰，尽管也可以将结果叠加在从中得出的现实生活中的 X 射线上。

Vision AI 和 XR 是许多领域解决方案的天然匹配，包括医护人员（如此处所示）以及患有帕金森氏症、自闭症、阿尔茨海默氏症、视力和听力障碍等疾病的人。（例如，应用程序/此博客中描述了可用于此空间的解决方案）

运动和情绪研究：实时面部和身体跟踪分析

如今，95% 的医疗机构提供远程治疗和康复服务。 XR 技术可用于帮助患者更好地了解他们的状况和治疗方案。这可以帮助患者在做出医疗保健决策时感到更加知情和更有能力。

下一个示例是使用 iPhone 和 Swift 实现的，使用 Apple 的RealityKit进行身体跟踪运动。记录模型运动的关节坐标，并通过对 ORDS 的 Rest 调用将其发送到 Oracle 数据库。使用该应用程序的人（无论是患者、运动员等）尝试进行相同的运动，并将他们的关节坐标与数据库中存储的模型运动的关节坐标进行比较。如果超过允许的运动偏差/增量，相应的关节和骨骼将显示为红色而不是绿色。

该反馈实时给出以测量进展（例如，在肩袖或其他手术之后）和/或允许用户修改他们的运动以匹配控制模型以及平衡和协调工作。反过来，这些运动可以被分析（更多关于 XR 和 Oracle Analytics 在即将发布的博客中）、重放、操纵以进行模拟等。这些用例当然扩展到体育、娱乐等领域，如出色地。

数字孪生 + 双打和多人/参与者消息传递：培训和协作

Unity 最近报告的一项研究表明，大约 94% 使用实时 3D 技术的公司发现它对员工培训很有价值，并正在使用它来创建交互式指导学习体验。这适用于各个行业，包括制造、运输、医疗保健、零售等，并且此处讨论了该领域的一些趋势（其中许多趋势与本博客中显示的内容一致）。

XR 技术可用于创建逼真的医疗场景模拟，使医疗保健专业人员能够在安全和受控的环境中练习程序和技术。例如，医学生和外科医生可以使用 XR 模拟来练习手术，并通过触觉提供真实手术的反馈，而护士可以使用 AR 模拟来练习给药。这可以帮助医疗保健专业人员在不危及患者安全的情况下获得宝贵的经验。

除了教学之外，XR 还为不同地点和专业的个人之间的协作提供了独特的能力，创建了一个共享的虚拟空间，多个用户可以在其中相互交互并与虚拟对象交互。有几种不同的技术和软件选项可用于创建 XR 多人/参与者培训和协作，包括 XR 会议软件和 metaverses、Photon 和其他类似软件、Rest、WebSockets 和不同类型的消息传递。

XR 会议软件和平台，如 Alakazam，正变得越来越流行，并允许多个用户参与虚拟会议、活动、培训课程等。

Photon 是一个平台，允许开发人员使用 Unity、Unreal Engine 和其他游戏引擎创建多人游戏和应用程序，并且可以轻松安装在 Oracle 云计算（包括NVIDIA GPU ）上并利用它。它可能是此类平台中最著名的，但还有其他平台。

WebSockets 是一种用于 Web 客户端和服务器之间实时通信的协议，对于此类用例，它可能是一种比 Rest 更快、更有效的方法，尽管 Rest 调用在许多情况下也是一种简单、可行的选择，并且可以通过总的来说比其他任何方法都要休息。

消息传递是另一种可用于创建 XR 培训和协作体验的技术。 Kafka 和 JMS 等系统既有发布/订阅（多消费者主题），也有生产者/消费者（单消费者主题），对于不同的培训和协作需求非常灵活。

在视频中显示的培训应用程序中，我使用了上述许多技术，但重点是使用 Oracle 的 TxEventQ 消息传递引擎（以前称为 AQ）。由于多种原因，这是一个非常强大和独特的产品，其中一个关键原因是它能够在同一个本地事务中执行数据库工作和消息传递工作。这是独一无二的， 非常适合微服务，因为它提供了事务发件箱模式和恰好一次的消息传递，因此没有消息丢失，开发人员无需编写重复数据删除逻辑。

这对于传统的游戏或电影流媒体来说可能不是必需的，但对于任务关键型系统来说是必须的，并且为 XR 提供了一些非常有趣和独特的方面，其中能够可靠地存储共享 (3D) 对象（尤其是那些动态或创建的对象）通过生成人工智能，例如）以及各种参与者在其上进行的交互/消息是一个非常强大的工具。

这正是视频中显示的应用程序所做的。协作会话不仅以 3d 形式记录下来以作为视频观看，而且参与者的实际对象和它们的交互也记录在数据库中并可供回放，以便以后可以截取和操纵它们。这允许通过像剧本一样调整对象和交互来进行更深入的学习和运行更多模型（AI 或其他）、模拟、场景等。

随着更先进的技术和更强大的设备的发展，XR 培训将在不久的将来变得更加普遍，使培训体验更加身临其境和互动。

另一个小注意事项是视频中的应用程序让医护人员在工作室中专业制作全 3d 体积视频捕获，但也有一个简单的 2d 视频，通过 Unity 着色器删除了绿屏 alpha 通道，提供类似的全息图像以最小的努力产生效果（在照明等方面付出更多努力，质量可能会更好）。为此可以使用 Zoom 虚拟绿屏以及在 Blender 中完成动画的免费资产。 Unity、Zoom 和 Blender 都是免费的，并使用 Oracle 始终免费的自治数据库，这使得创建解决方案在软件和云成本方面非常容易获得。

数据生态系统：远程医疗和虚拟医疗中心

虚拟医疗中心或医院是一种医疗机构，通过视频会议、在线聊天、远程监控以及越来越多的 XR 技术等数字渠道提供医疗服务。这些数字工具使患者能够在舒适的家中或偏远地区获得医疗保健服务，而无需亲自前往医院或诊所。

由于对远程医疗服务的需求不断增长，尤其是在 COVID-19 大流行之后，虚拟医疗中心的概念越来越受欢迎。虚拟医疗中心可以提供广泛的医疗服务，例如初级保健、专科咨询、诊断测试和处方补充，并为可以随时随地获得医疗服务的患者提供便利和灵活性。

这对于行动不便的患者、居住在农村地区的患者或需要咨询当地没有专科医生的患者尤其有益。它还可以降低患者和医疗保健提供者的医疗保健成本。通过使用远程咨询和监控，医疗保健提供者可以减少昂贵的面对面咨询和住院的需要。患者还可以节省交通费用和请假时间。

虚拟医疗中心可以提高患者的护理质量。通过远程监控，患者可以获得个性化和持续的护理，医疗保健提供者可以实时监控他们的健康状况，并在必要时迅速进行干预。这可以带来更好的健康结果并减少再入院率。

然而，实施虚拟医疗中心也存在一些挑战。其中包括围绕数据隐私和安全的问题，以及患者对充分的互联网访问和数字素养的需求。此外，一些患者可能仍然更喜欢传统的面对面护理，尽管数量有所减少，但可以远程提供的医疗服务有限。虚拟医疗中心的概念有可能彻底改变医疗保健的提供方式，对患者和医疗保健提供者都有好处。然而，需要仔细考虑和规划，以确保虚拟医疗中心的实施对所有患者都是安全、有效和公平的。

甲骨文通过收购 Cerner 并更加关注医疗保健的未来，通过其“为患者、供应商提供更好的健康洞察和以人为本的体验”的能力，在促进此类 XR 解决方案方面处于独一无二的地位、付款人和公众。 Oracle Health 提供最安全可靠的医疗保健解决方案，这些解决方案连接临床、运营和财务数据，以改善护理并推进有关健康和福祉的决策。” （甲骨文健康页面）。拉里埃里森在他的 Oracle OpenWorld 演讲中明确表示，医疗保健是 Oracle 未来的首要任务，并在今年早些时候表示，“Cerner 和 Oracle 共同拥有构建革命性的新健康管理信息系统所需的所有技术云端。”

精神健康

超过 20% 的美国成年人患有精神疾病，而全世界每年有超过 250 万青年人患有严重的抑郁症，80 万人因精神疾病自杀。同时，精神卫生专业人员的短缺日益严重，这是一个全国性的问题，但对未成年人和青少年来说尤为严重。据美国卫生与公众服务部称，到 2025 年，美国预计将缺少 10,000 名精神卫生专业人员。

心理健康是 XR 研究最广泛的领域之一，并被证明作为一种为焦虑、抑郁和创伤后应激障碍等心理健康状况提供疗法和治疗的方法极其有效。例如，VR 暴露疗法可用于帮助患者面对和克服他们的恐惧，方法是让他们在受控和安全的环境中模拟他们害怕的事物。

认知行为疗法 (CBT)，XR 可用于创造身临其境的冥想体验，以促进正念、放松和减压。例如，VR 环境可以模拟宁静祥和的自然环境，例如海滩、森林、山脉或太空。儿童、老人和其他可能需要长时间住院的人正在使用 XR 探索世界和社交。

使用 XR 和远程治疗，治疗师可以创建可以模拟面对面治疗的虚拟环境，提供更加身临其境和个性化的体验，同时减少患者的抑制，甚至允许使用 AR 镜片和化身来保护隐私。

NLP（自然语言处理）情感分析，例如相应的 Oracle AI 服务提供的，可以从语言交流中解读情感和意图，随着面部识别和面部情感分析的进步，现在可以非常准确地检测出一个人以非语言方式感受到和/或表达的情绪（身体/手势跟踪也是如此）。与 XR 协调的神经技术和神经接口现在可以解释和洞察人类意图并测量情绪，从而提供对意图和情绪的更深入洞察。

当然，全世界都非常熟悉 ChatGPT 等 AI 界面更方便、更简单的可访问性，以促进这一点。与前面给出的 X 射线示例一样，在某些情况下，这些可以提供比人类更高、更一致的准确性和速度，但也可以作为医护人员的辅助技术。更多这方面的例子将出现在即将发布的博客中。

额外的想法

我已经给出了一些想法和示例，说明了 Oracle 如何将医疗保健和 XR 结合使用并加以促进。我期待很快发布更多关于这个主题以及 XR 与 Oracle 云和数据库的其他领域的博客。

请参阅我的其他出版物以获取有关 XR 和 Oracle 云和数据库的更多信息，以及有关微服务、可观察性、事务处理等的各种主题，以及最近关于什么是 AR 的博客。另外，如果对新博客和视频有任何问题或建议，请随时与我联系，因为我非常乐于接受建议。感谢阅读和观看。