Oracle, Ep 5 Healthcare, Vision AI, 교육/협업 및 메시징을 사용하여 XR 개발

이는 Oracle을 사용한 XR 애플리케이션 및 경험 개발에 관한 시리즈의 다섯 번째 기사로, 멀티 플랫폼 개발 등과 같은 기타 주제를 포함하여 의료, 비전 AI, 교육 및 협업, 메시징의 XR 애플리케이션에 중점을 둡니다.

아래에서 처음 4개의 기사에 대한 링크를 찾으세요.

Oracle을 사용하여 XR 개발, Ep 1: Spatial, AI/ML, Kubernetes 및 OpenTelemetry
Oracle을 사용하여 XR 개발, Ep 2: 속성 그래프 및 데이터 시각화
Oracle을 사용하여 XR 개발, Ep 3: 컴퓨터 비전 AI 및 ML
Oracle을 사용하여 XR 개발, Ep 4: 디지털 트윈 및 관찰 가능성

이전 게시물과 마찬가지로 HoloLens 2, Oculus, iPhone 및 PC를 사용하여 Oracle 데이터베이스 및 클라우드 기술로 개발되고 Unity 플랫폼 및 OpenXR(다중 플랫폼 지원용), Apple Swift 및 WebXR을 사용하여 작성된 애플리케이션을 구체적으로 보여 드리겠습니다.

블로그 전체에서 아래의 해당 데모 비디오를 참조하겠습니다.

확장 현실(XR) 및 의료

XR에 대한 개요를 보려면 이 시리즈의 첫 번째 기사(링크는 위에 있음)를 독자에게 소개할 것이며 의료 부문과 관련된 광범위한 기술에 대해 깊이 다루지는 않고 대신에 초점을 맞출 것입니다. 특히 Oracle이 Cerner 인수 및 기타 노력을 통해 이 분야에 더 많은 관심을 갖고 있기 때문에 이러한 주제의 XR 지원 및 Oracle 기술의 사용이 특히 중요합니다. 원격의료는 팬데믹 이후 엄청나게 성장하여 팬데믹 발생 불과 한 달 전의 78배 비율로 정점을 찍었고 지금도 여전히 그 비율의 38배 수준을 유지하고 있다는 것은 잘 알려져 있습니다.

이러한 수치와 기타 수치 및 그 영향은 이 기사에서 참조될 McKinsey 보고서 및 VR/AR 협회 의료 포럼 과 같은 수많은 간행물에 잘 문서화되어 있습니다. XR이 이 산업에 어느 정도 도움이 될지 이해하려면 2021년에 Johns Hopkins가 실제 수술에 XR을 사용했다는 소식만 들어도 됩니다. 따라서 다시 한번 말씀드리지만, 이를 증명하기 위해 너무 깊이 파고들지는 않겠습니다. 계속해서 Oracle 데이터베이스 및 클라우드 기술과 관련된 몇 가지 예와 아이디어를 제시하십시오.

Vision AI 및 Contextual Intelligence: 실시간 분석 및 진단

첫 번째 예는 Hololens 혼합 현실 헤드셋(다른 헤드셋/장치를 사용할 수도 있음)과 Oracle의 Vision AI 서비스를 사용하는 것과 관련됩니다. 추가 기능과 정보를 제공하는 XR 장치를 착용하는 의료 종사자를 상상하는 것은 상상 이상의 일이 되어서는 안 됩니다(실제로 많은 사람들이 이미 그렇게 하고 있습니다).

오늘날 의사, 치과 의사 등은 정보를 확인하고 보는 내용(엑스레이, MRI 등)의 방향을 정하기 위해 환자와 컴퓨터 화면을 지속적으로 상호 참조하며 머리 장착형 조명, 단안 돋보기 등이 있는 경우가 많습니다. 여기서 논의되는 XR 솔루션은 단지 그것의 진화일 뿐입니다. 이 애플리케이션에 대한 자세한 내용은 여기 연구 블로그에서 확인할 수 있지만 작동 방식에 대한 기본 세부 정보는 여기에 설명되어 있습니다.

Hololens에서 실행되는 애플리케이션은 착용자의 시야를 기준으로 내장 카메라로 사진을 찍으며 일정한 간격으로 사진을 찍습니다. 이는 최소한 더 편리한 핸즈프리 경험을 제공합니다. 그럼에도 불구하고 수술실과 같은 많은 상황에서는 사용자의 손이 실제(또는 XR) 세계와 상호 작용해야 하므로 더욱 최적의 솔루션이 됩니다. 이는 또한 시스템이 실무자가 명시적으로 지시할 필요 없이 이러한 정보를 신속하게 수집하고 처리하면서 실무자가 인식하지 못하거나 액세스할 수 없는 상황 정보를 선택할 수 있으므로 시간도 절약할 수 있음을 의미합니다. 이는 몰입의 흥미로운 부산물인 혼합 현실이 제공하는 최적화로 이어집니다.

그런 다음 Hololens는 보안 REST 호출을 통해 이러한 사진을 OCI Object Storage로 전송합니다 . 그러면 OCI Vision AI 서비스 에서 직접 편리하게 액세스할 수 있고 데이터베이스에 저장 및/또는 액세스할 수도 있습니다.

XR 장치에서 보낸 이미지를 처리하기 위해 Oracle Vision AI API에 대한 논리 및 호출을 수행하기 위해 이 시점부터 사용할 수 있는 여러 가지 접근 방식과 아키텍처가 있습니다. 예를 들어 사용된 언어의 경우 초기 버전은 OCI CLI, Java, Python을 사용하여 작성되었으며 최종 Java GraalVM 네이티브 이미지 버전이 사용되었습니다.

또한 Java GraalM 네이티브 이미지는 서비스가 특정 단기 루틴을 수행할 때 거의 즉시 시작되므로 서버리스 기능에 적합한 후보입니다. 선택적으로 OCI 알림 서비스는 객체 저장소 변경 사항을 수신하고 서버리스 기능도 호출할 수 있습니다.

Java 서비스는 객체 스토리지에 이미지 업로드 알림을 수신하고 다음과 같은 일련의 작업을 수행합니다.

1. 엑스레이 물체 감지 모델을 기반으로 OCI Vision AI 서비스 API 호출을 수행하고 Hololens가 전송한 이미지의 위치를 제공합니다.
2. 이미지에 X선이 있을 확률과 그 경계 좌표에 대한 응답을 객체 감지 모델로부터 받습니다.
3. 경계 좌표를 사용하여 원본 이미지를 자릅니다.
4. 엑스레이 분류 모델을 기반으로 또 다른 OCI Vision AI 서비스 API 호출을 수행하고 엑스레이의 잘린 이미지를 제공합니다.
5. 이상/폐렴의 징후가 포함된 X선의 백분율 변화로 이미지 분류 모델로부터 응답을 받습니다.
6. Hololens 애플리케이션은 이 응답을 수신하고 청각적 알림으로 착용자에게 알립니다. 이는 구성 가능하고 시각적일 수도 있습니다. 이 애플리케이션의 경우, 정보에는 손목에 있는 가상 메뉴에 나열되고 저장되며 착용자만 볼 수 있는 잘린 엑스레이 사진이 포함됩니다. 이 접근 방식은 착용자의 방해를 방지하며 결과가 파생된 실제 X선에 결과를 오버레이하는 것도 가능합니다.

Vision AI와 XR은 여기에 표시된 의료 종사자와 파킨슨병, 자폐증, 알츠하이머병, 시각 및 청각 장애 등의 질환이 있는 사람들을 포함한 다양한 영역의 솔루션과 자연스럽게 일치합니다. (예: 애플리케이션/ 이 공간에서 사용할 수 있는 솔루션은 이 블로그 에 설명되어 있습니다.)

동작 및 감정 연구: 실시간 얼굴 및 신체 추적 분석

현재 의료 시설의 95%가 원격 치료 및 재활을 제공하고 있습니다. XR 기술은 환자가 자신의 상태와 치료 옵션을 더 잘 이해하도록 돕는 데 사용될 수 있습니다. 이는 환자가 의료 결정에 대해 더 많은 정보를 얻고 권한을 부여받는 데 도움이 될 수 있습니다.

다음 예는 신체 추적 움직임을 위해 Apple의 RealityKit을 사용하여 iPhone과 Swift를 사용하여 구현되었습니다. 모델 이동의 관절 좌표는 기록되어 ORDS에 대한 Rest 호출을 통해 Oracle 데이터베이스로 전송됩니다. 애플리케이션을 사용하는 사람(환자, 운동선수 등)은 동일한 동작을 시도하고, 이들의 관절 좌표는 데이터베이스에 저장된 모델 동작의 좌표와 비교됩니다. 허용되는 움직임 편차/델타를 초과하면 해당 관절과 뼈가 녹색이 아닌 빨간색으로 표시됩니다.

이 피드백은 진행 상황(예: 회전근 개 또는 기타 수술 후)을 측정하고/하거나 사용자가 제어 모델에 맞게 움직임을 수정하고 균형 및 조정 작업을 수행할 수 있도록 실시간으로 제공됩니다. 이러한 움직임은 분석(향후 블로그에서 XR 및 Oracle Analytics에 대한 자세한 내용), 재생, 조작을 통해 시뮬레이션 등을 수행할 수 있습니다. 물론 이러한 사용 사례는 다음과 같이 스포츠, 엔터테인먼트 등 분야로 확장됩니다. 잘.

디지털 트윈 + 더블 및 멀티플레이어/참가자 메시징: 교육 및 협업

Unity가 보고한 최근 연구에 따르면 실시간 3D 기술을 사용하는 기업 중 약 94%가 이 기술이 직원 교육에 유용하다고 생각하고 대화형 안내 학습 경험을 만드는 데 사용하고 있는 것으로 나타났습니다. 이는 제조, 운송, 의료, 소매 등 다양한 산업 전반에 적용되며 해당 분야의 일부 동향(대부분 이 블로그에 표시된 내용과 일치함)은 여기에서 논의됩니다.

XR 기술을 사용하면 의료 시나리오의 현실적인 시뮬레이션을 생성할 수 있으므로 의료 전문가가 안전하고 통제된 환경에서 절차와 기법을 연습할 수 있습니다. 예를 들어, 의대생과 외과 의사는 XR 시뮬레이션을 사용하여 실제 수술에 대한 피드백을 제공하는 촉각 감각으로 수술을 연습할 수 있고, 간호사는 AR 시뮬레이션을 사용하여 약물 투여를 연습할 수 있습니다. 이를 통해 의료 전문가는 환자의 안전을 위협하지 않고 귀중한 경험을 얻을 수 있습니다.

교육 외에도 XR은 다양한 위치와 전문 분야에 있는 개인 간의 협업을 위한 고유한 기능을 제공하여 여러 사용자가 서로 및 가상 개체와 상호 작용할 수 있는 공유 가상 공간을 만듭니다. XR 회의 소프트웨어 및 메타버스, Photon 및 기타 유사한 소프트웨어, Rest, WebSocket 및 다양한 유형의 메시징을 포함하여 XR 멀티 플레이어/참가자 교육 및 협업을 생성하는 데 사용할 수 있는 다양한 기술과 소프트웨어 옵션이 있습니다.

Alakazam과 같은 XR 회의 소프트웨어 및 플랫폼은 점점 인기를 얻고 있으며 여러 사용자가 가상 회의, 이벤트, 교육 세션 등에 참여할 수 있습니다.

Photon은 개발자가 Unity, Unreal Engine 및 기타 게임 엔진을 사용하여 멀티플레이어 게임 및 애플리케이션을 만들 수 있도록 지원하고 Oracle Cloud 컴퓨팅( NVIDIA GPU 포함)에 쉽게 설치하여 활용할 수 있는 플랫폼입니다. 아마도 그러한 플랫폼 중 가장 유명한 플랫폼일 것입니다. 그러나 다른 플랫폼도 있습니다.

WebSocket은 웹 클라이언트와 서버 간의 실시간 통신을 위한 프로토콜이며 Rest보다 이러한 사용 사례에 대해 더 빠르고 효율적인 방법이 될 수 있습니다. 그러나 Rest 호출은 많은 경우에 간단하고 실행 가능한 옵션이며 더 많은 API를 통해 사용할 수 있습니다. 일반적으로 다른 방법보다 휴식을 취하세요.

메시징은 XR 교육 및 협업 경험을 만드는 데 사용할 수 있는 또 다른 기술입니다. Kafka 및 JMS와 같은 시스템에는 pub/sub(다중 소비자 주제)와 생산자/소비자(단일 소비자 주제)가 모두 있으며 다양한 교육 및 협업 요구 사항에 매우 유연합니다.

비디오에 표시된 교육 애플리케이션에서는 위의 여러 기술을 사용했지만 Oracle의 TxEventQ 메시징 엔진(이전에는 AQ로 알려짐)을 사용하는 데 중점을 두었습니다. 이는 여러 가지 이유로 매우 강력하고 독특한 제품입니다. 그 중 핵심은 동일한 로컬 트랜잭션에서 데이터베이스 작업과 메시징 작업을 수행할 수 있는 능력입니다. 이는 트랜잭션 발신함 패턴과 정확히 1회 메시지 전달을 제공하므로 메시지 손실이 없고 개발자가 중복 제거 논리를 작성할 필요가 없기 때문에 독특하고 마이크로서비스에 완벽하게 적합합니다 .

이는 기존 게임이나 영화 스트리밍에는 필요하지 않을 수 있지만 미션 크리티컬 시스템에는 필수이며 공유(3D) 개체(특히 동적이거나 생성된 개체)를 안정적으로 저장할 수 있는 기능을 제공하는 XR에 매우 흥미롭고 독특한 측면을 제공합니다. 생성적 AI를 통해(예) 다양한 참가자가 생성한 상호 작용/메시지는 매우 강력한 도구입니다.

이것이 바로 영상에 표시된 앱에서 수행되는 작업입니다. 협업 세션은 비디오로 볼 수 있도록 3D로 녹화될 뿐만 아니라 실제 개체와 참가자의 상호 작용이 데이터베이스에 기록되어 나중에 가로채서 조작할 수 있도록 재생할 수 있습니다. 이를 통해 플레이북과 같은 개체 및 상호 작용을 조정하여 더 깊은 학습을 수행하고 추가 모델(AI 또는 기타), 시뮬레이션, 시나리오 등을 실행할 수 있습니다.

더욱 발전된 기술과 더욱 강력한 장치가 개발됨에 따라 XR 훈련은 가까운 미래에 더욱 널리 보급되어 훈련 경험을 더욱 몰입적이고 상호작용적으로 만들 것입니다.

또 다른 작은 참고 사항은 비디오의 앱에는 스튜디오에서 전문적으로 제작된 풀 3D 볼류메트릭 비디오 캡처의 의료 종사자가 있지만 유사한 홀로그램을 제공하는 Unity 셰이더를 통해 녹색 스크린 알파 채널이 제거된 간단한 2D 비디오도 있다는 것입니다. 최소한의 노력으로 효과를 얻을 수 있습니다(조명을 더 많이 노력하면 품질이 더 좋아질 수 있습니다). 이를 위해 Zoom 가상 그린스크린을 사용할 수 있을 뿐만 아니라 Blender에서 애니메이션이 포함된 무료 자산도 사용할 수 있습니다. Unity, Zoom 및 Blender는 모두 무료이며 항상 무료인 Oracle Autonomous 데이터베이스를 사용하므로 소프트웨어 및 클라우드 비용 측면에서 솔루션의 접근성이 매우 높습니다.

데이터 생태계: 원격 의료 및 가상 의료 센터

가상 의료 센터 또는 병원은 화상 회의, 온라인 채팅, 원격 모니터링 및 점점 더 늘어나는 XR 기술과 같은 디지털 채널을 통해 의료 서비스를 제공하는 의료 시설입니다. 이러한 디지털 도구를 사용하면 환자는 병원이나 진료소를 직접 방문할 필요 없이 집에서 편안하게 또는 원격 위치에서 의료 서비스에 액세스할 수 있습니다.

특히 코로나19 사태로 인해 원격의료 서비스 수요가 증가하면서 가상의료센터 개념이 점점 대중화되고 있다. 가상의료센터는 일차진료, 전문상담, 진단검사, 처방전 리필 등 다양한 의료서비스를 제공할 수 있으며, 언제 어디서나 의료서비스를 받을 수 있는 환자에게 편의성과 유연성을 제공한다.

이는 이동 문제가 있는 환자, 시골 지역에 거주하는 환자 또는 해당 지역에 없는 전문가와 상담해야 하는 환자에게 특히 도움이 될 수 있습니다. 또한 환자와 의료 제공자 모두의 의료 비용을 줄일 수 있습니다. 원격 상담 및 모니터링을 사용하면 의료 서비스 제공자는 비용이 많이 드는 대면 상담 및 입원의 필요성을 줄일 수 있습니다. 환자는 교통비와 퇴근 시간에 대한 비용도 절약할 수 있습니다.

가상 의료 센터는 환자 치료의 질을 향상시킬 수 있습니다. 원격 모니터링을 통해 환자는 개인화되고 지속적인 치료를 받을 수 있으며, 의료 서비스 제공자는 실시간으로 환자의 건강을 모니터링하고 필요한 경우 신속하게 개입할 수 있습니다. 이는 더 나은 건강 결과를 가져오고 병원 재입원을 감소시킬 수 있습니다.

그러나 가상 의료 센터를 구현하는 데에는 몇 가지 과제도 있습니다. 여기에는 데이터 개인 정보 보호 및 보안에 관한 문제뿐만 아니라 환자의 적절한 인터넷 액세스 및 디지털 활용 능력에 대한 필요성도 포함됩니다. 또한, 일부 환자들은 여전히 전통적인 대면 진료를 선호할 수 있으며, 그 수는 줄어들고 있지만 원격으로 제공할 수 있는 의료 서비스에는 한계가 있습니다. 가상 의료 센터의 개념은 환자와 의료 서비스 제공자 모두에게 혜택을 제공하면서 의료 서비스 제공 방식을 혁신할 수 있는 잠재력을 가지고 있습니다. 그러나 가상 의료 센터 구현이 모든 환자에게 안전하고 효과적이며 공평하도록 보장하려면 신중한 고려와 계획이 필요합니다.

Cerner를 인수하고 의료의 미래에 대한 관심이 높아진 Oracle은 “환자, 서비스 제공자에게 더 나은 건강 통찰력과 인간 중심 경험을 제공하는 능력을 통해 이러한 XR 솔루션을 촉진할 수 있는 독보적인 위치에 있습니다. , 지불자 및 대중. Oracle Health는 임상, 운영 및 재무 데이터를 연결하여 치료를 개선하고 건강 및 웰빙에 대한 의사결정을 향상시키는 가장 안전하고 안정적인 의료 솔루션을 제공합니다.” ( Oracle 상태 페이지 ). Larry Ellison은 의료가 Oracle 미래의 우선순위인 Oracle OpenWorld 프레젠테이션에서 이를 분명히 밝혔으며, 올해 초 그는 다음과 같이 말했습니다 . “Cerner와 Oracle은 함께 혁신적이고 새로운 건강 관리 정보 시스템을 구축하는 데 필요한 모든 기술을 보유하고 있습니다. 구름."

정신 건강

미국 성인의 20% 이상이 정신 질환을 경험하고 있으며, 250만 명 이상의 청소년이 심각한 우울증에 시달리고 있으며 전 세계적으로 매년 80만 명이 정신 질환으로 자살하고 있습니다. 동시에 정신 건강 전문가의 부족 현상이 늘어나고 있으며 이는 전국적인 문제이지만 특히 미성년자와 청소년에게 심각한 문제입니다. 미국 보건복지부에 따르면 2025년까지 미국에는 10,000명의 정신건강 전문가가 부족할 것으로 예상됩니다.

정신 건강은 XR이 불안, 우울증, PTSD와 같은 정신 건강 상태에 대한 치료법을 제공하는 방법으로 가장 널리 연구되고 매우 효과적인 것으로 입증된 영역 중 하나입니다. 예를 들어, VR 노출 요법은 통제되고 안전한 환경에서 환자가 두려워하는 것에 대한 시뮬레이션을 노출함으로써 환자가 두려움에 직면하고 극복하도록 돕는 데 사용될 수 있습니다.

인지 행동 치료(CBT)인 XR은 마음챙김, 휴식 및 스트레스 감소를 촉진하는 몰입형 명상 경험을 만드는 데 사용될 수 있습니다. 예를 들어 VR 환경은 해변, 숲, 산, 우주 등 평화롭고 차분한 자연 환경을 시뮬레이션할 수 있습니다. 어린이, 노인, 병원 등에서 오랜 시간을 보낼 수 있는 사람들은 XR을 사용하여 세상을 탐험하고 친목을 도모하고 있습니다.

치료사는 XR과 원격 치료를 사용하여 대면 치료 세션을 시뮬레이션할 수 있는 가상 환경을 만들어 더욱 몰입감 있고 개인화된 경험을 제공하는 동시에 환자의 억제력을 줄이고 개인 정보 보호를 위해 AR 렌즈와 아바타를 사용할 수도 있습니다.

해당 Oracle AI 서비스에서 제공하는 NLP(Natural Language Process) 감성 분석을 통해 언어적 의사소통에서 감정과 의도를 해석할 수 있으며, 얼굴 인식 및 얼굴 감성 분석 기술의 발전으로 매우 정확한 감지가 가능해졌습니다. 사람이 비언어적으로 느끼거나 표현하는 감정입니다(신체/제스처 추적도 마찬가지). XR과 조화를 이루는 신경 기술 및 신경 인터페이스는 이제 인간의 의도를 해석하고 통찰력을 제공하며 감정을 측정하여 의도와 감정에 대한 더 큰 통찰력을 제공할 수 있습니다.

그리고 물론 세상은 이를 촉진하기 위한 ChatGPT 등과 같은 AI 인터페이스의 더 크고 간단한 접근성에 꽤 익숙합니다. 앞서 제시한 X선 예와 마찬가지로 일부 상황에서는 인간보다 더 크고 일관된 정확성과 속도를 제공할 수 있지만 의료 종사자를 위한 보조 기술 역할도 할 수 있습니다. 이에 대한 더 많은 예는 향후 블로그에서 소개될 예정입니다.

추가 생각

저는 오라클을 통해 의료와 XR을 어떻게 함께 사용하고 촉진할 수 있는지에 대한 몇 가지 아이디어와 예를 제시했습니다. 저는 이 주제와 Oracle Cloud 및 Database를 통한 XR의 다른 영역에 대해 곧 더 많은 블로그를 게시할 수 있기를 기대합니다.

XR, Oracle 클라우드 및 데이터베이스에 대한 자세한 내용은 물론 마이크로서비스, 관찰 가능성, 트랜잭션 처리 등에 관한 다양한 주제는 물론 AR이 무엇인지에 대한 최근 블로그를 보려면 제가 작성한 다른 출판물을 참조하세요. 또한, 새로운 블로그나 동영상에 대한 질문이나 제안이 있으면 언제든지 저에게 연락해 주세요. 저는 제안을 받아들이는 데 매우 열려 있습니다. 읽고 시청해 주셔서 감사합니다.