Oracle、Ep 5 Healthcare、Vision AI、トレーニング/コラボレーション、およびメッセージングを使用した XR の開発

これは、Oracle を使用した XR アプリケーションとエクスペリエンスの開発に関するシリーズの 5 番目の作品であり、マルチプラットフォーム開発などの他のトピックを含む、ヘルスケア、ビジョン AI、トレーニングとコラボレーション、およびメッセージングの XR アプリケーションに焦点を当てています。

以下の最初の 4 つの記事へのリンクを見つけてください。

Oracle を使用した XR の開発、Ep 1: 空間、AI/ML、Kubernetes、および OpenTelemetry
Oracle を使用した XR の開発、Ep 2: プロパティ グラフとデータの視覚化
Oracle で XR を開発、Ep 3: Computer Vision AI、および ML
Oracle を使用した XR の開発、Ep 4: デジタル ツインとオブザーバビリティ

以前の投稿と同様に、HoloLens 2、Oculus、iPhone、および PC を使用して Oracle データベースとクラウド テクノロジで開発され、Unity プラットフォームと OpenXR (マルチプラットフォーム サポート用)、Apple Swift、および WebXR を使用して記述されたアプリケーションを具体的に示します。

ブログ全体で、以下の対応するデモ ビデオを参照します。

拡張現実 (XR) とヘルスケア

XR の概要については、このシリーズの最初の記事 (リンクは上にあります) を参照してください。ヘルスケア セクターに関連する膨大な数のテクノロジについては詳しく説明しませんが、代わりに以下に焦点を当てます。これらのトピックの XR 対応と、特に Oracle が Cerner の買収やその他の取り組みを通じてこの分野への関心を高めているため、この目的のための Oracle 技術の使用。パンデミック以降、遠隔医療が驚異的な成長を遂げ、パンデミックのわずか 1 か月前の 78 倍の速度でピークに達し、現在でもその 38 倍の速度で横ばいになっていることはよく知られています。

これらおよびその他の数値とその影響は、このマッキンゼー レポートやVR/AR Associations Healthcare Forumなどの多数の出版物で十分に文書化されており、この記事で参照されます。 XR がこの業界でどの程度役立つかを理解するには、2021 年にジョンズ・ホプキンス大学がライブ手術に XR を使用したことを聞いただけでよいので、これを証明するために深く掘り下げることはしませんが、 Oracle データベースとクラウド技術に関連するいくつかの例とアイデアを示します。

ビジョン AI とコンテキスト インテリジェンス: リアルタイムの分析と診断

最初の例では、Hololens 複合現実ヘッドセット (他のヘッドセット/デバイスを使用することもできます) と Oracle の Vision AI サービスを使用します。追加の機能と情報を提供する XR デバイスを身に着けている医療従事者を想像するのは、想像を絶するものではありません (実際、多くの人がすでにそうしています)。

今日、医師、歯科医などは常にコンピュータ画面を患者と相互参照して情報を確認し、患者が見ているもの (X 線、MRI など) を確認しています。ここで説明している XR ソリューションは、その進化形にすぎません。このアプリケーションの詳細については、 こちらのリサーチ ブログを参照してください。ただし、その仕組みの基本的な詳細については、こちらで説明しています。

Hololens で実行されているアプリケーションは、内蔵カメラで着用者の視野を基準として定期的に写真を撮ります。これにより、少なくともより便利なハンズフリー体験が提供されます。それでも、手術室などの多くの状況では、ユーザーの手が現実 (または XR) の世界とやり取りする必要があるため、より最適なソリューションになります。これはまた、システムが、開業医が認識していない、またはアクセスできないコンテキスト情報を取得できることを意味し、開業医が明示的に指示しなくても、そのような情報を迅速に収集および処理できるため、時間も節約できます。これにより、Mixed Reality が提供する最適化が実現し、没入感の刺激的な副産物が得られます。

次に、Hololens はこれらの画像を安全な REST 呼び出しを介してOCI オブジェクト ストレージに送信します。OCI Vision AI Serviceから直接簡単にアクセスしたり、データベースに保存したり、データベースにアクセスしたりできます。

この時点から、XR デバイスから送信された画像を処理するための Oracle Vision AI API へのロジックと呼び出しを実行するために使用できるいくつかの異なるアプローチとアーキテクチャがあります。たとえば、使用される言語に関する限り、初期バージョンは OCI CLI、Java、および Python を使用して作成され、最終的な Java GraalVM ネイティブ イメージ バージョンが使用されています。

また、Java GraalM ネイティブ イメージは、サービスが特定の短期間のルーチンを実行するときにほぼ瞬時に開始されるため、サーバーレス機能の有力候補です。オプションで、OCI通知サービスは、オブジェクト・ストアの変更をリッスンし、サーバーレス機能をコールすることもできます。

Java サービスは、オブジェクト ストレージへの画像アップロードの通知を受け取り、次の一連のアクションを実行します。

1. X 線物体検出モデルに基づく OCI Vision AI サービス API 呼び出しを実行し、Hololens から送信された画像の場所を提供します。
2. オブジェクト検出モデルから、X 線が画像内に存在する確率のパーセンテージとその境界座標を含む応答を受け取ります。
3. 境界座標を使用して元の画像をトリミングします。
4. X線分類モデルに基づく別のOCI Vision AIサービスAPIコールを実行し、トリミングされたX線画像を提供します。
5. 画像分類モデルから、異常/肺炎の兆候を含む X 線の変化率を含む応答を受け取ります。
6. Hololens アプリケーションはこの応答を受信し、可聴通知で着用者に通知します。これは構成可能で、視覚化することもできます。このアプリケーションの場合、情報にはトリミングされた X 線の写真が含まれ、発見された詳細が一覧表示され、手首に配置され、着用者のみが表示できる仮想メニューに保存されます。このアプローチにより、着用者の邪魔になることはありませんが、結果を導き出した実際の X 線に結果を重ねることもできます。

ビジョン AI と XR は、ここに示されているように医療従事者と、パーキンソン病、自閉症、アルツハイマー病、視覚障害、聴覚障害などの症状を持つ人々の両方を含む、多くの分野のソリューションに自然に適合します. (例: アプリケーション/このスペースで使用できるソリューションについては、このブログで説明しています)

モーションとセンチメントの調査: リアルタイムの顔と体の追跡分析

今日、医療施設の 95% が遠隔治療とリハビリテーションを提供しています。 XR テクノロジーは、患者が自分の状態と治療オプションをよりよく理解するのに役立ちます。これにより、患者は医療に関する意思決定において、より多くの情報を得て力を与えられていると感じることができます。

次の例は、iPhone と Swift を使用して、Apple のRealityKitを使用してボディ トラッキングの動きを実装しました。モデルの動きの関節座標が記録され、ORDS への Rest 呼び出しを介して Oracle データベースに送信されます。アプリケーションを使用する人 (患者、アスリートなど) が同じ動きを試み、その関節座標がデータベースに保存されているモデルの動きの座標と比較されます。動きの許容偏差/デルタを超えると、対応するジョイントとボーンが緑ではなく赤で表示されます。

このフィードバックはリアルタイムで提供され、進行状況を測定したり (回旋筋腱板やその他の手術後など)、ユーザーが自分の動きを制御モデルに合わせて修正したり、バランスや調整に取り組んだりできるようにします。次に、これらの動きを分析し (XR と Oracle Analytics については、今後のブログで詳しく説明します)、再生し、シミュレーションを実行するために操作することができます。もちろん、これらのユース ケースは、スポーツ、エンターテイメントなどのセクターにまで及びます。良い。

Digital Twins + Doubles およびマルチプレイヤー/参加者メッセージ: トレーニングとコラボレーション

Unity が報告した最近の調査によると、リアルタイム 3D テクノロジーを使用している企業の約 94% が、リアルタイム 3D テクノロジーがスタッフのトレーニングに価値があると考えており、インタラクティブなガイド付き学習体験を作成するために使用しています。これは、製造、運輸、ヘルスケア、小売など、さまざまな業界に当てはまります。この分野のトレンド (その多くはこのブログで示されているものと一致します) については、 こちらで説明しています。

XR テクノロジを使用して、医療シナリオの現実的なシミュレーションを作成できるため、医療従事者は安全で制御された環境で手順や技術を実践できます。たとえば、医学生や外科医は XR シミュレーションを使用して実際の手術のフィードバックを提供する触覚で手術を練習でき、看護師は AR シミュレーションを使用して投薬の練習を行うことができます。これにより、医療従事者は患者の安全を危険にさらすことなく貴重な経験を得ることができます。

教育に加えて、XR は、さまざまな場所や専門分野にいる個人間のコラボレーションのための独自の機能を提供し、複数のユーザーが互いに対話したり、仮想オブジェクトとやり取りしたりできる共有仮想空間を作成します。 XR 会議ソフトウェアとメタバース、Photon など、Rest、WebSocket、さまざまな種類のメッセージングなど、XR マルチプレイヤー/参加者トレーニングとコラボレーションを作成するために利用できるさまざまな手法とソフトウェア オプションがいくつかあります。

Alakazam などの XR 会議ソフトウェアとプラットフォームの人気が高まっており、複数のユーザーが仮想会議、イベント、トレーニング セッションなどに参加できるようになっています。

Photon は、開発者が Unity、Unreal Engine、およびその他のゲーム エンジンを使用してマルチプレイヤー ゲームやアプリケーションを作成できるようにするプラットフォームであり、Oracle Cloud コンピューティング ( NVIDIA GPUを含む) に簡単にインストールして利用できます。これはおそらくそのようなプラットフォームの中で最も有名ですが、他にもあります。

WebSocket は、Web クライアントとサーバー間のリアルタイム通信用のプロトコルであり、Rest 呼び出しは多くの場合にシンプルで実行可能なオプションですが、Rest 呼び出しは多くの場合、同様にシンプルで実行可能なオプションであり、より多くの API が一般的に、他のどの方法よりも休息します。

メッセージングは、XR トレーニングとコラボレーション エクスペリエンスを作成するために使用できるもう 1 つの手法です。 Kafka や JMS などのシステムには、pub/sub (マルチ コンシューマー トピック) とプロデューサー/コンシューマー (単一コンシューマー トピック) の両方があり、さまざまなトレーニングやコラボレーションのニーズに対して非常に柔軟です。

ビデオに示されているトレーニング アプリケーションでは、上記の多くの手法を使用しましたが、Oracle の TxEventQ メッセージング エンジン (以前は AQ と呼ばれていました) の使用に焦点を当てました。これは、多くの理由から非常に強力でユニークな製品ですが、重要な理由の 1 つは、データベース作業とメッセージング作業を同じローカル トランザクションで実行できることです。これはユニークであり、 マイクロサービスに完全に適しています。これは、トランザクション アウトボックス パターンと、1 回限りのメッセージ配信を提供するため、メッセージの損失がなく、開発者が重複排除ロジックを記述する必要がないからです。

これは、従来のゲームや映画のストリーミングでは必要ないかもしれませんが、ミッション クリティカルなシステムでは必須であり、共有 (3D) オブジェクト (特に動的または作成されたもの) を確実に格納する機能を XR に提供する、非常に興味深いユニークな側面を提供します。ジェネレーティブ AI などを介して、さまざまな参加者によって作成された相互作用/メッセージは非常に強力なツールです。

それはまさに、ビデオに示されているアプリで行われていることです.共同セッションは、ビデオとして表示するために 3D で記録されるだけでなく、実際のオブジェクトと参加者によるそれらの相互作用がデータベースに記録され、後で傍受して操作できるように再生できるようになります。これにより、より深い学習を行い、さらにモデル (AI など)、シミュレーション、シナリオなどを実行することができます。これには、プレイブックのように、またはプレイブックを使用してオブジェクトと相互作用を微調整する必要があります。

より高度なテクノロジーとより強力なデバイスの開発により、近い将来、XR トレーニングがより普及し、トレーニング体験がより没入型でインタラクティブなものになるでしょう。

もう 1 つの注意事項は、ビデオ内のアプリには、スタジオで専門的に作成されたフル 3D ボリュメトリック ビデオ キャプチャの医療従事者がいますが、同様のホログラフィックを提供する Unity シェーダーを介してグリーン スクリーンのアルファチャンネルが削除された単純な 2D ビデオでもあるということです。最小限の労力で効果を得ることができます (ライティングなどに労力を費やすと、品質が向上する可能性があります)。 Zoom の仮想グリーン スクリーンをこの目的に使用したり、Blender でアニメーションを作成した無料のアセットを使用したりできます。 Unity、Zoom、および Blender はすべて無料で、Oracle の常時無料の Autonomous データベースを使用するため、ソフトウェアとクラウドのコストに関しては、ソリューションの作成が非常に簡単になります。

データ エコシステム: 遠隔医療と仮想医療センター

仮想ヘルスケア センターまたは病院は、ビデオ会議、オンライン チャット、リモート モニタリング、そしてますます増加している XR テクノロジーなどのデジタル チャネルを通じて医療サービスを提供するヘルスケア施設です。これらのデジタル ツールにより、患者は、病院や診療所に実際に行く必要なく、快適な自宅や遠隔地から医療サービスにアクセスできます。

特に COVID-19 のパンデミックを受けて、遠隔医療サービスの需要が高まっているため、仮想医療センターの概念がますます一般的になっています。仮想ヘルスケア センターは、プライマリ ケア、専門相談、診断テスト、処方箋の補充などの幅広い医療サービスを提供でき、いつでもどこからでも医療サービスにアクセスできる利便性と柔軟性を患者に提供します。

これは、移動に問題のある患者、農村地域に住んでいる患者、または地域にいない専門家に相談する必要がある患者にとって特に有益です。また、患者と医療提供者の両方の医療費を削減することもできます。リモートでの診察とモニタリングを使用することで、医療提供者は高額な対面での診察や入院の必要性を減らすことができます。患者は、交通費や仕事を休む時間を節約することもできます。

仮想医療センターは、患者のケアの質を向上させることができます。リモート監視により、患者はパーソナライズされた継続的なケアを受けることができ、医療提供者は患者の健康状態をリアルタイムで監視し、必要に応じて迅速に介入できます。これにより、健康状態が改善され、再入院が減少する可能性があります。

ただし、仮想医療センターの実装にはいくつかの課題もあります。これらには、データのプライバシーとセキュリティに関する問題、および患者の適切なインターネット アクセスとデジタル リテラシーの必要性が含まれます。さらに、一部の患者は依然として従来の対面ケアを好む可能性があり、数は減少していますが、リモートで提供できる医療サービスには制限があります。仮想ヘルスケア センターのコンセプトは、ヘルスケアの提供方法に革命をもたらし、患者とヘルスケア提供者の両方にメリットをもたらす可能性があります。ただし、仮想ヘルスケアセンターの実装がすべての患者にとって安全で効果的で公平であることを保証するには、慎重な検討と計画が必要です。

オラクルは、Cerner を買収し、ヘルスケアの将来への関心を高めており、「患者、医療提供者により良い健康に関する洞察と人間中心の体験を提供する」という能力によって、そのような XR ソリューションを促進する独自の立場にあります。 、支払者、および公衆。 Oracle Health は、臨床データ、運用データ、財務データを結び付けてケアを改善し、健康と福祉に関する意思決定を進める、最も安全で信頼性の高いヘルスケア ソリューションを提供します。」 ( Oracle Healthページ)。 Larry Ellison は、オラクルの将来にとってヘルスケアが優先事項であった Oracle OpenWorld のプレゼンテーションで、このことを明らかにしました。クラウド。"

メンタルヘルス

アメリカの成人の 20% 以上が精神疾患を経験しており、250 万人以上の若者が重度のうつ病に苦しんでおり、世界中で毎年 80 万人が精神疾患のために自殺しています。同時に、メンタルヘルスの専門家の不足が拡大しています。これは全国的な問題ですが、未成年者や青年にとって特に深刻です。米国保健社会福祉省によると、この国では 2025 年までに 10,000 人のメンタルヘルスの専門家が不足すると予想されています。

メンタルヘルスは、XR が最も広く研究されており、不安、うつ病、PTSD などのメンタルヘルス状態の治療や治療を提供する方法として非常に効果的であることが証明されている分野の 1 つです。たとえば、VR 暴露療法を使用して、制御された安全な環境で恐怖を感じているもののシミュレーションに患者をさらすことで、患者が恐怖に立ち向かい、克服するのを助けることができます。

認知行動療法 (CBT)、XR を使用して没入型の瞑想体験を作成し、マインドフルネス、リラクゼーション、ストレス軽減を促進できます。たとえば、VR 環境では、ビーチ、森、山、宇宙などの平和で落ち着いた自然環境をシミュレートできます。病院などで長期間過ごす可能性のある子供、高齢者、およびその他の人々は、XR を使用して世界を探索し、交流しています。

XR と遠隔療法を使用して、セラピストは、対面療法セッションをシミュレートできる仮想環境を作成し、患者の抑制を減らし、AR レンズとアバターをプライバシーのために使用できるようにしながら、より没入型でパーソナライズされた体験を提供できます。

対応する Oracle AI サービスによって提供されるような NLP (自然言語処理) 感情分析は、口頭でのコミュニケーションから感情と意図を解釈することができ、顔認識と顔感情分析の進歩により、非常に正確に人が感じている、および/または非言語的に表現している感情 (身体/ジェスチャーの追跡についても同様です)。 XR と連携したニューロ テクノロジーとニューラル インターフェイスは、人間の意図を解釈して洞察を与え、感情を測定できるようになり、意図と感情についてさらに優れた洞察を提供できるようになりました。

そしてもちろん、これを容易にするために、ChatGPT などの AI インターフェースのより優れた、より簡単なアクセシビリティーに世界は精通しています。前述の X 線の例と同様に、これらは状況によっては、人間よりも優れた一貫した精度と速度を提供できますが、医療従事者の支援技術としても機能します。この他の例は、今後のブログで取り上げる予定です。

追加の考え

オラクルがヘルスケアと XR をどのように併用して促進するかについて、いくつかのアイデアと例を示しました。このトピックや、Oracle Cloud と Database を使用した XR のその他の分野についてのブログを近日中に公開できることを楽しみにしています。

XR と Oracle のクラウドとデータベースの詳細、およびマイクロサービス、可観測性、トランザクション処理などに関するさまざまなトピックについては、私の他の出版物と、 AR とは何かについてのこの最近のブログを参照してください。また、新しいブログやビデオに関するご質問やご提案がございましたら、お気軽にお問い合わせください。ご提案は大歓迎です。読んで見てくれてありがとう。