Oracle を使用した XR の開発、Ep 4: ヘルス、デジタル ツイン、オブザーバビリティ、およびメタバース

このシリーズの 4 回目の記事では、健康、デジタル ツイン、IoT、オブザーバビリティ、およびメタバースでの関連する用途の XR アプリケーションに焦点を当てます。

これは、Oracle を使用した XR アプリケーションとエクスペリエンスの開発に関するシリーズの 4 番目の記事であり、コンピューター ビジョン AI と ML の XR アプリケーションと、それに関連するメタバースでの使用に焦点を当てています。以下の最初の 2 つの記事へのリンクを見つけてください。

• Oracle を使用した XR の開発、Ep 1: 空間、AI/ML、Kubernetes、および OpenTelemetry
• Oracle を使用した XR の開発、Ep 2: プロパティ グラフ、データの視覚化、およびメタバース
• Oracle で XR を開発、Ep 3: Computer Vision AI、ML、および Metaverse

以前の投稿と同様に、ここでも、Oracle データベースとクラウド テクノロジ、HoloLens 2、Mixed Reality Toolkit、および Unity プラットフォームで開発されたアプリケーションを具体的に示します。

ブログ全体で、この対応するデモ ビデオを参照します。

拡張現実 (XR)、メタバース、および HoloLens

XR と HoloLens (上記のリンク) の概要については、このシリーズの最初の記事を参照してください。この投稿は、データ駆動型のマイクロサービス ワークショップに基づいており、食品/製品の 3D モデル、3D/空間現実世界マップなどと対話することにより、オンライン ショッピングなど、メタバースに存在する多くの側面を示しました。 、バックエンド DevOps (Kubernetes および OpenTelemetry トレース) など。

シリーズの 2 番目の記事は、多数のグラフ ワークショップに基づいており、ソーシャル グラフ、ニューラル ネットワーク、および金融セクター (例:マネー ロンダリングの検出）。

連載第 3 回では、コンピュータ ビジョン AI を使用して、部屋内の画像を検出、タグ付け、読み上げ、同じ部屋からテキストを抽出し、環境に基づいてさまざまなコンテキスト情報などを提供しました。これにより、主題を共有し、リアルタイムでもリモートでも積極的に共同作業を行うことができます。これらのタイプの能力は、メタバースの概念の鍵であり、これらの将来の作品で拡張および拡張されます。

このブログでは、デジタル ツインについて詳しくは説明しませんが、代わりに、これらのトピックの XR 対応と、そのための Oracle テクノロジの使用に焦点を当てます。

デジタルツイン

利用可能な微妙な定義がいくつかありますが、一般的に、「デジタル ツインは、そのライフサイクル全体にわたるオブジェクトまたはシステムの仮想表現であり、リアルタイム データから更新され、シミュレーション、機械学習、および推論を使用して意思決定を支援します。 -作る。」デジタルダブルは一般に、特に人間の表現を指します。多くの場合、リアルタイム データはセンサーから収集されるため、IoT アーキテクチャなどがプロセスで使用されることがよくありますが、使用できるソースや技術にはさまざまな種類があります。

デジタル ツインについてはかなりの量の資料が存在するため、このトピックについては簡単に説明しますが、XR とメタバースにおけるイノベーション、コラボレーション、没入などの可能性は本当に無限であり、非常にエキサイティングです。非常に多くの分野で無限の例があります。ここでは、健康 (より大きな健康、スポーツ、ヘルスケアなどのスペースを表すものとして) と家庭 (より大きな AEC スペースを表すものとして) のみに触れます。

健康とヘルスケア

健康とヘルスケアは現在、XR イノベーションが最大の進歩を遂げている分野です。 Amwell などの企業の遠隔医療と遠隔医療は、すでに医療システム、健康保険、雇用主、医師に包括的なデジタル医療ソリューションを提供しており、特にパンデミックなどによってもたらされた必要性において、大きな進歩を遂げており、これは確実に続くでしょう。 XR で強化され、以前は入手できなかった場所、条件、および専門分野へのアクセスを提供します。さらに、XR は医療分野でのトレーニングと教育に使用されており、特に HoloLens はライブ手術で使用されています。コンピュータービジョンAIや予測解析などと組み合わせることで、治療の効率と質が飛躍的に向上する未来が待っています。このシリーズの今後のブログでこの例を紹介します。Oracle と Cerner の合併により、この分野でのさらなる相乗効果と進歩が期待できます。

明らかに直接関連していますが、このブログの例は、個人の健康そのものと、患者/人間の運動のデジタル ツイン/ダブル表現に直接焦点を当てています。この目的に完全に適したフィットネスやその他のテクノロジーやウェアラブルには、さまざまな種類があります。

アクティビティ (activeEnergyBurned、swimingStrokeCount、 vo2Maxなど)、身体測定 (bodyFatPercentage など)、リプロダクティブ ヘルス (basalBodyTemperature )、聴覚 (環境、オーディオ露出)、バイタル サイン (心拍数、血圧)、ラボとテストの結果 (血糖値)、栄養 (食事コレステロール)、アルコール消費量、運動性、紫外線露出など。天気や GPS などを収集して提供するアプリです。

ビデオに示されているデモンストレーションでは、選択したメトリックを Oracle データベースに継続的に送信するアプリケーションを備えた時計をランナーが着用しています。送信されるメトリックは、ウォッチまたはデータベース自体で構成できるため、アプリケーションは非常に動的になります。

この場合、GeoJSON/GPS の位置、心拍数、ケイデンス、消費カロリー、標高、および温度が送信されます。これは、MQTT (たとえば、Mosquitto から Oracle AQ/TEQ メッセージング システムへのブリッジ/イベント メッシュを使用してそこでの機能を利用することができます)、またはこの場合は Rest を使用して、さまざまな方法で一般的に実行できます。

次に、HoloLens はデータベースからこの情報を受け取り、マップ上の適切な GPS 位置に人間の立っている、歩いている、または走っている (場所の距離/時間の経過に応じて) をプロットします。人間のアニメーションの方向と回転は、受信した GeoJSON 座標の履歴/変更、受信した気象統計によって決定される照明などによって決定されます。人間のアニメーションは、骨格、筋肉などのシステムで正中矢状面に沿って分割されます。これらの領域の特定の生体認証がラベル付け、測定、および分析される場合に備えて、ラベル付け/追跡のために公開されます。

同時に、統合されたオブザーバビリティ エクスポーターは、データベースからこの情報を受け取り、Grafana コンソールで表示および監視するために、メトリックなどを Prometheus 形式で提供します。オラクルの統合オブザーバビリティ フレームワークの詳細については、 こちらを参照してください。詳細については、近日公開予定のブログを参照してください。

Oracle は、単一のデータベースですべてのデータ型/形式 (およびワークロード、メッセージングなど) をサポートするため、コンバージド データベースと呼ばれます。これは、さまざまな統計をリレーショナル形式で、GPS 位置を (Geo)JSON 形式で、MapMyRun/TCX または Stava/GPX を XML 形式で保存できるという事実によってここに例示されています。

これにより、互換性、クロスデータ タイプのクエリ、および操作などが可能になります。このようにして、後でアクティビティ/実行を再生して分析することができます。この記事の範囲を超えて、XR によって可能になったフィットネスとスポーツ (健康とエンターテイメント) で発生している多くのブレークスルーがあります。

ホーム、建築、エンジニアリング、建設

XR の使用を実装する最初で最も顕著な業界は、建築、エンジニアリング、および建設 (AEC) の業界であり、関連する範囲では住宅です。家に仮想家具を配置することから、Oracle のAconexによって提供されるような非常に複雑な建設現場やプロセスを調整することまで、すべてです。

ビデオに示されているデモンストレーションでは、いくつかの重要な概念を簡単に説明しています。 HoloLens は、家の 3D ビジュアライゼーションを表示します。ビジュアライゼーションは、新しい携帯電話の Lidar サポートなど、多数の既存のテクノロジによって簡単にすばやく生成できます。モデル。 (これは静的に行われましたが、動的/リアルタイムの写真測量、Lidar などのスキャンは、時間が経つにつれてデジタル ツインの生成に適したものになりつつあり、今後のブログでこれを説明する予定です)。

家の中の実世界の光は、HoloLens が受け取った色ステータスを (MQTT 経由で) 継続的に送信し、仮想/デジタル ツイン ライトの色を設定するために使用します。逆に、HoloLens アプリの仮想/デジタル ツイン カラー ボタンを押すと、カラー コマンドが送信され (今回は REST 経由で MQTT の場合もあります)、現実世界のライトが選択された色に変わります。これらの変更はデータベースに保存されるため、家のデジタル ツインは、インターネット接続があればどこからでも監視および制御できます。

さらに、家の外に面しているセキュリティ カメラは、キャプチャしたビデオをストリーミングします (これを行う方法の 1 つは、Pi カメラを Oracle クラウドにストリーミングするか、Oracle の新しい OCI デジタル メディア サービスでビデオ ストリーミングを使用することです)。デジタルツインモデルに表示されるため、ユーザーはセキュリティカメラを表示して、家のリアルなライブ表現/モデルを任意の場所から再現することもできます。

Hololens アプリケーションは、外壁上のカメラの位置に対応する実際/実世界の内壁にカメラ フィードをオーバーレイすることもできるため、壁のシースルー効果を作成できます。

最後に、デジタル ツインは、実際の世界のオブジェクトと場所の表現、またはプロセスや概念の表現、またはその両方である可能性があるため、この例では、窓を、ベニス運河を見渡す窓、ナイロビ砂漠の水穴などにさらに置き換えます。 . ライブ ストリーム経由。複合現実のもう 1 つの典型的な例です。

その他のセクター

XR 空間でより多くのデジタル ツインとデジタル ダブルを開発しているセクターの他の例には、高度なデジタル アシスタント、保険用の自動車のセンサーなどを使用したフィンテック、鉱業やその他の産業用の地理情報システム、さまざまな会議用のホログラムと写真測量法が含まれます。会議、およびオラクルのエキサイティングな F1 Redbull コラボレーション プロジェクトなどの高度なセンサーと分析は、ほんの一例です。

追加の考え

オラクルがデジタルダブルと XR をどのように併用して促進するかについて、いくつかのアイデアと例を示しました。このトピックや、Oracle Cloud と Database を使用した XR のその他の分野についてのブログを近日中に公開できることを楽しみにしています。

XR と Oracle クラウド、コンバージド データベース、およびマイクロサービス、オブザーバビリティ、トランザクション処理などに関するさまざまなトピックの詳細については、こことここで公開している記事を参照してください。私は提案に非常にオープンであるため、ブログやビデオ。読んで見てくれてありがとう。