Phát triển XR với Oracle, Ep 4: Health, Digital Twins, Observability và Metaverse

Trong bài viết thứ tư của loạt bài này, tôi tập trung vào các ứng dụng XR về sức khỏe, cặp song sinh kỹ thuật số, IoT, khả năng quan sát và việc sử dụng liên quan của nó trong metaverse.

Đây là phần thứ tư trong loạt bài về phát triển các ứng dụng và trải nghiệm XR bằng cách sử dụng Oracle và tập trung vào các ứng dụng XR của AI và ML thị giác máy tính và việc sử dụng liên quan của nó trong metaverse. Tìm các liên kết đến hai bài viết đầu tiên bên dưới:

• Phát triển XR với Oracle, Ep 1: Spatial, AI / ML, Kubernetes và OpenTelemetry
• Phát triển XR với Oracle, Ep 2: Đồ thị thuộc tính, Trực quan hóa dữ liệu và Metaverse
• Phát triển XR với Oracle, Ep 3: Computer Vision AI, ML và Metaverse

Cũng như các bài viết trước, ở đây tôi sẽ trình bày cụ thể các ứng dụng được phát triển bằng công nghệ đám mây và cơ sở dữ liệu Oracle, HoloLens 2, Bộ công cụ thực tế hỗn hợp và nền tảng Unity.

Trong toàn bộ blog, tôi sẽ tham khảo video demo tương ứng này:

Thực tế mở rộng (XR), Metaverse và HoloLens

Tôi sẽ giới thiệu người đọc đến bài viết đầu tiên trong loạt bài này để biết tổng quan về XR và HoloLens (được liên kết ở trên). Bài đăng đó dựa trên một hội thảo microservices theo hướng dữ liệu và thể hiện một số khía cạnh sẽ có trong metaverse, chẳng hạn như mua sắm trực tuyến, bằng cách tương tác với mô hình 3D của thực phẩm / sản phẩm, bản đồ 3D / không gian trong thế giới thực, v.v. , cũng như DevOps phụ trợ (theo dõi Kubernetes và OpenTelemetry), v.v.

Bài viết thứ hai của loạt bài này dựa trên một số hội thảo về đồ thị và thể hiện sự trực quan hóa, tạo và thao tác các mô hình, sổ ghi chép, bố cục và điểm nổi bật để phân tích đồ thị thuộc tính được sử dụng trong đồ thị xã hội, mạng thần kinh và lĩnh vực tài chính (ví dụ: phát hiện rửa tiền).

Bài viết thứ ba của loạt bài này đã sử dụng AI thị giác máy tính để phát hiện, gắn thẻ và nói hình ảnh trong một căn phòng và trích xuất văn bản từ cùng một căn phòng để cung cấp nhiều thông tin ngữ cảnh khác nhau, v.v. dựa trên môi trường. điều này, chủ đề có thể được chia sẻ và cộng tác tích cực, ngay cả trong thời gian thực, từ xa. Những loại khả năng này là chìa khóa của khái niệm metaverse và sẽ được mở rộng và mở rộng trong các phần tương lai này.

Blog này sẽ không đi sâu vào các cặp song sinh kỹ thuật số, mà thay vào đó sẽ tập trung vào việc hỗ trợ XR của các chủ đề này và việc sử dụng công nghệ Oracle cho đến nay.

Sinh đôi kỹ thuật số

Có một số định nghĩa theo nhiều sắc thái khác nhau nhưng nhìn chung, "Cặp song sinh kỹ thuật số là một đại diện ảo của một đối tượng hoặc hệ thống trải dài trong vòng đời của nó, được cập nhật từ dữ liệu thời gian thực và sử dụng mô phỏng, học máy và lý luận để giúp đưa ra quyết định -làm." và một đôi kỹ thuật số thường đề cập cụ thể đến các đại diện của con người. Dữ liệu thời gian thực thường được thu thập từ các cảm biến và do đó, các kiến trúc IoT, v.v. thường được sử dụng trong quá trình này mặc dù có nhiều loại nguồn và kỹ thuật có thể được sử dụng.

Khá nhiều tài liệu tồn tại về các cặp song sinh kỹ thuật số và vì vậy tôi sẽ nói ngắn gọn về chủ đề này, nhưng tiềm năng đổi mới, hợp tác, đắm chìm, v.v. của nó trong XR và metaverse thực sự là vô hạn và rất thú vị. Có vô số ví dụ trong rất nhiều lĩnh vực. Ở đây tôi sẽ chỉ đề cập đến sức khỏe (đại diện cho không gian y tế, thể thao, chăm sóc sức khỏe, v.v. lớn hơn) và gia đình (đại diện cho không gian AEC lớn hơn).

Sức khỏe và Chăm sóc sức khỏe

Y tế và chăm sóc sức khỏe hiện đang và ngày càng trở thành những lĩnh vực mà sự đổi mới của XR đã thực hiện một số tiến bộ lớn nhất của nó. Telemedicine và telehealth từ các công ty như Amwell, v.v. cung cấp các giải pháp chăm sóc sức khỏe kỹ thuật số toàn diện cho các hệ thống y tế, chương trình y tế, chủ lao động và bác sĩ đã và đang đạt được những bước tiến lớn, đặc biệt là về sự cần thiết do đại dịch mang lại, v.v. và điều này chắc chắn sẽ tiếp tục được cải tiến với XR để cung cấp quyền truy cập ở các vị trí, điều kiện và lĩnh vực chuyên môn mà trước đây không thể đạt được. Ngoài ra, XR đã được sử dụng để đào tạo và giáo dục trong lĩnh vực y tế một thời gian và HoloLens, đặc biệt, hiện được sử dụng trong các ca phẫu thuật trực tiếp. Được sử dụng cùng với AI thị giác máy tính, phân tích dự đoán, v.v., hiệu quả và chất lượng điều trị sẽ có những bước tiến nhảy vọt trong tương lai gần. Tôi sẽ đưa ra một ví dụ về điều này trong một blog sắp tới trong loạt bài này và với sự hợp nhất của Oracle và Cerner, bạn có thể mong đợi thấy được sức mạnh tổng hợp và những tiến bộ hơn nữa trong lĩnh vực này.

Mặc dù rõ ràng là có liên quan trực tiếp, ví dụ trong blog này tập trung trực tiếp vào sức khỏe cá nhân và đại diện kép / kép kỹ thuật số về việc tập thể dục của một bệnh nhân / con người. Có rất nhiều hương vị của công nghệ và thiết bị đeo được cho thể dục và mặt khác, hoàn toàn phù hợp cho mục đích này.

Tôi đã tập trung vào Apple Watch và API HealthKit của nó để phát triển vì nó cung cấp một lượng thông tin đáng kinh ngạc bao gồm hoạt động (activeEnergyBurned, bơiStrokeCount, vo2Max, ...), đo cơ thể (bodyFatPercentage, ...), sức khỏe sinh sản (basalBodyTempe Nhiệt độ ), thính giác (tiếp xúc với âm thanh trong môi trường), dấu hiệu quan trọng (nhịp tim, áp suất máu), kết quả xét nghiệm và phòng thí nghiệm (máu), dinh dưỡng (cholesterol trong chế độ ăn uống), uống rượu, vận động, tiếp xúc với tia cực tím, v.v. Thông tin này có sẵn cùng với các thông tin khác trên đồng hồ và các ứng dụng của nó thu thập và cung cấp như thời tiết, GPS, v.v.

Màn trình diễn được hiển thị trong video yêu cầu một người chạy bộ đeo một chiếc đồng hồ với một ứng dụng liên tục gửi bất kỳ số liệu đã chọn nào tới cơ sở dữ liệu Oracle. Các chỉ số được gửi có thể được định cấu hình tại đồng hồ hoặc tại chính cơ sở dữ liệu, làm cho ứng dụng rất năng động.

Trong trường hợp này, vị trí GeoJSON / GPS, nhịp tim, nhịp, lượng calo đốt cháy, độ cao và nhiệt độ được gửi đi. Điều này có thể được thực hiện theo nhiều cách khác nhau nói chung bằng cách sử dụng MQTT (ví dụ: lưới cầu nối / sự kiện từ Mosquitto đến hệ thống nhắn tin Oracle AQ / TEQ có thể được sử dụng để tận dụng chức năng ở đó) hoặc trong trường hợp này là Nghỉ ngơi.

Đến lượt HoloLens nhận thông tin này từ cơ sở dữ liệu và vẽ biểu đồ con người đang đứng, đi bộ hoặc chạy (tùy thuộc vào khoảng cách vị trí / sự thay đổi theo thời gian) trên vị trí GPS thích hợp trên bản đồ. Hướng và quay của hoạt ảnh người được xác định bởi lịch sử / sự thay đổi của tọa độ GeoJSON nhận được, ánh sáng được xác định bởi số liệu thống kê thời tiết nhận được, v.v. để dán nhãn / theo dõi trong trường hợp bất kỳ sinh trắc học cụ thể nào trong các lĩnh vực này muốn được dán nhãn, đo lường và phân tích.

Đồng thời, nhà xuất khẩu khả năng quan sát thống nhất nhận được thông tin này từ cơ sở dữ liệu và cung cấp các chỉ số, v.v. ở định dạng Prometheus để hiển thị và giám sát trong bảng điều khiển Grafana. Bạn có thể tìm hiểu thêm về khung khả năng quan sát thống nhất của Oracle tại đây và chi tiết hơn trong một blog sẽ được phát hành rất sớm tại đây .

Oracle được gọi là cơ sở dữ liệu hội tụ vì nó hỗ trợ tất cả các kiểu / định dạng dữ liệu (cũng như khối lượng công việc, nhắn tin, v.v.) trong một cơ sở dữ liệu duy nhất. Điều này được minh chứng ở đây bởi thực tế là các số liệu thống kê khác nhau có thể được lưu trữ ở định dạng quan hệ, vị trí GPS ở định dạng JSON (Địa lý) và MapMyRun / TCX hoặc Stava / GPX ở định dạng XML.

Điều này cho phép khả năng tương thích, truy vấn kiểu dữ liệu chéo và hoạt động, v.v. Bằng cách này, hoạt động / lần chạy có thể được phát lại và phân tích sau đó. Có một số bước đột phá xảy ra trong thể dục và thể thao (sức khỏe và giải trí) do XR thực hiện nằm ngoài phạm vi của bài viết này.

Nhà, Kiến trúc, Kỹ thuật và Xây dựng

Có khả năng ngành đầu tiên và nổi bật nhất triển khai việc sử dụng XR là ngành kiến trúc, kỹ thuật và xây dựng (AEC) và ở một mức độ liên quan, nhà. Tất cả mọi thứ từ việc sắp xếp đồ nội thất ảo trong một ngôi nhà đến sắp xếp các công trường và quy trình xây dựng cực kỳ phức tạp, chẳng hạn như những quy trình và quy trình được cung cấp bởi Aconex của Oracle.

Phần trình bày trong video trình bày đơn giản một số khái niệm chính. HoloLens trình bày hình ảnh 3D của ngôi nhà. Hình ảnh trực quan có thể dễ dàng được tạo ra một cách nhanh chóng bằng một số công nghệ hiện có như hỗ trợ Lidar trên các điện thoại mới hơn, tuy nhiên, trong trường hợp này, tôi chỉ cần sử dụng một mô hình của ngôi nhà mặc dù tôi đã bao gồm bản quét quang phổ của một chiếc trống từ ngôi nhà trong ngươi mâu. (Tuy nhiên, điều này được thực hiện tĩnh, tuy nhiên, các phép quét ảnh động / thời gian thực, chụp ảnh Lidar, v.v. đang trở nên khả thi hơn đối với thế hệ song sinh kỹ thuật số khi thời gian trôi qua và một blog trong tương lai sẽ chứng minh điều này.).

Ánh sáng thế giới thực trong nhà liên tục gửi trạng thái màu của nó (qua MQTT) mà HoloLens nhận được và lần lượt sử dụng để thiết lập màu của ánh sáng đôi ảo / kỹ thuật số của nó. Ngược lại, khi nhấn nút màu kép ảo / kỹ thuật số trong ứng dụng HoloLens, lệnh màu sẽ được gửi (lần này qua Rest mặc dù nó cũng có thể là MQTT) và ánh sáng trong thế giới thực thay đổi thành màu đã chọn. Vì những thay đổi này được lưu trữ trong cơ sở dữ liệu, bộ đôi kỹ thuật số của ngôi nhà có thể được theo dõi và kiểm soát từ bất kỳ đâu có kết nối Internet.

Ngoài ra, một camera an ninh hướng ra bên ngoài ngôi nhà truyền phát video mà nó quay được (một cách có thể thực hiện là truyền camera Pi lên đám mây Oracle hoặc sử dụng phát trực tuyến video với Dịch vụ phương tiện kỹ thuật số OCI mới của Oracle) mà Hololens nhận được và hiển thị trong mô hình đôi kỹ thuật số và do đó người dùng cũng có thể xem camera an ninh để tái tạo mô hình / mô hình trực tiếp thực tế của ngôi nhà từ bất kỳ vị trí nào.

Ứng dụng Hololens cũng có thể phủ nguồn cấp dữ liệu máy ảnh lên tường bên trong thực tế / thế giới thực tương ứng với vị trí của máy ảnh trên bức tường bên ngoài, do đó tạo ra hiệu ứng nhìn xuyên qua các bức tường.

Cuối cùng, cặp song sinh kỹ thuật số có thể là đại diện của các đối tượng và vị trí trong thế giới thực hoặc đại diện của một quá trình hoặc khái niệm hoặc cả hai và vì vậy trong ví dụ này, chúng tôi thay thế cửa sổ bằng cửa sổ nhìn ra kênh Venice, một hố nước trên sa mạc Nairobi, v.v. . thông qua luồng trực tiếp. Tuy nhiên, một (các) ví dụ cổ điển khác về thực tế hỗn hợp.

Các lĩnh vực khác

Các ví dụ khác về các lĩnh vực đang phát triển nhiều cặp song sinh kỹ thuật số và nhân đôi kỹ thuật số trong không gian XR bao gồm fintech với, ví dụ: trợ lý kỹ thuật số tiên tiến, cảm biến trong ô tô để bảo hiểm, v.v., hệ thống thông tin địa lý cho khai thác mỏ và các ngành khác, ảnh ba chiều và đo quang cho các cuộc họp khác nhau và hội nghị, các cảm biến và phân tích tiên tiến như dự án hợp tác F1 Redbull thú vị của Oracle chỉ là một vài ví dụ.

Suy nghĩ bổ sung

Tôi đã đưa ra một số ý tưởng và ví dụ về cách các bộ đôi kỹ thuật số và XR có thể được sử dụng cùng nhau và được Oracle tạo điều kiện. Tôi mong sớm đưa ra nhiều blog hơn về chủ đề này và các lĩnh vực khác của XR với Cơ sở dữ liệu và đám mây Oracle.

Vui lòng xem các bài viết tôi xuất bản ở đây và ở đây để biết thêm thông tin về đám mây XR và Oracle và cơ sở dữ liệu hội tụ cũng như các chủ đề khác nhau xung quanh microservices, khả năng quan sát, xử lý giao dịch, v.v. Ngoài ra, vui lòng liên hệ với tôi nếu có bất kỳ câu hỏi hoặc đề xuất mới blog và video vì tôi rất cởi mở với các đề xuất. Cảm ơn vì đã đọc và theo dõi.