Desarrolle XR con Oracle, Ep 4: salud, gemelos digitales, observabilidad y metaverso

En este cuarto artículo de la serie, me enfoco en las aplicaciones XR de salud, gemelos digitales, IoT, observabilidad y su uso relacionado en el metaverso.

Esta es la cuarta pieza de una serie sobre el desarrollo de aplicaciones y experiencias XR utilizando Oracle y se centra en las aplicaciones XR de IA y ML de visión por computadora y su uso relacionado en el metaverso. Encuentre los enlaces a los dos primeros artículos a continuación:

• Desarrolle XR con Oracle, Ep 1: Espacial, AI/ML, Kubernetes y OpenTelemetry
• Desarrolle XR con Oracle, Ep 2: gráficos de propiedades, visualización de datos y metaverso
• Desarrolle XR con Oracle, Ep 3: Computer Vision AI, ML y Metaverse

Al igual que en las publicaciones anteriores, aquí volveré a mostrar específicamente las aplicaciones desarrolladas con la base de datos Oracle y las tecnologías en la nube, HoloLens 2, Mixed Reality Toolkit y la plataforma Unity.

A lo largo del blog, haré referencia a este video de demostración correspondiente:

Realidad extendida (XR), metaverso y HoloLens

Remitiré al lector al primer artículo de esta serie para obtener una descripción general de XR y HoloLens (enlace anterior). Esa publicación se basó en un taller de microservicios basados en datos y demostró una serie de aspectos que estarán presentes en el metaverso, como las compras en línea, al interactuar con modelos 3D de alimentos/productos, mapas 3D/espaciales del mundo real, etc. , así como backend DevOps (trazado de Kubernetes y OpenTelemetry), etc.

El segundo artículo de la serie se basó en una serie de talleres de gráficos y demostró la visualización, creación y manipulación de modelos, cuadernos, diseños y aspectos destacados para el análisis de gráficos de propiedades utilizados en gráficos sociales, redes neuronales y el sector financiero (por ejemplo, detección de lavado de dinero).

El tercer artículo de la serie utilizó IA de visión por computadora para detectar, etiquetar y pronunciar imágenes en una habitación y extraer texto de la misma habitación para proporcionar diversa información contextual, etc., según el entorno. este, el tema se puede compartir y colaborar activamente, incluso en tiempo real, de forma remota. Estos tipos de habilidades son clave para el concepto de metaverso y se ampliarán y ampliarán en estas piezas futuras.

Este blog no profundizará en los gemelos digitales, sino que se centrará en la habilitación de XR de estos temas y el uso de la tecnología de Oracle para este fin.

Gemelos digitales

Hay una serie de definiciones matizadas disponibles pero, en general, "un gemelo digital es una representación virtual de un objeto o sistema que abarca su ciclo de vida, se actualiza a partir de datos en tiempo real y utiliza simulación, aprendizaje automático y razonamiento para ayudar a tomar decisiones". -haciendo." y un doble digital generalmente se refiere específicamente a representaciones de seres humanos. Los datos en tiempo real a menudo se recopilan de sensores y, por lo tanto, las arquitecturas de IoT, etc., a menudo se usan en el proceso, aunque existen numerosos tipos de fuentes y técnicas que se pueden usar.

Existe bastante material sobre gemelos digitales, por lo que seré breve sobre este tema, pero su potencial de innovación, colaboración, inmersión, etc. en XR y metaverso realmente es ilimitado y muy emocionante. Hay un sinfín de ejemplos en tantos sectores. Aquí sólo tocaré la salud (como representación del gran espacio de salud, deporte, asistencia sanitaria, etc.) y el hogar (como representación del gran espacio AEC).

Salud y Cuidado de la Salud

La salud y el cuidado de la salud son actualmente y cada vez más áreas donde la innovación XR ha tenido algunos de sus mayores avances. La telemedicina y la telesalud de compañías como Amwell, etc. brindan soluciones integrales de atención médica digital para sistemas de salud, planes de salud, empleadores y médicos y han logrado grandes avances, particularmente en la necesidad provocada por pandemias, etc. y esto ciertamente continuará. se mejorará con XR para proporcionar acceso en ubicaciones, condiciones y áreas de especialización que antes no se podían obtener. Además, XR se ha utilizado para capacitación y educación en el sector de la salud desde hace algún tiempo y HoloLens, en particular, ahora se usa en cirugías en vivo. Usado junto con la IA de visión por computadora, el análisis predictivo, etc., la eficiencia y la calidad del tratamiento darán un salto adelante en un futuro próximo. Mostraré un ejemplo de esto en un próximo blog de esta serie y con la fusión de Oracle y Cerner, puede esperar ver más sinergias y avances en esta área.

Aunque obviamente está directamente relacionado, el ejemplo en este blog se enfoca directamente en la salud individual en sí misma y en una representación doble/gemelo digital de un paciente/humano haciendo ejercicio. Existen numerosos sabores de tecnología y dispositivos portátiles para el fitness y otros, que se adaptan perfectamente a este propósito.

Me he centrado en el Apple Watch y su API HealthKit para mi desarrollo, ya que proporciona una cantidad asombrosa de información , incluida la actividad (activeEnergyBurned, swimmingStrokeCount, vo2Max, ...), medidas corporales (bodyFatPercentage, ...), salud reproductiva (basalBodyTemperature ), audición (exposición de audio ambiental), signos vitales (frecuencia cardíaca, presión arterial), resultados de laboratorio y pruebas (glucosa en sangre), nutrición (colesterol dietético), consumo de alcohol, movilidad, exposición a rayos UV, etc. Esta información está disponible además de otra información del reloj. y sus aplicaciones recopilan y proporcionan información meteorológica, GPS, etc.

La demostración que se muestra en el video involucra a un corredor que usa un reloj con una aplicación que envía continuamente las métricas seleccionadas a la base de datos de Oracle. Las métricas enviadas se pueden configurar tanto en el reloj como en la propia base de datos, lo que hace que la aplicación sea muy dinámica.

En este caso se envía la ubicación GeoJSON/GPS, frecuencia cardíaca, cadencia, calorías quemadas, elevación y temperatura. Esto se puede hacer de varias maneras en general usando MQTT (por ejemplo, se puede usar una malla de puente/evento de Mosquitto al sistema de mensajería Oracle AQ/TEQ para aprovechar la funcionalidad allí) o, en este caso, Rest.

HoloLens, a su vez, recibe esta información de la base de datos y traza una persona de pie, caminando o corriendo (según la distancia de la ubicación/cambio con el tiempo) en la ubicación GPS adecuada en un mapa. La dirección y la rotación de la animación humana están determinadas por el historial/cambio de las coordenadas GeoJSON recibidas, la iluminación determinada por las estadísticas meteorológicas recibidas, etc. La animación humana se divide a lo largo del plano sagital medio con sistemas esqueléticos, musculares, etc. expuestos para etiquetado/seguimiento en caso de que alguna biometría específica en estas áreas desee ser etiquetada, medida y analizada.

Simultáneamente, un exportador de observabilidad unificado recibe esta información de la base de datos y proporciona las métricas, etc. en formato Prometheus para mostrar y monitorear en una consola Grafana. Puede obtener más información sobre el marco de observabilidad unificado de Oracle aquí y con más detalle en un blog que se publicará muy pronto aquí .

Oracle se conoce como la base de datos convergente porque admite todos los tipos/formatos de datos (así como cargas de trabajo, mensajería, etc.) en una única base de datos. Esto se ejemplifica aquí por el hecho de que se pueden almacenar varias estadísticas en formato relacional, las ubicaciones GPS en formato (Geo)JSON y MapMyRun/TCX o Stava/GPX en formato XML.

Esto permite la compatibilidad, consultas de tipo de datos cruzados, operaciones, etc. De esta manera, la actividad/ejecución se puede reproducir y analizar en un momento posterior. Hay una serie de avances que están ocurriendo en fitness y deportes (salud y entretenimiento) gracias a XR que están más allá del alcance de este artículo.

Hogar, Arquitectura, Ingeniería y Construcción

Probablemente, la primera y más destacada industria en implementar el uso de XR es la de la arquitectura, la ingeniería y la construcción (AEC) y, en cierta medida, la del hogar. Todo, desde la disposición de muebles virtuales en una casa hasta la orquestación de sitios y procesos de construcción extremadamente complejos, como los proporcionados por Aconex de Oracle.

La demostración que se muestra en el video implica una representación simple de algunos conceptos clave. HoloLens presenta una visualización en 3D de la casa. La visualización se puede generar rápidamente con facilidad mediante una serie de tecnologías existentes, como la compatibilidad con Lidar en los teléfonos más nuevos; sin embargo, en este caso, simplemente uso un modelo de la casa, aunque incluyo un escaneo fotogramétrico de un tambor de la casa en el modelo. (Esto se hizo de forma estática, sin embargo, los escaneos fotogramétricos dinámicos/en tiempo real, Lidar, etc. se están volviendo más factibles para la generación de gemelos digitales a medida que pasa el tiempo y un blog futuro lo demostrará).

La luz del mundo real en la casa envía continuamente su estado de color (a través de MQTT) que HoloLens recibe y, a su vez, usa para establecer el color de su luz gemela virtual/digital. Por el contrario, cuando se presiona un botón de color gemelo virtual/digital en la aplicación HoloLens, se envía el comando de color (esta vez sobre Rest, aunque también podría ser MQTT) y la luz del mundo real cambia al color seleccionado. Como estos cambios se almacenan en la base de datos, el gemelo digital de la casa puede ser monitoreado y controlado desde cualquier lugar con conexión a Internet.

Además, una cámara de seguridad que mira hacia el exterior de la casa transmite el video que captura (una forma posible de hacerlo es transmitir una cámara Pi a la nube de Oracle o usar la transmisión de video con los nuevos servicios de medios digitales OCI de Oracle) que Hololens recibe y se muestra en el modelo de gemelo digital y, por lo tanto, el usuario también puede ver las cámaras de seguridad para recrear una representación / modelo en vivo realista de la casa desde cualquier ubicación.

La aplicación Hololens también puede superponer la señal de la cámara en la pared interior real/del mundo real correspondiente a la ubicación de la cámara en la pared exterior, creando así un efecto transparente de las paredes.

Finalmente, los gemelos digitales pueden ser representaciones de objetos y ubicaciones del mundo real o representaciones de un proceso o concepto o ambos, por lo que en este ejemplo reemplazamos la ventana con una ventana que da al canal de Venecia, un pozo de agua en el desierto de Nairobi, etc. a través de transmisión en vivo. Otro(s) ejemplo(s) clásico(s) más de realidad mixta.

Otros Sectores

Otros ejemplos de sectores que desarrollan más gemelos digitales y dobles digitales en el espacio XR incluyen fintech con, por ejemplo, asistentes digitales avanzados, sensores en automóviles para seguros, etc., sistemas de información geográfica para minería y otras industrias, hologramas y fotogrametría para varias reuniones y conferencias y sensores y análisis avanzados, como el emocionante proyecto de colaboración F1 Redbull de Oracle, son solo algunos ejemplos.

Pensamientos Adicionales

He dado algunas ideas y ejemplos de cómo los dobles digitales y XR pueden usarse juntos y facilitados por Oracle. Espero publicar pronto más blogs sobre este tema y otras áreas de XR con Oracle Cloud and Database.

Consulte los artículos que publico aquí y aquí para obtener más información sobre XR y la nube Oracle y la base de datos convergente, así como varios temas sobre microservicios, observabilidad, procesamiento de transacciones, etc. Además, no dude en ponerse en contacto conmigo si tiene alguna pregunta o sugerencia para nuevos blogs y videos ya que estoy muy abierto a sugerencias. Gracias por leer y mirar.