Desenvolva XR com Oracle, Ep 4: Saúde, Gêmeos Digitais, Observabilidade e Metaverso

Neste quarto artigo da série, concentro-me em aplicações XR de saúde, gêmeos digitais, IoT, observabilidade e seu uso relacionado no metaverso.

Esta é a quarta parte de uma série sobre o desenvolvimento de aplicativos XR e experiências usando Oracle e se concentra em aplicativos XR de IA e ML de visão computacional e seu uso relacionado no metaverso. Encontre os links para os dois primeiros artigos abaixo:

• Desenvolva XR com Oracle, Ep 1: Espacial, AI/ML, Kubernetes e OpenTelemetry
• Desenvolva XR com Oracle, Ep 2: Gráficos de propriedade, visualização de dados e metaverso
• Desenvolva XR com Oracle, Ep 3: Computer Vision AI, ML e Metaverse

Assim como nas postagens anteriores, aqui novamente mostrarei especificamente aplicativos desenvolvidos com banco de dados Oracle e tecnologias de nuvem, HoloLens 2, Mixed Reality Toolkit e plataforma Unity.

Ao longo do blog, farei referência a este vídeo de demonstração correspondente:

Realidade Estendida (XR), Metaverso e HoloLens

Vou encaminhar o leitor ao primeiro artigo desta série para uma visão geral do XR e do HoloLens (link acima). Essa postagem foi baseada em um workshop de microsserviços orientados a dados e demonstrou vários aspectos que estarão presentes no metaverso, como compras online, interação com modelos 3D de alimentos/produtos, mapas 3D/espaciais do mundo real etc. , bem como DevOps de back-end (rastreamento de Kubernetes e OpenTelemetry), etc.

O segundo artigo da série foi baseado em vários workshops de gráficos e demonstrou visualização, criação e manipulação de modelos, notebooks, layouts e destaques para análise de gráficos de propriedade usados em gráficos sociais, redes neurais e setor financeiro (por exemplo, detecção de lavagem de dinheiro).

O terceiro artigo da série usou IA de visão computacional para detectar, marcar e falar imagens em uma sala e extrair texto da mesma sala para fornecer várias informações contextuais etc. com base no ambiente. neste, o assunto pode ser compartilhado e colaborado ativamente, mesmo em tempo real, remotamente. Esses tipos de habilidades são fundamentais para o conceito de metaverso e serão expandidos e estendidos nessas peças futuras.

Este blog não abordará gêmeos digitais em profundidade, mas, em vez disso, focará na habilitação XR desses tópicos e no uso da tecnologia Oracle para esse fim.

gêmeos digitais

Existem várias definições diferenciadas disponíveis, mas, em geral, "Um gêmeo digital é uma representação virtual de um objeto ou sistema que abrange seu ciclo de vida, é atualizado a partir de dados em tempo real e usa simulação, aprendizado de máquina e raciocínio para ajudar na tomada de decisões -fazer." e um duplo digital geralmente se refere especificamente a representações de seres humanos. Dados em tempo real são frequentemente coletados de sensores e, portanto, arquiteturas de IoT etc. são frequentemente usadas no processo, embora existam vários tipos de fontes e técnicas que podem ser usadas.

Existe bastante material sobre gêmeos digitais e, portanto, serei breve sobre esse tópico, mas seu potencial de inovação, colaboração, imersão etc. no XR e no metaverso é realmente ilimitado e muito empolgante. Existem inúmeros exemplos em tantos setores. Aqui vou tocar apenas na saúde (como representação do espaço maior saúde, esportes, cuidados com a saúde, etc.) e casa (como representação do espaço maior AEC).

Saúde e Cuidados de Saúde

A saúde e os cuidados com a saúde são atualmente e cada vez mais áreas em que a inovação XR obteve alguns de seus maiores avanços. A telemedicina e a telessaúde de empresas como Amwell, etc. fornecem soluções abrangentes de saúde digital para sistemas de saúde, planos de saúde, empregadores e médicos e já deram grandes passos, principalmente na necessidade trazida por pandemias, etc. e isso certamente continuará para ser aprimorado com XR para fornecer acesso em locais, condições e áreas de especialização anteriormente inacessíveis. Além disso, o XR já é usado para treinamento e educação no setor de saúde há algum tempo e o HoloLens, em particular, agora é usado em cirurgias ao vivo. Usado em conjunto com IA de visão computacional, análise preditiva, etc., a eficiência e a qualidade do tratamento darão saltos no futuro próximo. Mostrarei um exemplo disso em um próximo blog desta série e, com a fusão da Oracle e da Cerner, você pode esperar ver mais sinergia e avanços nessa área.

Embora obviamente diretamente relacionado, o exemplo neste blog é focado diretamente na própria saúde individual e em uma representação digital de gêmeos/duplas de um paciente/humano se exercitando. Existem inúmeros tipos de tecnologia e wearables para fitness e outros, que são perfeitamente adequados para esta finalidade.

Concentrei-me no Apple Watch e em sua API HealthKit para meu desenvolvimento, pois ele fornece uma quantidade surpreendente de informações , incluindo atividade (activeEnergyBurned, SwimmingStrokeCount, vo2Max, ...), medição corporal (bodyFatPercentage, ...), saúde reprodutiva (basalBodyTemperature ), audição (exposição a áudio ambiental), sinais vitais (frequência cardíaca, pressão arterial), resultados de exames e exames (glicemia), nutrição (colesterol dietético), consumo de álcool, mobilidade, exposição aos raios UV, etc. e seus aplicativos coletam e fornecem como previsão do tempo, GPS, etc.

A demonstração mostrada no vídeo envolve um corredor usando um relógio com um aplicativo que envia continuamente qualquer métrica selecionada para o banco de dados Oracle. As métricas enviadas podem ser configuradas tanto no relógio quanto no próprio banco de dados, tornando a aplicação bastante dinâmica.

Nesse caso, são enviadas a localização GeoJSON/GPS, frequência cardíaca, cadência, calorias queimadas, elevação e temperatura. Isso pode ser feito de várias maneiras gerais usando MQTT (por exemplo, uma malha de ponte/evento do Mosquitto para o sistema de mensagens Oracle AQ/TEQ pode ser usada para aproveitar a funcionalidade lá) ou, neste caso, Rest.

O HoloLens, por sua vez, recebe essas informações do banco de dados e traça um humano em pé, andando ou correndo (dependendo da distância do local/mudança ao longo do tempo) no local apropriado do GPS em um mapa. A direção e a rotação da animação humana são determinadas pelo histórico/alteração das coordenadas GeoJSON recebidas, a iluminação determinada pelas estatísticas meteorológicas recebidas, etc. A animação humana é dividida ao longo do plano sagital médio com sistemas esqueléticos, musculares, etc. expostos para rotulagem/rastreamento caso alguma biometria específica nessas áreas queira ser rotulada, medida e analisada.

Simultaneamente, um exportador de observabilidade unificado recebe essas informações do banco de dados e fornece as métricas, etc. no formato Prometheus para exibição e monitoramento em um console Grafana. Você pode aprender mais sobre a estrutura de observabilidade unificada da Oracle aqui e com mais detalhes em um blog que será lançado em breve aqui .

O Oracle é chamado de banco de dados convergente porque oferece suporte a todos os tipos/formatos de dados (bem como cargas de trabalho, mensagens, etc.) em um único banco de dados. Isso é exemplificado aqui pelo fato de que várias estatísticas podem ser armazenadas em formato relacional, as localizações de GPS em formato (Geo)JSON e MapMyRun/TCX ou Stava/GPX em formato XML.

Isso permite compatibilidade, consultas de tipo de dados cruzados e operações, etc. Dessa forma, a atividade/execução pode ser reproduzida e analisada posteriormente. Há uma série de inovações ocorrendo em fitness e esportes (saúde e entretenimento) possibilitadas pelo XR que estão além do escopo deste artigo.

Casa, arquitetura, engenharia e construção

Provavelmente, a primeira e mais importante indústria a implementar o uso de XR é a de arquitetura, engenharia e construção (AEC) e, de forma relacionada, a casa. Tudo, desde organizar móveis virtuais em uma casa até orquestrar canteiros de obras e processos extremamente complexos, como os fornecidos pela Aconex da Oracle.

A demonstração mostrada no vídeo envolve uma representação simples de alguns conceitos-chave. O HoloLens apresenta uma visualização 3D da casa. A visualização pode ser facilmente gerada rapidamente por várias tecnologias existentes, como o suporte Lidar em telefones mais novos, no entanto, neste caso, eu simplesmente uso um modelo da casa, embora inclua uma varredura fotogramétrica de um tambor da casa em o modelo. (Isso foi feito estaticamente, no entanto, fotogrametria dinâmica/em tempo real, varreduras Lidar, etc. estão se tornando mais viáveis para a geração de gêmeos digitais com o passar do tempo e um blog futuro demonstrará isso).

A luz do mundo real na casa envia continuamente seu status de cor (por MQTT) que o HoloLens recebe e, por sua vez, usa para definir a cor de sua luz gêmea virtual/digital. Por outro lado, quando um botão de cor gêmea virtual/digital no aplicativo HoloLens é pressionado, o comando de cor é enviado (desta vez sobre Rest, embora também possa ser MQTT) e a luz do mundo real muda para a cor selecionada. Como essas alterações são armazenadas no banco de dados, o gêmeo digital da casa pode ser monitorado e controlado de qualquer lugar com conexão à Internet.

Além disso, uma câmera de segurança voltada para fora da casa transmite o vídeo que captura (uma maneira possível de fazer isso é transmitir uma câmera Pi para a nuvem Oracle ou usar streaming de vídeo com o novo OCI Digital Media Services da Oracle) que o Hololens recebe e exibe no modelo de gêmeo digital e, portanto, o usuário também pode visualizar as câmeras de segurança para recriar uma representação/modelo realista ao vivo da casa de qualquer local.

O aplicativo Hololens também pode sobrepor o feed da câmera na parede interna real/do mundo real correspondente à localização da câmera na parede externa, criando assim um efeito transparente nas paredes.

Por fim, os gêmeos digitais podem ser representações de objetos e locais do mundo real ou representações de um processo ou conceito ou ambos e, portanto, neste exemplo, substituímos ainda mais a janela por uma janela que dá para o canal de Veneza, um poço de água no deserto de Nairóbi etc. .via transmissão ao vivo. Ainda outro(s) exemplo(s) clássico(s) de realidade misturada.

Outros Setores

Outros exemplos de setores que desenvolvem mais gêmeos digitais e duplos digitais no espaço XR incluem fintech com, por exemplo, assistentes digitais avançados, sensores em carros para seguros etc., sistemas de informações geográficas para mineração e outras indústrias, hologramas e fotogrametria para várias reuniões e conferências e sensores e análises avançados, como o empolgante projeto de colaboração F1 Redbull da Oracle, são apenas alguns exemplos.

Pensamentos Adicionais

Eu dei algumas ideias e exemplos de como duplicatas digitais e XR podem ser usados juntos e facilitados pela Oracle. Estou ansioso para lançar mais blogs sobre este tópico e outras áreas do XR com Oracle Cloud and Database em breve.

Consulte os artigos que publico aqui e aqui para obter mais informações sobre nuvem XR e Oracle e banco de dados convergente, bem como vários tópicos sobre microsserviços, observabilidade, processamento de transações etc. blogs e vídeos, pois estou muito aberto a sugestões. Obrigado por ler e assistir.