Desenvolva XR com Oracle, Ep 5 Healthcare, Vision AI, Treinamento/Colaboração e Mensagens

Esta é a quinta parte de uma série sobre o desenvolvimento de aplicativos XR e experiências usando Oracle e se concentra em aplicativos XR de saúde, visão AI, treinamento e colaboração e mensagens, incluindo outros tópicos, como desenvolvimento multiplataforma, etc.

Encontre os links para os quatro primeiros artigos abaixo:

Desenvolva XR com Oracle, Ep 1: Espacial, AI/ML, Kubernetes e OpenTelemetry
Desenvolva XR com Oracle, Ep 2: Gráficos de propriedade e visualização de dados
Desenvolva XR com Oracle, Ep 3: Computer Vision AI e ML
Desenvolva XR com Oracle, Ep 4: Gêmeos Digitais e Observabilidade

Como nas postagens anteriores, mostrarei especificamente aplicativos desenvolvidos com banco de dados Oracle e tecnologias de nuvem usando HoloLens 2, Oculus, iPhone e PC e escritos usando a plataforma Unity e OpenXR (para suporte multiplataforma), Apple Swift e WebXR.

Ao longo do blog, farei referência ao vídeo de demonstração correspondente abaixo.

Realidade Estendida (XR) e Cuidados de Saúde

Vou encaminhar o leitor ao primeiro artigo desta série (novamente, o link está acima) para uma visão geral do XR, e não irei me aprofundar na vasta gama de tecnologias envolvidas no setor de saúde, mas, em vez disso, focarei em a habilitação XR desses tópicos e o uso da tecnologia Oracle para esse fim, especialmente porque a Oracle tem um foco maior nessa área por meio da aquisição da Cerner e outros empreendimentos. É sabido que a telessaúde cresceu tremendamente desde a pandemia, atingindo um pico de 78 vezes a taxa apenas um mês antes da pandemia e mesmo agora ainda se estabilizando em 38 vezes essa taxa.

Esses e outros números e seu impacto estão bem documentados em várias publicações, como este relatório da McKinsey e o VR/AR Associations Healthcare Forum , que serão mencionados neste artigo. Basta ter ouvido falar do uso de XR para cirurgias ao vivo pela Johns Hopkins em 2021 para entender até que ponto o XR ajudará neste setor e, novamente, não vou me aprofundar muito na tentativa de provar isso, mas prossiga para dar alguns exemplos e ideias envolvendo banco de dados Oracle e tecnologias de nuvem.

Vision AI e inteligência contextual: análise e diagnóstico em tempo real

O primeiro exemplo envolve o uso do headset de realidade mista Hololens (embora outros headsets/dispositivos possam ser usados) e o serviço Vision AI da Oracle. Não deve ser muito difícil imaginar os profissionais de saúde usando dispositivos XR que fornecem funcionalidade e informações adicionais a eles (e, de fato, muitos já o são).

Hoje, médicos, dentistas, etc. constantemente cruzam uma tela de computador com um paciente para verificar informações e orientar o que eles veem (sendo raio-x, ressonância magnética etc.) e geralmente onde luzes montadas na cabeça, lupas monoculares etc. As soluções XR discutidas aqui são meras evoluções disso. Mais detalhes sobre este aplicativo podem ser encontrados no blog de pesquisa aqui , mas os detalhes básicos de como ele funciona estão descritos aqui.

O aplicativo executado no Hololens tira fotos com sua câmera embutida usando o campo de visão do usuário como referência e o faz em intervalos regulares. Isso fornece uma experiência de viva-voz que é, no mínimo, mais conveniente. Ainda assim, em muitas situações, como na sala de cirurgia, é necessário que as mãos dos usuários interajam com o mundo real (ou XR), tornando-se assim uma solução mais otimizada. Isso também significa que o sistema pode coletar informações contextuais das quais o profissional pode não estar ciente ou ter acesso, reunindo e processando rapidamente essas informações sem que o profissional tenha que instruí-las explicitamente, economizando tempo também. Isso leva à otimização que a realidade mista oferece, um subproduto empolgante da imersão.

O Hololens então envia essas imagens para o OCI Object Storage por meio de chamadas REST seguras, onde podem ser convenientemente acessadas pelo OCI Vision AI Service diretamente e também armazenadas e/ou acessadas no banco de dados.

Existem várias abordagens e arquiteturas diferentes que podem ser usadas a partir deste ponto para conduzir a lógica e as chamadas às APIs do Oracle Vision AI para processar as imagens enviadas pelo dispositivo XR. Por exemplo, no que diz respeito à linguagem usada, as versões iniciais foram escritas usando OCI CLI, Java e Python, com uma versão de imagem nativa Java GraalVM final sendo usada.

Além disso, como a imagem nativa do Java GraalM inicia quase instantaneamente quando o serviço conduz uma determinada rotina de curta duração, ela é uma boa candidata para uma função sem servidor. Opcionalmente, o Serviço de Notificação OCI pode ouvir as alterações do Armazenamento de Objetos e também chamar funções sem servidor.

O serviço Java recebe uma notificação de upload de imagem para o armazenamento de objetos e realiza uma série de ações da seguinte forma:

1. Conduz uma chamada de API de serviço OCI Vision AI apoiada por um modelo de detecção de objeto de raio-x e fornece a localização da imagem enviada pelo Hololens.
2. Recebe uma resposta do modelo de detecção de objetos com a chance percentual do raio-x estar na imagem e as coordenadas delimitadoras do mesmo.
3. Corta a imagem original usando as coordenadas delimitadoras.
4. Conduz outra chamada de API de serviço OCI Vision AI apoiada por um modelo de classificação de raio-x e fornece a imagem cortada do raio-x.
5. Recebe uma resposta do modelo de classificação de imagem com alteração percentual de radiografia contendo sinais de anormalidades/pneumonia.
6. O aplicativo Hololens recebe essa resposta e notifica o usuário com uma notificação sonora – isso é configurável e também pode ser visual. No caso deste aplicativo, as informações incluem a imagem do raio-x recortado com seus detalhes descobertos listados e armazenados em um menu virtual localizado no pulso e visível apenas pelo usuário. Essa abordagem evita a interrupção do usuário, embora também seja possível sobrepor os resultados no raio-x real do qual eles foram derivados.

O Vision AI e o XR são uma combinação natural para soluções em várias áreas, incluindo profissionais de saúde, como mostrado aqui, e pessoas com condições como Parkinson, autismo, Alzheimer, deficiência visual e auditiva, etc. (por exemplo, aplicativos/ soluções que podem ser utilizadas neste espaço estão descritas neste blog )

Estudo de movimento e sentimento: análise de rastreamento de rosto e corpo em tempo real

Hoje, 95% das unidades de saúde oferecem tratamento e reabilitação remotos. As tecnologias XR podem ser usadas para ajudar os pacientes a entender melhor suas condições e opções de tratamento. Isso pode ajudar os pacientes a se sentirem mais informados e capacitados em suas decisões de saúde.

O próximo exemplo foi implementado usando o iPhone e Swift usando RealityKit da Apple para movimentos de rastreamento corporal. As coordenadas da junta de um movimento do modelo são registradas e enviadas para o banco de dados Oracle por meio de chamadas Rest para o ORDS. Uma pessoa (seja um paciente, atleta, etc.) usando o aplicativo tenta realizar o mesmo movimento, e suas coordenadas articulares são comparadas com as do movimento do modelo armazenado no banco de dados. Se o desvio/delta permitido dos movimentos for excedido, as articulações e ossos correspondentes são mostrados em vermelho em vez de verde.

Esse feedback é fornecido em tempo real para medir o progresso (por exemplo, após um manguito rotador ou outra cirurgia) e/ou para permitir que o usuário modifique seu movimento para corresponder ao modelo de controle, bem como trabalhar o equilíbrio e a coordenação. Esses movimentos podem, por sua vez, ser analisados (mais sobre XR e Oracle Analytics em um próximo blog), reproduzidos, manipulados para realizar simulações etc. Esses casos de uso, é claro, se estendem aos setores de esportes, entretenimento etc. bem.

Gêmeos digitais + duplas e mensagens multijogador/participante: treinamento e colaboração

Um estudo recente relatado pela Unity mostra que aproximadamente 94% das empresas que usam a tecnologia 3D em tempo real a consideram valiosa para o treinamento de pessoal e a estão usando para criar experiências interativas de aprendizado guiado. Isso se aplica a todos os setores, incluindo manufatura, transporte, saúde, varejo e muitos outros, e algumas tendências na área (muitas das quais coincidem com o que é mostrado neste blog) são discutidas aqui .

As tecnologias XR podem ser usadas para criar simulações realistas de cenários médicos, permitindo que os profissionais de saúde pratiquem procedimentos e técnicas em um ambiente seguro e controlado. Por exemplo, estudantes de medicina e cirurgiões podem usar simulações XR para praticar cirurgias com sensações táteis dando feedback de cirurgia real, e enfermeiros podem usar simulações AR para praticar a administração de medicamentos. Isso pode ajudar os profissionais de saúde a obter uma experiência valiosa sem arriscar a segurança do paciente.

Além do ensino, o XR oferece uma capacidade única de colaboração entre indivíduos em diferentes localidades e especialidades, criando um espaço virtual compartilhado onde vários usuários podem interagir entre si e com objetos virtuais. Existem várias técnicas e opções de software diferentes disponíveis para criar treinamento e colaboração XR multijogador/participante, incluindo software de conferência XR e metaversos, Photon e outros como ele, Rest, WebSockets e diferentes tipos de mensagens.

O software e as plataformas de conferência XR, como Alakazam, estão se tornando cada vez mais populares e permitem que vários usuários participem de reuniões virtuais, eventos, sessões de treinamento, etc.

Photon é uma plataforma que permite aos desenvolvedores criar jogos e aplicativos multijogador usando Unity, Unreal Engine e outros mecanismos de jogo e pode ser facilmente instalado e aproveitar a computação em nuvem Oracle (incluindo GPU NVIDIA ). É talvez a mais famosa dessas plataformas, mas existem outras.

WebSockets são um protocolo para comunicação em tempo real entre clientes e servidores da Web e podem ser um método mais rápido e eficiente para esses casos de uso do que o Rest, embora as chamadas Rest sejam uma opção simples e viável em muitos casos também, e mais APIs estão disponíveis via Descanse em geral do que qualquer um dos outros métodos.

O envio de mensagens é outra técnica que pode ser usada para criar experiências de treinamento e colaboração XR. Sistemas como Kafka e JMS têm pub/sub (tópicos de vários consumidores) e produtor/consumidor (tópicos de um único consumidor) e são muito flexíveis para diferentes necessidades de treinamento e colaboração.

No aplicativo de treinamento mostrado no vídeo, usei várias das técnicas acima, mas focada no uso do mecanismo de mensagens TxEventQ da Oracle (anteriormente conhecido como AQ). Esta é uma oferta muito poderosa e exclusiva por vários motivos, sendo um deles a capacidade de conduzir o trabalho de banco de dados e trabalho de mensagens na mesma transação local. Isso é exclusivo e perfeitamente adequado para microsserviços, pois fornece um padrão de caixa de saída de transação e também entrega de mensagem exatamente uma vez, para que não haja perda de mensagem e não seja necessário que o desenvolvedor escreva a lógica de desduplicação.

Isso pode não ser necessário para jogos convencionais ou streaming de filmes, mas é obrigatório para sistemas de missão crítica e fornece alguns aspectos extremamente interessantes e exclusivos para XR, onde a capacidade de armazenar de forma confiável um objeto compartilhado (3D) (especialmente aqueles que são dinâmicos ou criados via IA generativa, por exemplo) e as interações/mensagens que foram feitas por vários participantes é uma ferramenta muito poderosa.

É exatamente isso que é feito no app mostrado no vídeo. A sessão colaborativa não é apenas gravada em 3D para visualização como um vídeo, mas os objetos reais e suas interações pelos participantes são registrados no banco de dados e disponibilizados para reprodução, para que possam ser interceptados e manipulados posteriormente. Isso permite a capacidade de fazer um aprendizado mais profundo e executar outros modelos (IA ou não), simulações, cenários, etc., ajustando os objetos e interações como/com playbooks.

Com o desenvolvimento de tecnologia mais avançada e dispositivos mais poderosos, o treinamento XR se tornará mais prevalente em um futuro próximo, tornando a experiência de treinamento mais imersiva e interativa.

Uma outra pequena observação é que o aplicativo no vídeo tem profissionais de saúde em capturas de vídeo volumétricas 3D completas feitas profissionalmente em um estúdio, mas também um vídeo 2D simples com o canal alfa de tela verde removido por meio de um sombreador Unity, fornecendo uma imagem holográfica semelhante efeito com o mínimo de esforço (a qualidade poderia ser melhor com mais esforço de iluminação, etc.). Uma tela verde virtual do Zoom pode ser usada para esse fim, bem como ativos gratuitos com animação feita no Blender. Unity, Zoom e Blender são gratuitos e usam o banco de dados Autônomo sempre gratuito da Oracle, tornando a criação da solução muito acessível no que diz respeito aos custos de software e nuvem.

Ecossistema de Dados: Telessaúde e Centros de Saúde Virtuais

Um centro de saúde ou hospital virtual é um estabelecimento de saúde que fornece serviços médicos por meio de canais digitais, como videoconferência, bate-papo online, monitoramento remoto e, cada vez mais, tecnologias XR. Essas ferramentas digitais permitem que os pacientes acessem os serviços de saúde no conforto de suas casas ou locais remotos, sem a necessidade de visitar fisicamente um hospital ou clínica.

O conceito de centro de saúde virtual está se tornando cada vez mais popular devido à crescente demanda por serviços de telemedicina, especialmente após a pandemia do COVID-19. Um centro de saúde virtual pode fornecer uma ampla gama de serviços médicos, como cuidados primários, consultas especializadas, testes de diagnóstico e recargas de receitas e oferece conveniência e flexibilidade aos pacientes que podem acessar serviços médicos de qualquer lugar e a qualquer momento.

Isso pode ser especialmente benéfico para pacientes com problemas de mobilidade, aqueles que vivem em áreas rurais ou pacientes que precisam consultar um especialista que não está disponível em sua área local. Também pode reduzir os custos de saúde para pacientes e profissionais de saúde. Ao usar consultas e monitoramento remotos, os profissionais de saúde podem reduzir a necessidade de consultas presenciais caras e internações hospitalares. Os pacientes também podem economizar dinheiro com custos de transporte e folgas do trabalho.

Um centro de saúde virtual pode melhorar a qualidade do atendimento aos pacientes. Com o monitoramento remoto, os pacientes podem receber atendimento personalizado e contínuo, com profissionais de saúde capazes de monitorar sua saúde em tempo real e intervir rapidamente, se necessário. Isso pode resultar em melhores resultados de saúde e redução de reinternações hospitalares.

No entanto, também existem alguns desafios para a implementação de centros de saúde virtuais. Isso inclui questões sobre privacidade e segurança de dados, bem como a necessidade de acesso adequado à Internet e alfabetização digital entre os pacientes. Além disso, alguns pacientes ainda podem preferir atendimento presencial tradicional e, embora em número menor, há limitações quanto aos serviços médicos que podem ser prestados remotamente. O conceito de um centro de saúde virtual tem o potencial de revolucionar a forma como os cuidados de saúde são prestados, com benefícios tanto para os pacientes quanto para os profissionais de saúde. No entanto, são necessários consideração e planejamento cuidadosos para garantir que a implementação de centros de saúde virtuais seja segura, eficaz e equitativa para todos os pacientes.

A Oracle, com a aquisição da Cerner e maior foco no futuro da saúde, está em uma posição única para facilitar essas soluções XR por sua capacidade de “Fornecer melhores insights de saúde e experiências centradas no ser humano para pacientes, provedores , pagadores e público. O Oracle Health oferece as soluções de assistência médica mais seguras e confiáveis, que conectam dados clínicos, operacionais e financeiros para melhorar o atendimento e avançar na tomada de decisões sobre saúde e bem-estar.” ( página Oracle Health ). Larry Ellison deixou isso claro em sua apresentação Oracle OpenWorld, onde a saúde era a prioridade para o futuro da Oracle, e no início do ano, quando afirmou : “Juntas, Cerner e Oracle têm toda a tecnologia necessária para construir um novo sistema revolucionário de informações de gerenciamento de saúde em a nuvem."

Saúde mental

Mais de 20% dos adultos americanos sofrem de doença mental, enquanto mais de 2,5 milhões de jovens lutam contra a depressão severa e 800.000 pessoas cometem suicídio a cada ano no mundo devido a doenças mentais. Simultaneamente, há um déficit crescente de profissionais de saúde mental, que é um problema nacional, mas é particularmente grave para menores e adolescentes. De acordo com o Departamento de Saúde e Serviços Humanos dos EUA, espera-se que o país tenha uma escassez de 10.000 profissionais de saúde mental até 2025.

A saúde mental é uma das áreas em que o XR foi mais amplamente pesquisado e provou ser extremamente eficaz como forma de fornecer terapias e tratamentos para condições de saúde mental, como ansiedade, depressão e TEPT. Por exemplo, a terapia de exposição à realidade virtual pode ser usada para ajudar os pacientes a enfrentar e superar seus medos, expondo-os a simulações das coisas das quais têm medo em um ambiente controlado e seguro.

Terapia cognitivo-comportamental (TCC), XR pode ser usado para criar experiências imersivas e meditativas para promover atenção plena, relaxamento e redução do estresse. Por exemplo, ambientes de RV podem simular ambientes naturais pacíficos e relaxantes, como praias, florestas, montanhas ou espaço. Crianças, idosos e outras pessoas que podem passar períodos prolongados em hospitais, etc., estão usando o XR para explorar o mundo e socializar.

Usando XR e teleterapia, os terapeutas podem criar ambientes virtuais que podem simular sessões de terapia presenciais, proporcionando uma experiência mais imersiva e personalizada, reduzindo as inibições do paciente e permitindo até mesmo o uso de lentes AR e avatares para privacidade.

A análise de sentimentos NLP (Natural Language Processing), como a fornecida pelo serviço Oracle AI correspondente, pode interpretar emoções e intenções da comunicação verbal e, com os avanços no reconhecimento facial e na análise de sentimentos faciais, agora é possível detectar com grande precisão os emoções que uma pessoa está sentindo e/ou expressando não-verbalmente (o mesmo vale para rastreamento corporal/gesto). A neurotecnologia e as interfaces neurais em coordenação com o XR agora podem interpretar e fornecer informações sobre a intenção humana e medir a emoção, fornecendo uma visão ainda maior sobre a intenção e a emoção.

E, claro, o mundo está bastante familiarizado com a acessibilidade maior e mais simples de interfaces de IA, como ChatGPT, etc., para facilitar isso. Como no exemplo do raio-X dado anteriormente, eles podem, em algumas situações, fornecer precisão e velocidade maiores e mais consistentes do que um ser humano, mas também podem atuar como tecnologias de assistência para profissionais de saúde. Mais exemplos disso estarão nos próximos blogs.

Pensamentos Adicionais

Forneci algumas ideias e exemplos de como assistência médica e XR podem ser usados juntos e facilitados pela Oracle. Estou ansioso para lançar mais blogs sobre este tópico e outras áreas do XR com Oracle Cloud and Database em breve.

Consulte minhas outras publicações para obter mais informações sobre nuvem e banco de dados XR e Oracle, bem como vários tópicos sobre microsserviços, observabilidade, processamento de transações etc., bem como este blog recente sobre o que é AR . Além disso, sinta-se à vontade para entrar em contato comigo com qualquer dúvida ou sugestão para novos blogs e vídeos, pois estou muito aberto a sugestões. Obrigado por ler e assistir.