Développer XR avec Oracle, Ep 5 Healthcare, Vision AI, Formation/Collaboration et Messagerie

Il s'agit du cinquième article d'une série sur le développement d'applications et d'expériences XR à l'aide d'Oracle et se concentre sur les applications XR de la santé, de l'IA visuelle, de la formation et de la collaboration, et de la messagerie, y compris d'autres sujets tels que le développement multiplateforme, etc.

Retrouvez ci-dessous les liens vers les quatre premiers articles :

Développer XR avec Oracle, Ep 1 : Spatial, AI/ML, Kubernetes et OpenTelemetry
Développer XR avec Oracle, Ep 2 : Graphiques de propriétés et visualisation des données
Développer XR avec Oracle, Ep 3 : IA de vision par ordinateur et ML
Développer XR avec Oracle, Ep 4 : Jumeaux numériques et observabilité

Comme pour les articles précédents, je montrerai spécifiquement les applications développées avec les technologies de base de données et de cloud Oracle utilisant HoloLens 2, Oculus, iPhone et PC et écrites à l'aide de la plate-forme Unity et OpenXR (pour la prise en charge multiplateforme), Apple Swift et WebXR.

Tout au long du blog, je ferai référence à la vidéo de démonstration correspondante ci-dessous.

Réalité étendue (XR) et soins de santé

Je renverrai le lecteur au premier article de cette série (encore une fois, le lien est ci-dessus) pour un aperçu de XR, et je n'irai pas en profondeur dans le vaste éventail de technologies impliquées dans le secteur de la santé, mais je me concentrerai plutôt sur l'activation XR de ces sujets et l'utilisation de la technologie Oracle à cette fin, d'autant plus qu'Oracle se concentre davantage sur ce domaine via l'acquisition de Cerner et d'autres efforts. Il est bien connu que la télésanté a énormément augmenté depuis la pandémie, culminant à 78 fois le taux juste un mois avant la pandémie et se stabilisant encore à 38 fois ce taux.

Ces chiffres et d'autres et leur impact sont bien documentés dans de nombreuses publications, telles que ce rapport McKinsey et le VR/AR Associations Healthcare Forum , qui seront référencés dans cet article. Il suffit d'avoir entendu parler de l' utilisation de XR pour les chirurgies en direct par Johns Hopkins en 2021 pour comprendre dans quelle mesure XR aidera dans cette industrie, et encore une fois, je n'approfondirai pas trop pour essayer de prouver cela, mais continuez à donner quelques exemples et idées impliquant la base de données Oracle et les technologies cloud.

Vision AI et Intelligence contextuelle : analyse et diagnostic en temps réel

Le premier exemple implique l'utilisation du casque de réalité mixte Hololens (bien que d'autres casques/appareils puissent être utilisés) et du service Vision AI d'Oracle. Il ne faut pas trop imaginer que les travailleurs de la santé portent des appareils XR qui leur fournissent des fonctionnalités et des informations supplémentaires (et en effet, beaucoup le sont déjà).

Aujourd'hui, les médecins, les dentistes, etc. croisent constamment un écran d'ordinateur avec un patient pour vérifier les informations et orienter ce qu'ils voient (radiographie, IRM, etc.) et souvent où les lampes frontales, les loupes monoculaires, etc. Les solutions XR dont il est question ici ne sont que des évolutions de cela. Plus de détails sur cette application peuvent être trouvés dans le blog de recherche ici , mais les détails de base de son fonctionnement sont décrits ici.

L'application fonctionnant sur l'Hololens prend des photos avec sa caméra intégrée en utilisant le champ de vision du porteur comme référence et le fait à intervalles réguliers. Cela offre une expérience mains libres qui est, à tout le moins, plus pratique. Pourtant, dans de nombreuses situations, comme dans la salle d'opération, il est nécessaire que les mains des utilisateurs interagissent avec le monde réel (ou XR), ce qui en fait une solution plus optimale. Cela signifie également que le système peut collecter des informations contextuelles dont le praticien peut ne pas avoir connaissance ou auxquelles il n'a pas accès tout en collectant et en traitant rapidement ces informations sans que le praticien ait à l'instruire explicitement, ce qui permet également de gagner du temps. Cela conduit à l'optimisation que fournit la réalité mixte, un sous-produit passionnant de l'immersion.

L'Hololens envoie ensuite ces images à OCI Object Storage via des appels REST sécurisés, où elles peuvent être facilement accessibles directement par le service OCI Vision AI et également stockées et/ou consultées dans la base de données.

Il existe plusieurs approches et architectures différentes qui peuvent être utilisées à partir de ce point pour conduire la logique et les appels aux API Oracle Vision AI pour traiter les images envoyées par le périphérique XR. Par exemple, en ce qui concerne le langage utilisé, les versions initiales ont été écrites à l'aide de l'interface de ligne de commande OCI, Java et Python, une version finale de l'image native Java GraalVM étant utilisée.

De plus, comme l'image native Java GraalM démarre presque instantanément lorsque le service exécute une routine particulière de courte durée, c'est un bon candidat pour une fonction sans serveur. En option, le service de notification OCI peut écouter les modifications du magasin d'objets et appeler également des fonctions sans serveur.

Le service Java reçoit une notification de téléchargement d'image vers le stockage d'objets et effectue une série d'actions comme suit :

1. Effectue un appel d'API de service OCI Vision AI soutenu par un modèle de détection d'objets à rayons X et fournit l'emplacement de l'image envoyée par l'Hololens.
2. Reçoit une réponse du modèle de détection d'objet avec le pourcentage de chance que le rayon X soit dans l'image et les coordonnées de délimitation de celui-ci.
3. Recadre l'image d'origine à l'aide des coordonnées de délimitation.
4. Effectue un autre appel d'API de service OCI Vision AI soutenu par un modèle de classification de rayons X et lui fournit l'image recadrée de la radiographie.
5. Reçoit une réponse du modèle de classification d'images avec un pourcentage de changement de rayons X contenant des signes d'anomalies/pneumonie.
6. L'application Hololens reçoit cette réponse et avertit le porteur par une notification sonore - celle-ci est configurable et peut également être visuelle. Dans le cas de cette application, les informations comprennent l'image de la radiographie recadrée avec ses détails découverts répertoriés et stockés dans un menu virtuel situé sur le poignet et visible par le porteur uniquement. Cette approche empêche l'interruption du porteur bien qu'il soit également possible de superposer les résultats sur la radiographie réelle à partir de laquelle ils ont été dérivés.

Vision AI et XR sont un complément naturel pour les solutions dans un certain nombre de domaines, y compris à la fois les travailleurs de la santé, comme illustré ici, et les personnes atteintes de maladies telles que la maladie de Parkinson, l'autisme, la maladie d'Alzheimer, les déficiences visuelles et auditives, etc. (par exemple, applications/ les solutions qui peuvent être utilisées dans cet espace sont décrites dans ce blog )

Étude des mouvements et des sentiments : analyse en temps réel du suivi du visage et du corps

Aujourd'hui, 95% des établissements de santé assurent la prise en charge et la rééducation à distance. Les technologies XR peuvent être utilisées pour aider les patients à mieux comprendre leurs conditions et les options de traitement. Cela peut aider les patients à se sentir plus informés et plus autonomes dans leurs décisions en matière de soins de santé.

L'exemple suivant a été mis en œuvre à l'aide de l'iPhone et de Swift à l'aide du RealityKit d'Apple pour les mouvements de suivi du corps. Les coordonnées articulaires d'un mouvement de modèle sont enregistrées et envoyées à la base de données Oracle via des appels Rest à ORDS. Une personne (qu'il s'agisse d'un patient, d'un athlète, etc.) utilisant l'application tente d'effectuer le même mouvement, et ses coordonnées articulaires sont comparées à celles du mouvement modèle stocké dans la base de données. Si l'écart/delta autorisé des mouvements est dépassé, les articulations et les os correspondants sont affichés en rouge plutôt qu'en vert.

Ce retour est donné en temps réel pour mesurer les progrès (par exemple, après une coiffe des rotateurs ou une autre intervention chirurgicale) et/ou pour permettre à l'utilisateur de modifier son mouvement en fonction du modèle de contrôle ainsi que de travailler l'équilibre et la coordination. Ces mouvements peuvent, à leur tour, être analysés (plus d'informations sur XR et Oracle Analytics dans un prochain blog), rejoués, manipulés pour réaliser des simulations, etc. Ces cas d'utilisation s'étendent bien sûr aux secteurs du sport, du divertissement, etc. Bien.

Jumeaux numériques + doubles et messagerie multijoueur/participant : formation et collaboration

Une étude récente rapportée par Unity montre qu'environ 94 % des entreprises utilisant la technologie 3D en temps réel la trouvent utile pour la formation du personnel et l'utilisent pour créer des expériences d'apprentissage guidées interactives. Cela s'applique à tous les secteurs, y compris la fabrication, les transports, la santé, la vente au détail et bien d'autres, et certaines tendances dans le domaine (dont beaucoup coïncident avec ce qui est montré dans ce blog) sont discutées ici .

Les technologies XR peuvent être utilisées pour créer des simulations réalistes de scénarios médicaux, permettant aux professionnels de la santé de pratiquer des procédures et des techniques dans un environnement sûr et contrôlé. Par exemple, les étudiants en médecine et les chirurgiens peuvent utiliser des simulations XR pour pratiquer des chirurgies avec des sensations tactiles donnant le retour d'une intervention chirurgicale réelle, et les infirmières peuvent utiliser des simulations AR pour s'entraîner à administrer des médicaments. Cela peut aider les professionnels de la santé à acquérir une expérience précieuse sans risquer la sécurité des patients.

En plus de l'enseignement, XR offre une capacité unique de collaboration entre des individus dans différents endroits et spécialités, créant un espace virtuel partagé où plusieurs utilisateurs peuvent interagir entre eux et avec des objets virtuels. Il existe plusieurs techniques et options logicielles différentes disponibles pour créer une formation et une collaboration multijoueur/participant XR, y compris le logiciel de conférence XR et les métaverses, Photon et d'autres similaires, Rest, WebSockets et différents types de messagerie.

Les logiciels et plateformes de conférence XR, comme Alakazam, sont de plus en plus populaires et permettent à plusieurs utilisateurs de participer à des réunions virtuelles, des événements, des sessions de formation, etc.

Photon est une plate-forme qui permet aux développeurs de créer des jeux et des applications multijoueurs à l'aide d'Unity, d'Unreal Engine et d'autres moteurs de jeu. Elle peut facilement être installée et tirer parti du calcul Oracle Cloud (y compris le GPU NVIDIA ). C'est peut-être la plus célèbre de ces plateformes, mais il y en a d'autres.

Les WebSockets sont un protocole de communication en temps réel entre les clients Web et les serveurs et peuvent être une méthode plus rapide et plus efficace pour de tels cas d'utilisation que Rest bien que les appels Rest soient une option simple et viable dans de nombreux cas également, et plus d'API sont disponibles via Reste en général que l'une des autres méthodes.

La messagerie est une autre technique qui peut être utilisée pour créer des expériences de formation et de collaboration XR. Des systèmes tels que Kafka et JMS ont à la fois pub/sub (sujets multi-consommateurs) et producteur/consommateur (sujets mono-consommateur) et sont très flexibles pour différents besoins de formation et de collaboration.

Dans l'application de formation présentée dans la vidéo, j'ai utilisé un certain nombre des techniques ci-dessus, mais je me suis concentré sur l'utilisation du moteur de messagerie TxEventQ d'Oracle (anciennement appelé AQ). Il s'agit d'une offre très puissante et unique pour un certain nombre de raisons, l'une des principales étant sa capacité à effectuer des travaux de base de données et de messagerie dans la même transaction locale. Ceci est unique et parfaitement adapté aux microservices car il fournit un modèle de boîte d'envoi de transaction et également une livraison de message exactement une fois afin qu'il n'y ait aucune perte de message et que le développeur n'ait pas besoin d'écrire une logique de déduplication.

Cela peut ne pas être nécessaire pour les jeux conventionnels ou le streaming de films, mais c'est un must pour les systèmes critiques et fournit des aspects extrêmement intéressants et uniques pour XR où la possibilité de stocker de manière fiable un objet partagé (3D) (en particulier ceux qui sont dynamiques ou créés via l'IA générative, par exemple) et les interactions/messages qui en ont été faits par divers participants est un outil très puissant.

C'est précisément ce qui se fait dans l'application montrée dans la vidéo. La session collaborative n'est pas seulement enregistrée en 3D pour être visionnée sous forme de vidéo, mais les objets réels et leurs interactions par les participants sont enregistrés dans la base de données et disponibles pour la lecture afin qu'ils puissent être interceptés et manipulés ultérieurement. Cela permet de faire un apprentissage plus approfondi et d'exécuter d'autres modèles (IA ou autres), des simulations, des scénarios, etc., en ajustant les objets et les interactions comme/avec des playbooks.

Avec le développement de technologies plus avancées et d'appareils plus puissants, la formation XR deviendra plus répandue dans un avenir proche, rendant l'expérience de formation plus immersive et interactive.

Une autre petite note est que l'application dans la vidéo a des travailleurs de la santé dans des captures vidéo volumétriques 3D complètes réalisées de manière professionnelle dans un studio, mais aussi une simple vidéo 2D avec le canal alpha à écran vert supprimé via un shader Unity fournissant un holographique similaire effet avec un minimum d'effort (la qualité pourrait être meilleure avec plus d'effort pour l'éclairage, etc.). Un écran vert virtuel Zoom pourrait être utilisé à cette fin ainsi que des actifs gratuits avec animation réalisée dans Blender. Unity, Zoom et Blender sont tous gratuits et utilisent la base de données autonome toujours gratuite d'Oracle, ce qui rend la création de la solution très accessible en ce qui concerne les coûts des logiciels et du cloud.

Écosystème de données : télésanté et centres de santé virtuels

Un centre de santé virtuel ou un hôpital est un établissement de santé qui fournit des services médicaux via des canaux numériques tels que la vidéoconférence, le chat en ligne, la surveillance à distance et, de plus en plus, les technologies XR. Ces outils numériques permettent aux patients d'accéder aux services de santé depuis le confort de leur domicile ou dans des endroits éloignés sans avoir à se rendre physiquement dans un hôpital ou une clinique.

Le concept de centre de santé virtuel devient de plus en plus populaire en raison de la demande croissante de services de télémédecine, en particulier à la suite de la pandémie de COVID-19. Un centre de santé virtuel peut fournir une large gamme de services médicaux tels que les soins primaires, les consultations spécialisées, les tests de diagnostic et les renouvellements d'ordonnances et offre commodité et flexibilité aux patients qui peuvent accéder aux services médicaux de n'importe où et à tout moment.

Cela peut être particulièrement bénéfique pour les patients ayant des problèmes de mobilité, ceux qui vivent dans des zones rurales ou les patients qui ont besoin de consulter un spécialiste qui n'est pas disponible dans leur région. Cela peut également réduire les coûts de santé pour les patients et les prestataires de soins de santé. En utilisant les consultations et la surveillance à distance, les prestataires de soins de santé peuvent réduire le besoin de consultations en personne et de séjours hospitaliers coûteux. Les patients peuvent également économiser de l'argent sur les frais de transport et les congés du travail.

Un centre de santé virtuel peut améliorer la qualité des soins aux patients. Grâce à la surveillance à distance, les patients peuvent recevoir des soins personnalisés et continus, avec des prestataires de soins capables de surveiller leur santé en temps réel et d'intervenir rapidement si nécessaire. Cela peut entraîner de meilleurs résultats pour la santé et une réduction des réadmissions à l'hôpital.

Cependant, la mise en œuvre de centres de santé virtuels présente également certains défis. Il s'agit notamment des problèmes de confidentialité et de sécurité des données, ainsi que de la nécessité d'un accès adéquat à Internet et de la culture numérique chez les patients. De plus, certains patients peuvent toujours préférer les soins traditionnels en personne et, bien que leur nombre diminue, il existe des limites aux services médicaux pouvant être fournis à distance. Le concept d'un centre de santé virtuel a le potentiel de révolutionner la façon dont les soins de santé sont dispensés, avec des avantages tant pour les patients que pour les prestataires de soins de santé. Cependant, une réflexion et une planification minutieuses sont nécessaires pour garantir que la mise en œuvre des centres de santé virtuels est sûre, efficace et équitable pour tous les patients.

Oracle, avec son acquisition de Cerner et sa concentration accrue sur l'avenir des soins de santé, est dans une position unique pour faciliter ces solutions XR grâce à sa capacité à « fournir de meilleures informations sur la santé et des expériences centrées sur l'humain pour les patients, les fournisseurs , les payeurs et le public. Oracle Health offre les solutions de soins de santé les plus sécurisées et les plus fiables, qui relient les données cliniques, opérationnelles et financières pour améliorer les soins et faire avancer la prise de décision en matière de santé et de bien-être. ( page Oracle Health ). Larry Ellison l'a clairement indiqué lors de sa présentation Oracle OpenWorld, où les soins de santé étaient la priorité pour l'avenir d'Oracle, et plus tôt dans l'année lorsqu'il a déclaré : « Ensemble, Cerner et Oracle disposent de toute la technologie nécessaire pour créer un nouveau système révolutionnaire d'information sur la gestion de la santé dans le nuage."

Santé mentale

Plus de 20 % des adultes américains souffrent de maladie mentale, tandis que plus de 2,5 millions de jeunes souffrent de dépression grave et que 800 000 personnes se suicident chaque année dans le monde en raison d'une maladie mentale. Simultanément, il y a un déficit croissant de professionnels de la santé mentale, qui est un problème national mais qui est particulièrement grave pour les mineurs et les adolescents. Selon le département américain de la Santé et des Services sociaux, le pays devrait manquer de 10 000 professionnels de la santé mentale d'ici 2025.

La santé mentale est l'un des domaines où la XR a été la plus étudiée et s'est avérée extrêmement efficace comme moyen de fournir des thérapies et des traitements pour les problèmes de santé mentale tels que l'anxiété, la dépression et le SSPT. Par exemple, la thérapie d'exposition VR peut être utilisée pour aider les patients à affronter et à surmonter leurs peurs en les exposant à des simulations des choses dont ils ont peur dans un environnement contrôlé et sûr.

La thérapie cognitivo-comportementale (TCC), XR peut être utilisée pour créer des expériences immersives et méditatives pour promouvoir la pleine conscience, la relaxation et la réduction du stress. Par exemple, les environnements VR peuvent simuler des environnements naturels paisibles et apaisants, tels que des plages, des forêts, des montagnes ou l'espace. Les enfants, les personnes âgées et d'autres personnes qui peuvent passer de longues périodes dans les hôpitaux, etc., utilisent XR pour explorer le monde et socialiser.

En utilisant XR et la téléthérapie, les thérapeutes peuvent créer des environnements virtuels capables de simuler des séances de thérapie en personne, offrant une expérience plus immersive et personnalisée tout en réduisant les inhibitions du patient et même en permettant l'utilisation de lentilles AR et d'avatars pour plus d'intimité.

L'analyse des sentiments NLP (Natural Language Processing), telle que celle fournie par le service Oracle AI correspondant, peut interpréter les émotions et l'intention de la communication verbale, et avec les progrès de la reconnaissance faciale et de l'analyse des sentiments faciaux, il est désormais possible avec une grande précision de détecter le émotions qu'une personne ressent et/ou exprime de manière non verbale (il en va de même pour le suivi du corps/des gestes). La neurotechnologie et les interfaces neuronales en coordination avec XR peuvent désormais interpréter et donner un aperçu de l'intention humaine et mesurer l'émotion, offrant ainsi une meilleure compréhension de l'intention et de l'émotion.

Et, bien sûr, le monde connaît bien l'accessibilité plus grande et plus simple des interfaces d'IA telles que ChatGPT, etc., pour faciliter cela. Comme dans l'exemple des rayons X donné précédemment, ceux-ci peuvent, dans certaines situations, fournir une précision et une vitesse supérieures et plus constantes qu'un humain, mais peuvent également servir de technologies d'assistance pour les travailleurs de la santé. Plus d'exemples de cela seront dans les blogs à venir.

Pensées supplémentaires

J'ai donné quelques idées et exemples sur la façon dont les soins de santé et XR peuvent être utilisés ensemble et facilités par Oracle. J'ai hâte de publier bientôt plus de blogs sur ce sujet et d'autres domaines de XR avec Oracle Cloud et Database.

Veuillez consulter mes autres publications pour plus d'informations sur le cloud et la base de données XR et Oracle, ainsi que sur divers sujets concernant les microservices, l'observabilité, le traitement des transactions, etc., ainsi que ce blog récent sur ce qu'est AR . N'hésitez pas non plus à me contacter pour toute question ou suggestion de nouveaux blogs et vidéos, car je suis très ouvert aux suggestions. Merci d'avoir lu et regardé.