Développer XR avec Oracle, Ep 4 : Santé, jumeaux numériques, observabilité et métaverse

Dans ce quatrième article de la série, je me concentre sur les applications XR de la santé, les jumeaux numériques, l'IoT, l'observabilité et son utilisation connexe dans le métaverse.

Il s'agit du quatrième article d'une série sur le développement d'applications et d'expériences XR à l'aide d'Oracle et se concentre sur les applications XR de la vision par ordinateur AI et ML et son utilisation connexe dans le métaverse. Retrouvez ci-dessous les liens vers les deux premiers articles :

• Développer XR avec Oracle, Ep 1 : Spatial, AI/ML, Kubernetes et OpenTelemetry
• Développer XR avec Oracle, Ep 2 : Graphiques de propriétés, visualisation de données et métaverse
• Développer XR avec Oracle, Ep 3 : IA, ML et métaverse pour la vision par ordinateur

Comme pour les articles précédents, je montrerai à nouveau ici spécifiquement les applications développées avec les technologies de base de données et de cloud Oracle, HoloLens 2, Mixed Reality Toolkit et la plate-forme Unity.

Tout au long du blog, je ferai référence à cette vidéo de démonstration correspondante :

Réalité étendue (XR), métaverse et HoloLens

Je renverrai le lecteur au premier article de cette série pour un aperçu de XR et HoloLens (lien ci-dessus). Ce poste était basé sur un atelier de microservices axé sur les données et a démontré un certain nombre d'aspects qui seront présents dans le métaverse, tels que les achats en ligne, en interagissant avec des modèles 3D d'aliments/produits, des cartes 3D/spatiales du monde réel, etc. , ainsi que DevOps backend (traçage Kubernetes et OpenTelemetry), etc.

Le deuxième article de la série était basé sur un certain nombre d'ateliers de graphes et démontrait la visualisation, la création et la manipulation de modèles, de cahiers, de mises en page et de faits saillants pour l'analyse de graphes de propriétés utilisés dans les graphes sociaux, les réseaux de neurones et le secteur financier (par exemple, détection du blanchiment d'argent).

Le troisième article de la série a utilisé l'IA de vision par ordinateur pour détecter, étiqueter et prononcer des images dans une pièce et pour extraire du texte de la même pièce afin de fournir diverses informations contextuelles, etc. en fonction de l'environnement. celui-ci, le sujet peut être partagé et activement collaboré, même en temps réel, à distance. Ces types de capacités sont la clé du concept de métaverse et seront développés et étendus dans ces futures pièces.

Ce blog n'entrera pas dans les jumeaux numériques en profondeur, mais se concentrera plutôt sur l'activation XR de ces sujets et l'utilisation de la technologie Oracle à cette fin.

Jumeaux numériques

Il existe un certain nombre de définitions nuancées disponibles, mais en général, "un jumeau numérique est une représentation virtuelle d'un objet ou d'un système qui couvre son cycle de vie, est mis à jour à partir de données en temps réel et utilise la simulation, l'apprentissage automatique et le raisonnement pour aider à la décision -fabrication." et un double numérique renvoie généralement spécifiquement à des représentations d'êtres humains. Les données en temps réel sont souvent collectées à partir de capteurs et, par conséquent, les architectures IoT, etc. sont souvent utilisées dans le processus, bien qu'il existe de nombreux types de sources et de techniques pouvant être utilisées.

Il existe pas mal de matériel sur les jumeaux numériques et je serai donc bref sur ce sujet, mais son potentiel d'innovation, de collaboration, d'immersion, etc. dans XR et le métaverse est vraiment illimité et très excitant. Il existe une infinité d'exemples dans tant de secteurs. Ici, je n'aborderai que la santé (en tant que représentation de l'espace plus large de la santé, des sports, des soins de santé, etc.) et le domicile (en tant que représentation de l'espace plus large de l'AEC).

Santé et soins de santé

La santé et les soins de santé sont actuellement et de plus en plus des domaines où l'innovation XR a réalisé certaines de ses plus grandes avancées. La télémédecine et la télésanté de sociétés telles qu'Amwell, etc. fournissent déjà des solutions de santé numériques complètes pour les systèmes de santé, les plans de santé, les employeurs et les médecins et ont déjà fait d'énormes progrès, en particulier dans la nécessité provoquée par les pandémies, etc. et cela continuera certainement être amélioré avec XR pour fournir un accès dans des lieux, des conditions et des domaines de spécialisation auparavant inaccessibles. De plus, XR est utilisé pour la formation et l'éducation dans le secteur de la santé depuis un certain temps maintenant et le HoloLens, en particulier, est maintenant utilisé dans les chirurgies en direct. Utilisées conjointement avec l'IA de vision par ordinateur, l'analyse prédictive, etc., l'efficacité et la qualité du traitement feront des bonds en avant dans un avenir proche. Je montrerai un exemple de cela dans un prochain blog de cette série et avec la fusion d'Oracle et de Cerner, vous pouvez vous attendre à voir de nouvelles synergies et avancées dans ce domaine.

Bien qu'évidemment directement lié, l'exemple de ce blog se concentre directement sur la santé individuelle elle-même et sur une représentation numérique jumelle/double d'un patient/humain faisant de l'exercice. Il existe de nombreuses saveurs de technologie et de vêtements portables pour le fitness et autres, qui sont parfaitement adaptés à cette fin.

Je me suis concentré sur l'Apple Watch et son API HealthKit pour mon développement car il fournit une quantité étonnante d'informations , y compris l'activité (activeEnergyBurned, swimmingStrokeCount, vo2Max, ...), la mesure corporelle (bodyFatPercentage, ...), la santé reproductive (basalBodyTemperature ), l'ouïe (exposition audio environnementale), les signes vitaux (fréquence cardiaque, pression artérielle), les résultats de laboratoire et de test (glycémie), la nutrition (cholestérol alimentaire), la consommation d'alcool, la mobilité, l'exposition aux UV, etc. Ces informations sont disponibles en plus d'autres informations de la montre et ses applications collectent et fournissent comme la météo, le GPS, etc.

La démonstration présentée dans la vidéo implique un coureur portant une montre avec une application qui envoie en continu toutes les métriques sélectionnées à la base de données Oracle. Les métriques envoyées peuvent être configurées soit au niveau de la montre, soit au niveau de la base de données elle-même, ce qui rend l'application très dynamique.

Dans ce cas, l'emplacement GeoJSON/GPS, la fréquence cardiaque, la cadence, les calories brûlées, l'altitude et la température sont envoyés. Cela peut être fait de diverses manières générales à l'aide de MQTT (par exemple, un maillage de pont/événement de Mosquitto vers le système de messagerie Oracle AQ/TEQ peut être utilisé pour tirer parti des fonctionnalités là-bas) ou, dans ce cas, Rest.

Le HoloLens reçoit à son tour ces informations de la base de données et trace un humain debout, marchant ou courant (en fonction de la distance de localisation/du changement dans le temps) sur la position GPS appropriée sur une carte. La direction et la rotation de l'animation humaine sont déterminées par l'historique/le changement des coordonnées GeoJSON reçues, l'éclairage déterminé par les statistiques météorologiques reçues, etc. L'animation humaine est divisée le long du plan sagittal médian avec des systèmes squelettiques, musculaires, etc. exposées pour étiquetage/suivi au cas où des données biométriques spécifiques dans ces zones souhaiteraient être étiquetées, mesurées et analysées.

Simultanément, un exportateur d'observabilité unifié reçoit ces informations de la base de données et fournit les métriques, etc. au format Prometheus pour l'affichage et la surveillance dans une console Grafana. Vous pouvez en savoir plus sur le cadre d'observabilité unifiée d'Oracle ici et plus en détail dans un blog qui sera publié très prochainement ici .

Oracle est appelé base de données convergée car il prend en charge tous les types/formats de données (ainsi que les charges de travail, la messagerie, etc.) dans une seule base de données. Ceci est illustré ici par le fait que diverses statistiques peuvent être stockées au format relationnel, les emplacements GPS au format (Geo)JSON et MapMyRun/TCX ou Stava/GPX au format XML.

Cela permet la compatibilité, les requêtes de type de données croisées, les opérations, etc. De cette façon, l'activité/l'exécution peut être lue et analysée ultérieurement. Il existe un certain nombre de percées dans le domaine du fitness et des sports (santé et divertissement) rendues possibles par XR qui dépassent le cadre de cet article.

Maison, architecture, ingénierie et construction

La première et la plus importante industrie à mettre en œuvre l'utilisation de XR est probablement celle de l'architecture, de l'ingénierie et de la construction (AEC) et, dans une mesure connexe, de la maison. Tout, de l'agencement de meubles virtuels dans une maison à l'orchestration de chantiers et de processus de construction extrêmement complexes tels que ceux fournis par Aconex d'Oracle.

La démonstration montrée dans la vidéo implique une représentation simple de quelques concepts clés. Le HoloLens présente une visualisation 3D de la maison. La visualisation peut facilement être générée rapidement par un certain nombre de technologies existantes telles que le support Lidar sur les téléphones plus récents, cependant, dans ce cas, j'utilise simplement un modèle de la maison bien que j'inclue un scan photogrammétrique d'un tambour de la maison dans le modèle. (Cela a été fait de manière statique, cependant, les scans photogrammétriques dynamiques/en temps réel, Lidar, etc. deviennent de plus en plus réalisables pour la génération de jumeaux numériques au fil du temps et un futur blog le démontrera.).

La lumière du monde réel dans la maison envoie en continu son statut de couleur (via MQTT) que l'HoloLens reçoit et utilise à son tour pour définir la couleur de sa lumière jumelle virtuelle/numérique. Inversement, lorsqu'un bouton de couleur double virtuel/numérique dans l'application HoloLens est enfoncé, la commande de couleur est envoyée (cette fois sur Rest bien qu'il puisse également s'agir de MQTT) et la lumière du monde réel passe à la couleur sélectionnée. Comme ces changements sont stockés dans la base de données, le jumeau numérique de la maison peut être surveillé et contrôlé de n'importe où avec une connexion Internet.

De plus, une caméra de sécurité faisant face à l'extérieur de la maison diffuse la vidéo qu'elle capture (une façon possible de le faire est de diffuser une caméra Pi sur le cloud Oracle ou d'utiliser le streaming vidéo avec les nouveaux services de médias numériques OCI d'Oracle) que le Hololens reçoit et s'affiche dans le modèle de jumeau numérique et ainsi l'utilisateur peut également voir les caméras de sécurité pour recréer une représentation/modèle réaliste en direct de la maison depuis n'importe quel endroit.

L'application Hololens peut également superposer l'alimentation de la caméra sur le mur intérieur réel/réel correspondant à l'emplacement de la caméra sur le mur extérieur, créant ainsi un effet transparent des murs.

Enfin, les jumeaux numériques peuvent être des représentations d'objets et d'emplacements réels du monde ou des représentations d'un processus ou d'un concept ou les deux. Ainsi, dans cet exemple, nous remplaçons davantage la fenêtre par une fenêtre donnant sur le canal de Venise, un trou d'eau dans le désert de Nairobi, etc. . via flux en direct. Encore un autre exemple classique de réalité mixte.

Autres secteurs

D'autres exemples de secteurs développant davantage de jumeaux numériques et de doubles numériques dans l'espace XR incluent la fintech avec, par exemple, des assistants numériques avancés, des capteurs dans les voitures pour l'assurance, etc., des systèmes d'information géographique pour les industries minières et autres, des hologrammes et de la photogrammétrie pour diverses réunions et des conférences et des capteurs et analyses avancés tels que le passionnant projet de collaboration F1 Redbull d'Oracle ne sont que quelques exemples.

Réflexions supplémentaires

J'ai donné quelques idées et exemples sur la façon dont les doubles numériques et XR peuvent être utilisés ensemble et facilités par Oracle. J'ai hâte de publier bientôt plus de blogs sur ce sujet et d'autres domaines de XR avec Oracle Cloud et Database.

Veuillez consulter les articles que je publie ici et ici pour plus d'informations sur le cloud XR et Oracle et la base de données convergée ainsi que sur divers sujets concernant les microservices, l'observabilité, le traitement des transactions, etc. N'hésitez pas également à me contacter pour toute question ou suggestion de nouveau blogs et vidéos car je suis très ouvert aux suggestions. Merci d'avoir lu et regardé.