Bu, Oracle kullanarak XR uygulamaları ve deneyimleri geliştirmeye yönelik bir serinin beşinci parçasıdır ve çoklu platform geliştirme vb. gibi diğer konular da dahil olmak üzere sağlık hizmetleri, vizyon yapay zekası, eğitim ve işbirliği ve mesajlaşmanın XR uygulamalarına odaklanır.
İlk dört makalenin bağlantılarını aşağıda bulabilirsiniz:
Oracle, Ep 1: Spatial, AI/ML, Kubernetes ve OpenTelemetry ile XR Geliştirin
Oracle ile XR Geliştirin, Ep 2: Özellik Grafikleri ve Veri Görselleştirme
Oracle, Ep 3: Görüntü İşleme Yapay Zekası ve ML ile XR Geliştirin
XR'yi Oracle ile Geliştirin, Bölüm 4: Dijital İkizler ve Gözlemlenebilirlik
Önceki yazılarda olduğu gibi özellikle HoloLens 2, Oculus, iPhone ve PC kullanılarak Oracle veritabanı ve bulut teknolojileri ile geliştirilen ve Unity platformu ve OpenXR (çoklu platform desteği için), Apple Swift ve WebXR kullanılarak yazılan uygulamaları göstereceğim.
Blog boyunca aşağıdaki ilgili demo videoya başvuracağım.
XR'ye genel bir bakış için okuyucuyu bu serideki ilk makaleye yönlendireceğim (bağlantı yine yukarıdadır) ve sağlık sektörüyle ilgili geniş teknoloji yelpazesine derinlemesine girmeyeceğim, bunun yerine şunlara odaklanacağım: Bu konuların XR ile etkinleştirilmesi ve Oracle teknolojisinin bu amaçla kullanılması, özellikle de Oracle'ın Cerner'in satın alınması ve diğer girişimler yoluyla bu alana daha fazla odaklanması nedeniyle. Telesağlığın pandemiden bu yana muazzam bir şekilde büyüdüğü, pandemiden sadece bir ay önce bu oranın 78 katına ulaştığı ve hatta şu anda bile bu oranın 38 katına ulaştığı iyi biliniyor.
Bunlar ve diğer rakamlar ve etkileri, bu makalede referans verilecek olan bu McKinsey raporu ve VR/AR Dernekleri Sağlık Forumu gibi çok sayıda yayında ayrıntılı bir şekilde belgelenmiştir. XR'nin bu sektöre ne ölçüde yardımcı olacağını anlamak için 2021'de Johns Hopkins'in canlı ameliyatlarda XR'yi kullandığını duymuş olmanız yeterli. Bu nedenle, bunu kanıtlamaya çalışmak için çok fazla derinlemesine araştırma yapmayacağım, ancak Oracle veritabanı ve bulut teknolojilerini içeren bazı örnekler ve fikirler vermeye devam edin.
İlk örnek, Hololens karma gerçeklik kulaklığının (diğer kulaklıklar/cihazlar da kullanılabilir) ve Oracle'ın Vision AI hizmetinin kullanımını içerir. Sağlık çalışanlarının kendilerine ek işlevsellik ve bilgi sağlayan XR cihazları taktığını düşünmek çok fazla hayal gücü olmasa gerek (aslında çoğu zaten öyle).
Günümüzde doktorlar, diş hekimleri vb. bilgileri kontrol etmek ve gördüklerini yönlendirmek için (röntgen, MRI vb.) ve sıklıkla başa takılan ışıkların, monoküler büyüteçlerin vb. nerede olduğunu kontrol etmek için sürekli olarak bir bilgisayar ekranı ile bir hasta arasında çapraz referans oluşturur. Burada tartışılan XR çözümleri bunun sadece evrimidir. Bu uygulama hakkında daha fazla ayrıntıyı buradaki araştırma blogunda bulabilirsiniz, ancak nasıl çalıştığına ilişkin temel ayrıntılar burada açıklanmaktadır.
Hololens üzerinde çalışan uygulama, yerleşik kamerasıyla kullanıcının görüş alanını referans alarak belirli aralıklarla fotoğraf çekiyor. Bu, en azından daha kullanışlı bir eller serbest deneyimi sağlar. Yine de ameliyathane gibi birçok durumda kullanıcıların ellerinin gerçek (veya XR) dünyayla etkileşime girmesi gerekiyor, bu da onu daha ideal bir çözüm haline getiriyor. Bu aynı zamanda sistemin, uygulayıcının farkında olmadığı veya erişemediği bağlamsal bilgileri alıp, uygulayıcının açıkça talimat vermesine gerek kalmadan bu tür bilgileri hızlı bir şekilde toplayıp işleyebileceği ve böylece zamandan da tasarruf edebileceği anlamına gelir. Bu, sürüklemenin heyecan verici bir yan ürünü olan karma gerçekliğin sağladığı optimizasyona yol açar.
Hololens daha sonra bu resimleri güvenli REST çağrıları aracılığıyla OCI Nesne Depolama Alanına gönderir ; burada bunlara OCI Vision AI Hizmeti tarafından doğrudan kolayca erişilebilir ve ayrıca veritabanında depolanır ve/veya erişilebilir.
XR cihazı tarafından gönderilen görüntülerin işlenmesi için Oracle Vision AI API'lerine yönelik mantığı ve çağrıları yürütmek üzere bu noktadan itibaren kullanılabilecek birkaç farklı yaklaşım ve mimari bulunmaktadır. Örneğin, kullanılan dil açısından, ilk sürümler OCI CLI, Java ve Python kullanılarak yazılmıştır ve son Java GraalVM yerel görüntü sürümü kullanılmıştır.
Ayrıca, Java GraalM yerel görüntüsü, hizmet belirli bir kısa ömürlü rutini yürüttüğünde neredeyse anında başladığından, sunucusuz bir işlev için iyi bir adaydır. İsteğe bağlı olarak OCI Bildirim Hizmeti, Nesne Deposu değişikliklerini dinleyebilir ve sunucusuz işlevleri de çağırabilir.
Vision AI ve XR, burada gösterildiği gibi hem sağlık çalışanları hem de Parkinson, otizm, Alzheimer, görme ve işitme bozukluğu vb. rahatsızlıkları olan kişiler de dahil olmak üzere çeşitli alanlardaki çözümler için doğal bir eşleşmedir (örn. uygulamalar/ bu alanda kullanılabilecek çözümler bu blogda anlatılmaktadır)
Bugün sağlık tesislerinin %95'i uzaktan tedavi ve rehabilitasyon hizmeti sunmaktadır. XR teknolojileri, hastaların durumlarını ve tedavi seçeneklerini daha iyi anlamalarına yardımcı olmak için kullanılabilir. Bu, hastaların sağlıkla ilgili kararlarında kendilerini daha bilgili ve güçlü hissetmelerine yardımcı olabilir.
Bir sonraki örnek, vücut izleme hareketleri için Apple'ın RealityKit'i kullanılarak iPhone ve Swift kullanılarak uygulandı. Bir model hareketinin ortak koordinatları kaydedilir ve ORDS'e yapılan Rest çağrıları aracılığıyla Oracle veritabanına gönderilir. Uygulamayı kullanan kişi (hasta, sporcu vb.) aynı hareketi yapmaya çalışır ve eklem koordinatları, veri tabanında kayıtlı model hareketin koordinatları ile karşılaştırılır. Hareketlerin izin verilen sapması/deltası aşılırsa ilgili eklemler ve kemikler yeşil yerine kırmızıyla gösterilir.
Bu geri bildirim, ilerlemeyi ölçmek (örneğin rotator manşet veya başka bir ameliyattan sonra) ve/veya kullanıcının hareketlerini kontrol modeline uyacak şekilde değiştirmesine ve ayrıca denge ve koordinasyon üzerinde çalışmasına olanak sağlamak için gerçek zamanlı olarak verilir. Bu hareketler sırasıyla analiz edilebilir (XR ve Oracle Analitik hakkında daha fazla bilgi gelecek bir blogda bulunabilir), tekrar oynatılabilir, simülasyonlar gerçekleştirmek için değiştirilebilir, vb. Bu kullanım örnekleri elbette spor, eğlence vb. sektörlere kadar uzanır. Peki.
Unity tarafından yakın zamanda bildirilen bir araştırma, gerçek zamanlı 3D teknolojisini kullanan şirketlerin yaklaşık %94'ünün bunu personel eğitimi için değerli bulduğunu ve etkileşimli rehberli öğrenme deneyimleri oluşturmak için kullandığını gösteriyor. Bu, imalat, ulaşım, sağlık hizmetleri, perakende ve daha birçok sektör dahil olmak üzere sektörler için geçerlidir ve bölgedeki bazı trendler (birçoğu bu blogda gösterilenlerle örtüşmektedir) burada tartışılmaktadır.
XR teknolojileri, tıbbi senaryoların gerçekçi simülasyonlarını oluşturmak için kullanılabilir ve sağlık profesyonellerinin prosedür ve teknikleri güvenli ve kontrollü bir ortamda uygulamalarına olanak tanır. Örneğin, tıp öğrencileri ve cerrahlar, gerçek ameliyatın geri bildirimini veren dokunsal duyularla ameliyatlar yapmak için XR simülasyonlarını kullanabilir ve hemşireler, ilaç uygulama pratiği yapmak için AR simülasyonlarını kullanabilir. Bu, sağlık çalışanlarının hasta güvenliğini riske atmadan değerli deneyimler kazanmasına yardımcı olabilir.
XR, öğretmeye ek olarak, farklı konumlardaki ve uzmanlık alanlarındaki bireyler arasında benzersiz bir işbirliği yeteneği sağlayarak, birden fazla kullanıcının birbirleriyle ve sanal nesnelerle etkileşime girebileceği ortak bir sanal alan yaratır. XR çok oyunculu/katılımcı eğitimi ve işbirliği oluşturmak için XR konferans yazılımı ve meta veri dizileri, Photon ve bunun gibi diğerleri, Rest, WebSockets ve farklı mesajlaşma türleri dahil olmak üzere birçok farklı teknik ve yazılım seçeneği mevcuttur.
Alakazam gibi XR konferans yazılımı ve platformları giderek daha popüler hale geliyor ve birden fazla kullanıcının sanal toplantılara, etkinliklere, eğitim oturumlarına vb. katılmasına olanak tanıyor.
Photon, geliştiricilerin Unity, Unreal Engine ve diğer oyun motorlarını kullanarak çok oyunculu oyunlar ve uygulamalar oluşturmasına olanak tanıyan ve Oracle Cloud bilgi işlem ( NVIDIA GPU dahil) üzerine kolayca kurulabilen ve bundan yararlanabilen bir platformdur. Belki de bu tür platformların en ünlüsüdür, ancak başkaları da var.
WebSockets, web istemcileri ve sunucuları arasında gerçek zamanlı iletişim için bir protokoldür ve bu tür kullanım durumları için Rest'ten daha hızlı ve daha verimli bir yöntem olabilir, ancak Rest çağrıları da birçok durumda basit, uygulanabilir bir seçenektir ve WebSockets aracılığıyla daha fazla API kullanılabilir. Genel olarak diğer yöntemlere göre dinlenin.
Mesajlaşma, XR eğitimi ve işbirliği deneyimleri oluşturmak için kullanılabilecek başka bir tekniktir. Kafka ve JMS gibi sistemler hem pub/sub (çok tüketicili konular) hem de üretici/tüketici (tek tüketicili konular) içerir ve farklı eğitim ve işbirliği ihtiyaçları için oldukça esnektir.
Videoda gösterilen eğitim uygulamasında yukarıdaki tekniklerin bir kısmını kullandım ancak Oracle'ın TxEventQ mesajlaşma motorunu (eski adıyla AQ) kullanmaya odaklandım. Bu, birçok nedenden dolayı çok güçlü ve benzersiz bir tekliftir; bunlardan en önemlilerinden biri, veritabanı çalışmasını ve mesajlaşma işini aynı yerel işlemde yürütebilme yeteneğidir. Bu benzersizdir ve mikro hizmetler için mükemmel bir şekilde uygundur, çünkü bir işlem giden kutusu modeli ve aynı zamanda tam olarak bir kez mesaj teslimi sağlar, böylece mesaj kaybı olmaz ve geliştiricinin tekilleştirme mantığı yazmasına gerek kalmaz.
Bu, geleneksel oyun veya film akışı için gerekli olmayabilir ancak kritik görev sistemleri için bir zorunluluktur ve paylaşılan (3D) bir nesneyi (özellikle dinamik veya oluşturulmuş olanları) güvenilir bir şekilde saklama yeteneğinin olduğu XR için bazı son derece ilginç ve benzersiz özellikler sağlar. örneğin üretken yapay zeka yoluyla) ve çeşitli katılımcılar tarafından oluşturulan etkileşimler/mesajlar çok güçlü bir araçtır.
Videoda gösterilen uygulamada yapılan da tam olarak budur. İşbirliği oturumu yalnızca video olarak görüntülenmek üzere 3 boyutlu olarak kaydedilmekle kalmıyor, aynı zamanda gerçek nesneler ve katılımcılar tarafından yapılan etkileşimler veri tabanına kaydediliyor ve daha sonra ele geçirilip değiştirilebilmeleri için oynatılmaya hazır hale getiriliyor. Bu, oyun kitapları gibi nesneleri ve etkileşimleri ayarlayarak daha derin öğrenme yapma ve daha fazla model (Yapay Zeka veya başka türlü), simülasyonlar, senaryolar vb. çalıştırma becerisine olanak tanır.
Daha ileri teknolojinin ve daha güçlü cihazların gelişmesiyle birlikte, XR eğitimi yakın gelecekte daha yaygın hale gelecek ve eğitim deneyimini daha kapsayıcı ve etkileşimli hale getirecek.
Bir başka küçük not da, videodaki uygulamanın, bir stüdyoda profesyonelce yapılmış tam 3 boyutlu hacimsel video yakalamalarında sağlık çalışanlarının olduğu ve aynı zamanda benzer bir holografik sağlayan bir Unity gölgelendiricisi aracılığıyla yeşil ekran alfa kanalının kaldırıldığı basit bir 2 boyutlu video olduğudur. Minimum çabayla etki (aydınlatma için daha fazla çabayla kalite daha iyi olabilir, vb.). Bu amaçla Zoom sanal yeşil ekranının yanı sıra Blender'da animasyonlu ücretsiz varlıklar da kullanılabilir. Unity, Zoom ve Blender'ın tümü ücretsizdir ve Oracle'ın her zaman ücretsiz Autonomous veritabanını kullanması, çözümün oluşturulmasını yazılım ve bulut maliyetleri açısından oldukça erişilebilir hale getirir.
Sanal sağlık merkezi veya hastane, video konferans, çevrimiçi sohbet, uzaktan izleme ve giderek artan XR teknolojileri gibi dijital kanallar aracılığıyla tıbbi hizmetler sağlayan bir sağlık tesisidir. Bu dijital araçlar, hastaların fiziksel olarak bir hastaneyi veya kliniği ziyaret etmelerine gerek kalmadan, evlerinin rahatlığında veya uzak konumlardan sağlık hizmetlerine erişmelerine olanak tanıyor.
Özellikle COVID-19 salgını sonrasında teletıp hizmetlerine olan talebin artması nedeniyle sanal sağlık merkezi kavramı giderek daha popüler hale geliyor. Sanal bir sağlık merkezi, birinci basamak sağlık hizmeti, uzmanlık konsültasyonları, teşhis testleri ve reçete doldurma gibi çok çeşitli tıbbi hizmetler sağlayabilir ve tıbbi hizmetlere her yerden ve her zaman erişebilen hastalara kolaylık ve esneklik sunar.
Bu özellikle hareket etme sorunları olan hastalar, kırsal bölgelerde yaşayanlar veya kendi bölgelerinde bulunmayan bir uzmana danışması gereken hastalar için faydalı olabilir. Ayrıca hem hastalar hem de sağlık hizmeti sağlayıcıları için sağlık bakım maliyetlerini azaltabilir. Sağlık hizmeti sağlayıcıları, uzaktan danışmanlık ve izlemeyi kullanarak, pahalı kişisel danışmanlık ve hastanede kalış ihtiyacını azaltabilir. Hastalar ayrıca ulaşım maliyetlerinden ve işten izin alma zamanlarından da tasarruf edebilirler.
Sanal bir sağlık merkezi hastaların bakımının kalitesini artırabilir. Uzaktan izleme sayesinde hastalar kişiselleştirilmiş ve sürekli bakım alabiliyor, sağlık hizmeti sağlayıcıları da onların sağlıklarını gerçek zamanlı olarak izleyebiliyor ve gerektiğinde hızlı bir şekilde müdahale edebiliyor. Bu, daha iyi sağlık sonuçlarına ve hastaneye tekrar yatışların azalmasına neden olabilir.
Ancak sanal sağlık merkezlerinin hayata geçirilmesinin de bazı zorlukları var. Bunlar arasında veri gizliliği ve güvenliği ile ilgili sorunların yanı sıra hastalar arasında yeterli internet erişimi ve dijital okuryazarlık ihtiyacı da yer alıyor. Buna ek olarak, bazı hastalar hala geleneksel yüz yüze bakımı tercih edebiliyor ve sayıları azalsa da uzaktan sağlanabilecek tıbbi hizmetler konusunda sınırlamalar mevcut. Sanal sağlık merkezi kavramı, hem hastalara hem de sağlık hizmeti sağlayıcılarına fayda sağlayarak, sağlık hizmetlerinin sunulma biçiminde devrim yaratma potansiyeline sahiptir. Ancak sanal sağlık merkezlerinin uygulanmasının tüm hastalar için güvenli, etkili ve adil olmasını sağlamak için dikkatli bir değerlendirme ve planlama yapılması gerekmektedir.
Oracle, Cerner'i satın alması ve sağlık hizmetlerinin geleceğine daha fazla odaklanmasıyla, "Hastalar ve sağlayıcılar için daha iyi sağlık öngörüleri ve insan odaklı deneyimler sunma" becerisiyle bu tür XR çözümlerini kolaylaştırma konusunda benzersiz bir konuma sahip. , ödeme yapanlar ve halk. Oracle Health, bakımı iyileştirmek ve sağlık ve refah konusunda karar almayı ilerletmek için klinik, operasyonel ve finansal verileri birbirine bağlayan en güvenli ve güvenilir sağlık hizmetleri çözümlerini sunuyor." ( Oracle Sağlık sayfası ). Larry Ellison, sağlık hizmetlerinin Oracle'ın geleceği için öncelik olduğu Oracle OpenWorld sunumunda bunu açıkça ortaya koydu ve yılın başında şöyle dedi : “Cerner ve Oracle birlikte, devrim niteliğinde yeni bir sağlık yönetimi bilgi sistemi oluşturmak için gereken tüm teknolojiye sahipler. Bulut."
Amerikalı yetişkinlerin %20'sinden fazlası akıl hastalığı yaşarken, 2,5 milyondan fazla genç şiddetli depresyonla mücadele ediyor ve dünyada her yıl 800.000 kişi akıl hastalığı nedeniyle intihar ediyor. Eş zamanlı olarak, ülke çapında bir sorun olan ancak özellikle küçükler ve ergenler için ciddi olan ruh sağlığı uzmanı açığı da giderek artıyor. ABD Sağlık ve İnsani Hizmetler Bakanlığı'na göre, ülkenin 2025 yılına kadar 10.000 ruh sağlığı uzmanı sıkıntısı çekmesi bekleniyor.
Akıl sağlığı, XR'nin en geniş çapta araştırıldığı ve anksiyete, depresyon ve TSSB gibi ruh sağlığı sorunlarına yönelik terapiler ve tedaviler sunmanın bir yolu olarak son derece etkili olduğu kanıtlanan alanlardan biridir. Örneğin, VR maruz kalma terapisi, hastaların kontrollü ve güvenli bir ortamda korktukları şeylerin simülasyonlarına maruz bırakılmasıyla korkularıyla yüzleşmelerine ve korkularının üstesinden gelmelerine yardımcı olmak için kullanılabilir.
Bilişsel Davranışçı Terapi (CBT), XR, farkındalığı, rahatlamayı ve stresi azaltmayı teşvik etmek için sürükleyici, meditatif deneyimler yaratmak için kullanılabilir. Örneğin VR ortamları, plajlar, ormanlar, dağlar veya uzay gibi huzurlu ve sakinleştirici doğal ortamları simüle edebilir. Çocuklar, yaşlılar ve hastanelerde vb. uzun süreler harcayan diğer kişiler, dünyayı keşfetmek ve sosyalleşmek için XR kullanıyor.
Terapistler, XR ve teleterapiyi kullanarak, kişisel terapi seanslarını simüle edebilen, daha kapsayıcı ve kişiselleştirilmiş bir deneyim sağlayan, hastanın engellemelerini azaltan ve hatta mahremiyet için AR lenslerinin ve avatarlarının kullanılmasına izin veren sanal ortamlar yaratabilirler.
İlgili Oracle AI hizmeti tarafından sağlanan NLP (Doğal Dil İşleme) duygu analizi, sözlü iletişimden duyguları ve niyeti yorumlayabilir ve yüz tanıma ve yüz duygu analizindeki ilerlemelerle, artık büyük bir doğrulukla algılamak mümkündür. Bir kişinin hissettiği ve/veya sözsüz olarak ifade ettiği duygular (aynı durum vücut/hareket takibi için de geçerlidir). XR ile koordineli çalışan nöroteknoloji ve sinirsel arayüzler artık insanın niyetini yorumlayıp içgörü sağlayabilir ve duyguyu ölçerek niyet ve duyguya ilişkin daha fazla içgörü sağlayabilir.
Ve elbette dünya, bunu kolaylaştırmak için ChatGPT vb. gibi yapay zeka arayüzlerinin daha büyük ve daha basit erişilebilirliğine oldukça aşinadır. Daha önce verilen X-ışını örneğinde olduğu gibi, bunlar bazı durumlarda insana göre daha fazla ve daha tutarlı doğruluk ve hız sağlayabilir, ancak aynı zamanda sağlık çalışanları için yardımcı teknolojiler olarak da görev yapabilir. Bunun daha fazla örneği gelecek bloglarda olacak.
Sağlık hizmetleri ve XR'nin Oracle tarafından nasıl birlikte kullanılıp kolaylaştırılabileceğine dair bazı fikirler ve örnekler verdim. Yakında Oracle Bulut ve Veritabanı ile bu konu ve XR'nin diğer alanları hakkında daha fazla blog yayınlamayı sabırsızlıkla bekliyorum.
Lütfen XR ve Oracle bulutu ve veri tabanı hakkında daha fazla bilgi için diğer yayınlarıma ve ayrıca mikro hizmetler, gözlemlenebilirlik, işlem işleme vb. ile ilgili çeşitli konulara ve ayrıca AR'nin ne olduğuna ilişkin bu yeni bloga bakın. Ayrıca, önerilere çok açığım olduğundan, yeni blog ve videolarla ilgili sorularınız veya önerileriniz için lütfen benimle iletişime geçmekten çekinmeyin. Okuduğunuz ve izlediğiniz için teşekkürler.