Rimba Lerintshwa hi Valavisisi va Beeble Ri Tshembisa ku Tisa Ku Vonakala ka Xiviri eka Swifaniso swa Dijitali hi ku Tirhisa AI

Tafula ra Swihlanganisi

• Xitlhokovetselo na 1. Xingheniso
• 2. Ntirho lowu Fambelanaka na wona
• 3. SwitchLight na 3.1. Swilo swo sungula
• 3.2. Ku Vumbiwa ka Xiphiqo
• 3.3. Muendli wa tipulani
• 3.4. Swikongomelo
• 4. Multi-Masked Autoencoder Ku leteriwa ka le mahlweni
• 5. Data
• 6. Swikambelo
• 7. Mahetelelo

Xiengetelo

• A. Vuxokoxoko bya ku Tirhisa
• B. Xihlanganisi xa Dyondzo ya Vatirhisi
• C. Nkombiso wa Vhidiyo
• D. Mimbuyelo ya Khwalithi yo Engetela & Swikombo

Xianakanyiwa

Hi nghenisa endlelo leri endliweke swin’we ra ku voninga nakambe ka swifaniso swa vanhu leri hlanganisaka vumaki lebyi kongomisiwaka hi fizikisi na rimba ra ndzetelo wa le mahlweni. Hi ku tirhisa modele wa Cook-Torrance reflectance, hi lulamisile hi vukheta dizayini ya architecture ku tekelela kahle ku tirhisana ka ku vonakala na le henhla. Ku tlula kwalaho, ku hlula ku hunguteka ka datha ya xiyimo xa le henhla ya xiteji xa rivoni leyi kayivelaka, hi tumbuluxile maqhinga ya ku tilangutela ya le mahlweni ka ndzetelo. Nkatsakanyo lowu wa novhele wa ku endliwa ka xikombiso xa miri lowu kongomeke na dataset ya ndzetelo lowu andlariweke wu simeka mpimo wuntshwa eku voningeni nakambe ka ntiyiso.

1. Xingheniso

Ku voninga nakambe a hi xitirho xo saseka ntsena; yi pfula ku koteka ka xitlhokovetselo loku nga heriki naswona yi endla leswaku ku hlanganisiwa loku nga na swiphiqo ka timhaka eka tindhawu to hambana (vona Xifaniso 1). Nhluvukiso lowu wu twala na ku navela ka hina ka ntumbuluko ku tlula swipimelo swa xiviri swa ndhawu na nkarhi, loko hi ri karhi hi tlhela hi nyika swintshuxo leswi vonakaka eka mintlhontlho leyi tirhaka eka ku tumbuluxiwa ka swilo swa xidijitali. Swi cinca ngopfu eka switirhisiwa swa xiviri (VR) na ntiyiso lowu engeteriweke (AR), laha ku voninga nakambe ku fambisaka ku cinca ka nkarhi wa xiviri ka ku voninga, ku tiyisisa leswaku vatirhisi na swiaki swa xidijitali va hanya swin’we hi ntumbuluko endzeni ka ndhawu yihi kumbe yihi, leswi nyikaka xiyimo lexi landzelaka xa vukona bya le kule.

Eka ntirho lowu, hi kongomisa eka ku voninga nakambe ka swifaniso swa vanhu. Loko ntirho wo voninga nakambe hi xisekelo wu lava ku twisisa loku dzikeke ka geometry, swivumbeko swa swilo leswi vonakaka, na ku voninga, ntlhontlho wu nyanyisiwa swinene loko ku langutiwa vanhu, hikwalaho ka swihlawulekisi swo hlawuleka swa swiphemu swa nhlonge xikan’we na swivumbeko swo hambana na swivumbeko swa ku vonakala swa nxaxamelo wo anama wa swiambalo, switayele swa misisi ni switirhisiwa. Swiaki leswi swi tirhisana hi tindlela leti rharhanganeke, leswi lavaka tialgorithm ta xiyimo xa le henhla leti kotaka ku tekelela ku tirhisana loku nga vonakiki ka ku vonakala ni swiphemu leswi swo hambana-hambana.

Sweswi, endlelo leri tshembisaka swinene ri katsa ku tirhisiwa ka tinetiweki ta nyurali leti dzikeke leti leteriweke eka mimpatswa ya swifaniso swa swifaniso swa xiyimo xa le henhla leswi voningeriweke nakambe na swihlawulekisi swa swona swa le ndzeni leswi fambelanaka, leswi humaka eka xiyimiso xa xiteji xo voninga [10]. Matshalatshala yo sungula ya tshinelela endlelo ro voninga nakambe tanihi ‘bokisi ra ntima’ [45, 48], handle ko nghenelela eka tindlela leti nga xisekelo. Nhluvuko wa le ndzhaku wu amukele dizayini ya xikombiso leyi kongomisiweke hi fizikisi, leyi katsaka ku endliwa ka xikombiso lexi nga erivaleni ka swilo swa le ndzeni swa swifaniso na fizikisi ya ku vumbiwa ka swifaniso [32]. Pandey na van’wana. [34] va ringanyete architecture ya Total Relight (TR), leyi nakambe yi kongomisiwaka hi physics, leyi bolaka xifaniso xo nghenisa eka ti surface normals na mimepe ya albedo, naswona yi endla ku voninga nakambe hi ku ya hi modele wa Phong specular reflectance. Xivumbeko xa TR xi hundzuke xikombiso xa masungulo xa ku voninga nakambe ka swifaniso, hi vumaki bya sweswinyana na bya xiyimo xa le henhla lebyi akiweke eka nsinya wa xona wa nawu [23, 31, 52].

Hi ku landzelela endlelo leri kongomisiweke hi fizikisi, ku hoxa xandla ka hina ku le ka dizayini swin’we ya vumaki na rimba ra ndzetelo wa le mahlweni leri tilangutisaka. Xo sungula, vumaki bya hina byi hundzukela eka modele wa xiviri lowu kongomeke swinene hi ku hlanganisa modele wa Cook-Torrance specular reflectance [8], lowu yimelaka nhluvuko lowu xiyekaka ku suka eka modele wa empirical Phong specular [37] lowu tirhisiweke eka muaki wa Total Relight. Modele wa Cook-Torrance wu tekelela hi vutshila ku tirhisana ka ku vonakala na ti microfacets ta le henhla, ku hlamusela ku hambana ka ndzhawu na ku vonakala. Xa vumbirhi, rimba ra hina ra ndzetelo wa le mahlweni ri pima endlelo ro dyondza ku tlula datha ya xiteji xa rivoni leyi hi ntolovelo swi tikaka ku yi kuma. Hi ku tlhela hi languta rimba ra masked autoencoder (MAE) [19], hi ri na vutshila eka ntirho wo tlhela hi voninga. Ku cinca loku ku endliwile ku lulamisa mintlhontlho yo hlawuleka leyi vangiwaka hi ntirho lowu, ku endla leswaku modele wa hina wu kota ku dyondza eka datha leyi nga lebuliwangiki na ku antswisa vuswikoti bya yona byo humelerisa swifaniso swa xiviri leswi voningeriweke nakambe hi nkarhi wa ku lulamisiwa lokunene. Hi ku ya hi vutivi bya hina, leri i ro sungula ku tirhisa ndzetelo wa le mahlweni lowu tilangutisaka hi ku kongoma eka ntirho wo voninga nakambe.

Hi ku komisa, ku hoxa xandla ka hina ku ni swiyenge swimbirhi. Xo sungula, hi ku ndlandlamuxa modele wa physical reflectance, hi nghenise xiyimo lexintshwa xa realism eka vuhumelerisi. Xa vumbirhi, hi ku amukela dyondzo yo tilangutela, hi ndlandlamuxile mpimo wa datha ya ndzetelo na ku ndlandlamuxa ku paluxiwa ka ku voninga eka swiyimo swo hambana swa misava ya xiviri. Hi ku hlangana, nhluvukiso lowu wu endle leswaku rimba ra SwitchLight ri fikelela xiyimo lexintshwa xa vutshila eka ku voninga nakambe ka swifaniso swa vanhu.