Cadre ya sika ya ba chercheurs ya Beeble elaki ko mema éclat réaliste na ba portraits numériques en utilisant AI

Tableau ya ba Liens

• Abstract mpe 1. Maloba ya ebandeli
• 2. Mosala oyo etali yango
• 3. SwitchLight mpe 3.1. Makambo ya liboso
• 3.2. Formulation ya ba problèmes
• 3.3. Architecture
• 3.4. Mikano
• 4. Autoencodeur Multi-Masqué Pré-formation
• 5. Ba données
• 6. Ba expériences
• 7. Bosukisi

Appendice

• R. Makambo ya sikisiki ya bosaleli
• B. Interface ya boyekoli ya mosaleli
• C. Elakiseli ya video
• D. Ba Résultats Qualitatifs & Ba Références ya kobakisa

Emonanaka te

Tozali kokotisa lolenge ya kosala elongo mpo na kozongisa pole ya bililingi ya bato oyo esangisaka architecture oyo etambwisami na fiziki na cadre ya liboso ya formation. Na kosalelaka modèle ya reflectance Cook-Torrance, to configurer na meticulousement design ya architecture mpo na ko simuler précisément ba interactions lumière-surface. Lisusu, mpo na kolonga ndelo ya ba données ya qualité ya likolo ya ba scènes ya lumière oyo ezali mingi te, tosali stratégie ya pré-formation oyo tomi supervisée. Combinaison oyo ya sika ya modélisation physique ya sikisiki mpe ensemble ya ba données ya formation expandu etie benchmark ya sika na reéclairage ya réalisme.

1. Maloba ya ebandeli

Kozongisa mwinda ezali kaka esaleli ya kitoko; yango efungolaka ba possibilités narratives infinies mpe e permettre intégration sans soudure ya ba sujets na ba environnements diversifiés (tala Fig. 1). Bokoli oyo ezongaka na mposa na biso ya kobotama ya koleka ba contraintes physiques ya espace mpe ya temps, tout en fournissant aussi ba solutions tangibles na ba défis pratiques na création ya contenus numériques. Ezali surtout transformateur na ba applications virtuelles (VR) na réalité augmentée (AR), esika reéclairage e faciliter adaptation en temps réel ya éclairage, ko assurer que ba usagers na ba éléments numériques ba coexister naturellement na kati ya environnement nionso, kopesa niveau ya téléprésence oyo elandi.

Na mosala oyo, tozali kotalela mingimingi kongɛngisa lisusu bililingi ya bato. Atako mosala ya kongɛngisa lisusu esɛngaka mpenzampenza bososoli ya mozindo ya géométrie, bizaleli ya biloko, mpe kongɛnga, mokakatano yango ekómaka makasi mingi ntango tozali kotalela bato, mpo na bizaleli oyo ekeseni na oyo ya loposo mpe lisusu na ba textures ndenge na ndenge mpe bizaleli ya reflectance ya ebele ya bilamba, ndenge ya kosala nsuki, mpe biloko oyo basalelaka. Ba éléments wana e interagir na ba façons complexes, esengaka ba algorithmes avancés oyo ekoki ko simuler interaction subtil ya lumière na ba surfaces wana ya ndenge na ndenge.

Sikawa, lolenge ya kosala oyo ezali kopesa elikya mingi ezali kosalela ba réseaux neuronaux ya mozindo oyo eteyami na ba paires ya bilili ya portrait ya relit ya qualité ya likolo mpe ba attributs intrinsèques na yango oyo ekokani na yango, oyo euti na setup ya scène ya pole [10]. Milende ya liboso epusanaki penepene na mosala ya kozongisa pole lokola ‘boîte noire’ [45, 48], kozanga ko profonder na ba mécanismes ya se. Ba progrès ya sima e adoptaki conception ya modèle guidé par physique, esangisi modélisation explicite ya intrinsèques ya image na physique ya formation ya image [32]. Pandey mpe bato mosusu. [34] ba proposaki architecture Total Relight (TR), oyo ezali pe guidé na physique, oyo e décomposer image ya entrée na ba normals ya surface pe ba cartes albédo, pe esalaka reéclairage sur la base ya modèle ya reflectance spéculaire ya Phong. Architecture ya TR ekomi modèle ya fondation pona reéclairage ya image, na ba architectures ya sika pe ya liboso oyo etongami likolo ya principe na yango [23, 31, 52].

Kolanda approche guidée par physique, contribution na biso ezali na co-conception ya architecture na cadre ya pré-formation oyo ezo superviser yango moko. Ya liboso, architecture na biso e évoluer na nzela ya modèle physique ya sikisiki mingi na kosangisaka modèle ya reflectance spéculaire Cook-Torrance [8], oyo ezali ko représenter avancement notable à partir ya modèle spéculaire empirique ya Phong [37] oyo esalemi na architecture Total Relight. Modèle Cook-Torrance e simuler na mayele nyonso ba interactions ya lumière na ba microfacets ya surface, e comptabiliser rugosité mpe reflectivité oyo ekeseni na esika. Ya mibale, cadre na biso ya préformation e échelle processus ya apprentissage koleka ba données ya lightstage typiquement difficile ya kozua. Na kozongela cadre ya autoencodeur masqué (MAE) [19], to adepter yango mpo na mosala ya ko reéclairage. Ba modifications oyo esalemi pona ko répondre na ba défis unique oyo mosala oyo ezo bima, ko permettre modèle na biso ayekola na ba données sans étiquette pe a refiner makoki na yango ya kobimisa ba portraits réel ya relit na tango ya affine-tuning. Na boyebi na biso, oyo ezali mbala ya liboso ya kosalela pré-formation auto-supervisée spécifiquement na mosala ya reéclairage.

Na mokuse, likabo na biso ezali na makambo mibale. Ya liboso, na kotombola modèle ya reflectance physique, to kotisi niveau ya sika ya réalisme na sortie. Ya mibale, na ko adopter apprentissage autosupervisée, to augmenter échelle ya ba données ya formation pe to améliorer expression ya éclairage na ba scénarios ya mokili ya solo ndenge na ndenge. Na lisanga, ba progrès oyo ememi cadre ya SwitchLight na kozua état ya sika ya sika na reéclairage ya ba portrait ya batu.