Nuwe raamwerk deur Beeble Researchers belowe om realistiese gloed na digitale portrette te bring met behulp van AI

Tabel van skakels

• Abstrakte en 1. Inleiding
• 2. Verwante werk
• 3. SwitchLight en 3.1. Voorlopige
• 3.2. Probleemformulering
• 3.3. Argitektuur
• 3.4. Doelwitte
• 4. Multi-Masked Autoencoder Vooropleiding
• 5. Data
• 6. Eksperimente
• 7. Gevolgtrekking

Bylaag

• A. Implementering Besonderhede
• B. Gebruikerstudie-koppelvlak
• C. Video-demonstrasie
• D. Bykomende kwalitatiewe resultate en verwysings

Abstrak

Ons stel 'n mede-ontwerpte benadering vir menslike portret herbeligting bekend wat 'n fisika-geleide argitektuur kombineer met 'n vooropleidingsraamwerk. Met behulp van die Cook-Torrance-weerkaatsingsmodel het ons die argitektuurontwerp noukeurig gekonfigureer om lig-oppervlak-interaksies presies te simuleer. Verder, om die beperking van skaars hoë-gehalte ligverhoogdata te oorkom, het ons 'n selftoesig vooropleidingstrategie ontwikkel. Hierdie nuwe kombinasie van akkurate fisiese modellering en uitgebreide opleidingsdatastel vestig 'n nuwe maatstaf in die herbeligting van realisme.

1. Inleiding

Herbeligting is meer as 'n estetiese hulpmiddel; dit ontsluit oneindige narratiewe moontlikhede en maak naatlose integrasie van subjekte in diverse omgewings moontlik (sien Fig. 1). Hierdie vooruitgang resoneer met ons ingebore begeerte om die fisiese beperkings van ruimte en tyd te oorskry, terwyl dit ook tasbare oplossings bied vir praktiese uitdagings in die skepping van digitale inhoud. Dit is veral transformerend in virtuele (VR) en volgemaak realiteit (AR) toepassings, waar herbeligting die intydse aanpassing van beligting vergemaklik, wat verseker dat gebruikers en digitale elemente natuurlik saambestaan binne enige omgewing, wat 'n volgende vlak van teleteenwoordigheid bied.

In hierdie werk fokus ons op herbeligting van menslike portrette. Terwyl die herbeligtingstaak fundamenteel 'n diepgaande begrip van meetkunde, materiaaleienskappe en beligting vereis, is die uitdaging meer vererger wanneer menslike onderwerpe aangespreek word, as gevolg van die unieke eienskappe van veloppervlaktes sowel as die uiteenlopende teksture en reflektansie-eienskappe van 'n wye verskeidenheid van klere, haarstyle en bykomstighede. Hierdie elemente werk op komplekse maniere in wisselwerking, wat gevorderde algoritmes noodsaak wat die subtiele wisselwerking van lig met hierdie uiteenlopende oppervlaktes kan simuleer.

Tans behels die mees belowende benadering die gebruik van diep neurale netwerke wat opgelei is op pare van hoë kwaliteit herbeligte portretbeelde en hul ooreenstemmende intrinsieke eienskappe, wat verkry word uit 'n ligte verhoogopstelling [10]. Aanvanklike pogings het die herbeligtingsproses as 'n 'swart boks' benader [45, 48], sonder om in die onderliggende meganismes te delf. Latere vooruitgang het 'n fisika-geleide modelontwerp aangeneem, wat die eksplisiete modellering van beeldintrinsieke en beeldvormingsfisika insluit [32]. Pandey et al. [34] het die Total Relight (TR)-argitektuur, ook fisika-geleide, voorgestel wat 'n insetbeeld in oppervlaknormale en albedokaarte ontbind, en herbeligting uitvoer op grond van die Phong-spekulêre reflektansiemodel. Die TR-argitektuur het 'n grondliggende model vir beeldherbeligting geword, met mees onlangse en gevorderde argitekture wat op die beginsel daarvan bou [23, 31, 52].

Na aanleiding van die fisika-geleide benadering, lê ons bydrae in 'n mede-ontwerp van argitektuur met 'n self-toesig vooropleidingsraamwerk. Eerstens ontwikkel ons argitektuur na 'n meer akkurate fisiese model deur die Cook-Torrance-spekulêre weerkaatsingsmodel [8] te integreer, wat 'n noemenswaardige vooruitgang verteenwoordig vanaf die empiriese Phong-spekulêre model [37] wat in die Total Relight-argitektuur gebruik word. Die Cook-Torrance-model simuleer behendig liginteraksies met oppervlakmikrofasette, wat rekening hou met ruimtelik variërende grofheid en reflektiwiteit. Tweedens skaal ons vooropleidingsraamwerk die leerproses verder as die tipies moeilik bekombare ligverhoogdata. Deur die gemaskerde outo-enkodeerder (MAE) raamwerk [19] weer te besoek, het ons dit bekwaam vir die taak van herbeligting. Hierdie wysigings is gemaak om die unieke uitdagings wat deur hierdie taak gestel word die hoof te bied, wat ons model in staat stel om uit ongemerkte data te leer en sy vermoë te verfyn om realistiese herbeligtingportrette te produseer tydens fynverstelling. Sover ons kennis strek, is dit die eerste keer dat selftoesig voorafopleiding spesifiek op die herbeligtingstaak toegepas word.

Om op te som, ons bydrae is tweeledig. Eerstens, deur die fisiese refleksie-model te verbeter, het ons 'n nuwe vlak van realisme in die uitset bekendgestel. Tweedens, deur selftoesig leer aan te neem, het ons die skaal van die opleidingsdata uitgebrei en die uitdrukking van beligting in uiteenlopende werklike scenario's verbeter. Gesamentlik het hierdie vooruitgang daartoe gelei dat SwitchLight-raamwerk 'n nuwe state-of-the-art in menslike portret herbeligting bereik het.