Skrywers:  (1) Hoon Kim, Beeble KI, en het ewe veel tot hierdie werk bygedra;  (2) Minje Jang, Beeble KI, en het ewe veel tot hierdie werk bygedra;  (3) Wonjun Yoon, Beeble KI, en het ewe veel tot hierdie werk bygedra;  (4) Jisoo Lee, Beeble KI, en het ewe veel tot hierdie werk bygedra;  (5) Donghyun Na, Beeble KI, en het ewe veel tot hierdie werk bygedra;  (6) Sanghyun Woo, New York Universiteit, en het ewe veel tot hierdie werk bygedra.   Redakteur se Nota: Dit is Deel 1 van 14 van 'n studie wat 'n metode bekendstel om te verbeter hoe lig en skaduwees op menslike portrette in digitale beelde toegepas kan word. Lees die res hieronder.  Tabel van skakels   Abstrakte en 1. Inleiding   2. Verwante werk   3. SwitchLight en 3.1. Voorlopige   3.2. Probleemformulering   3.3. Argitektuur   3.4. Doelwitte   4. Multi-Masked Autoencoder Vooropleiding   5. Data   6. Eksperimente   7. Gevolgtrekking  Bylaag   A. Implementering Besonderhede   B. Gebruikerstudie-koppelvlak   C. Video-demonstrasie     D. Bykomende kwalitatiewe resultate en verwysings  Abstrak   Ons stel 'n mede-ontwerpte benadering vir menslike portret herbeligting bekend wat 'n fisika-geleide argitektuur kombineer met 'n vooropleidingsraamwerk. Met behulp van die Cook-Torrance-weerkaatsingsmodel het ons die argitektuurontwerp noukeurig gekonfigureer om lig-oppervlak-interaksies presies te simuleer. Verder, om die beperking van skaars hoë-gehalte ligverhoogdata te oorkom, het ons 'n selftoesig vooropleidingstrategie ontwikkel. Hierdie nuwe kombinasie van akkurate fisiese modellering en uitgebreide opleidingsdatastel vestig 'n nuwe maatstaf in die herbeligting van realisme.  1. Inleiding  Herbeligting is meer as 'n estetiese hulpmiddel; dit ontsluit oneindige narratiewe moontlikhede en maak naatlose integrasie van subjekte in diverse omgewings moontlik (sien Fig. 1). Hierdie vooruitgang resoneer met ons ingebore begeerte om die fisiese beperkings van ruimte en tyd te oorskry, terwyl dit ook tasbare oplossings bied vir praktiese uitdagings in die skepping van digitale inhoud. Dit is veral transformerend in virtuele (VR) en volgemaak realiteit (AR) toepassings, waar herbeligting die intydse aanpassing van beligting vergemaklik, wat verseker dat gebruikers en digitale elemente natuurlik saambestaan binne enige omgewing, wat 'n volgende vlak van teleteenwoordigheid bied.  In hierdie werk fokus ons op herbeligting van menslike portrette. Terwyl die herbeligtingstaak fundamenteel 'n diepgaande begrip van meetkunde, materiaaleienskappe en beligting vereis, is die uitdaging meer vererger wanneer menslike onderwerpe aangespreek word, as gevolg van die unieke eienskappe van veloppervlaktes sowel as die uiteenlopende teksture en reflektansie-eienskappe van 'n wye verskeidenheid van klere, haarstyle en bykomstighede. Hierdie elemente werk op komplekse maniere in wisselwerking, wat gevorderde algoritmes noodsaak wat die subtiele wisselwerking van lig met hierdie uiteenlopende oppervlaktes kan simuleer.  Tans behels die mees belowende benadering die gebruik van diep neurale netwerke wat opgelei is op pare van hoë kwaliteit herbeligte portretbeelde en hul ooreenstemmende intrinsieke eienskappe, wat verkry word uit 'n ligte verhoogopstelling [10]. Aanvanklike pogings het die herbeligtingsproses as 'n 'swart boks' benader [45, 48], sonder om in die onderliggende meganismes te delf. Latere vooruitgang het 'n fisika-geleide modelontwerp aangeneem, wat die eksplisiete modellering van beeldintrinsieke en beeldvormingsfisika insluit [32]. Pandey et al. [34] het die Total Relight (TR)-argitektuur, ook fisika-geleide, voorgestel wat 'n insetbeeld in oppervlaknormale en albedokaarte ontbind, en herbeligting uitvoer op grond van die Phong-spekulêre reflektansiemodel. Die TR-argitektuur het 'n grondliggende model vir beeldherbeligting geword, met mees onlangse en gevorderde argitekture wat op die beginsel daarvan bou [23, 31, 52].  Na aanleiding van die fisika-geleide benadering, lê ons bydrae in 'n mede-ontwerp van argitektuur met 'n self-toesig vooropleidingsraamwerk. Eerstens ontwikkel ons argitektuur na 'n meer akkurate fisiese model deur die Cook-Torrance-spekulêre weerkaatsingsmodel [8] te integreer, wat 'n noemenswaardige vooruitgang verteenwoordig vanaf die empiriese Phong-spekulêre model [37] wat in die Total Relight-argitektuur gebruik word. Die Cook-Torrance-model simuleer behendig liginteraksies met oppervlakmikrofasette, wat rekening hou met ruimtelik variërende grofheid en reflektiwiteit. Tweedens skaal ons vooropleidingsraamwerk die leerproses verder as die tipies moeilik bekombare ligverhoogdata. Deur die gemaskerde outo-enkodeerder (MAE) raamwerk [19] weer te besoek, het ons dit bekwaam vir die taak van herbeligting. Hierdie wysigings is gemaak om die unieke uitdagings wat deur hierdie taak gestel word die hoof te bied, wat ons model in staat stel om uit ongemerkte data te leer en sy vermoë te verfyn om realistiese herbeligtingportrette te produseer tydens fynverstelling. Sover ons kennis strek, is dit die eerste keer dat selftoesig voorafopleiding spesifiek op die herbeligtingstaak toegepas word.  Om op te som, ons bydrae is tweeledig. Eerstens, deur die fisiese refleksie-model te verbeter, het ons 'n nuwe vlak van realisme in die uitset bekendgestel. Tweedens, deur selftoesig leer aan te neem, het ons die skaal van die opleidingsdata uitgebrei en die uitdrukking van beligting in uiteenlopende werklike scenario's verbeter. Gesamentlik het hierdie vooruitgang daartoe gelei dat SwitchLight-raamwerk 'n nuwe state-of-the-art in menslike portret herbeligting bereik het.  Hierdie vraestel is   onder CC BY-NC-SA 4.0 AKTE-lisensie. beskikbaar op arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AutoEncoder.tech

Research & publications on Auto Encoders, revolutionizing data compression and feature learning techniques.

Auto Encoder's blog

Hierdie oudio word in die oorspronklike taal van die storie vervaardig!

Nuwe raamwerk deur Beeble Researchers belowe om realistiese gloed na digitale portrette te bring met behulp van AI

About Author

KOMMENTAAR

HANG TAGS

HIERDIE ARTIKEL IS AANGEBIED IN

Related Stories

Top Actionable Tips to Grow a Community: More Tips to Monetize

"What If ... I didn't Do It?"

HackerNoon and the Time We Took the 16 Personalities Test

Thrilled to be Recognized as Startup of the Year in New York City

Top Actionable Tips to Grow a Community: More Tips to Monetize

"What If ... I didn't Do It?"

HackerNoon and the Time We Took the 16 Personalities Test

Thrilled to be Recognized as Startup of the Year in New York City

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps