Հեղինակներ:  (1) Հուն Քիմը, Beeble AI, և հավասարապես նպաստեց այս աշխատանքին.  (2) Minje Jang, Beeble AI, և հավասարապես նպաստեց այս աշխատանքին.  (3) Վոնջուն Յունը, Beeble AI, և հավասարապես նպաստեց այս աշխատանքին.  (4) Jisoo Lee, Beeble AI, և հավասարապես նպաստել է այս աշխատանքին.  (5) Donghyun Na, Beeble AI, և հավասարապես նպաստեց այս աշխատանքին.  (6) Sanghyun Woo, Նյու Յորքի համալսարան, և հավասարապես նպաստեց այս աշխատանքին:   Խմբագրի նշում. Սա ուսումնասիրության 14-րդ մասն է, որը ներկայացնում է մեթոդ՝ բարելավելու, թե ինչպես կարելի է լույսն ու ստվերները կիրառել թվային պատկերներում մարդու դիմանկարների վրա: Մնացածը կարդացեք ստորև։  Հղումների աղյուսակ   Վերացական և 1. Ներածություն   2. Հարակից աշխատանք   3. SwitchLight և 3.1. Նախնական   3.2. Խնդրի ձևակերպում   3.3. Ճարտարապետություն   3.4. Նպատակներ   4. Multi-Masked Autoencoder Pre-training   5. Տվյալներ   6. Փորձեր   7. Եզրակացություն  Հավելված   Ա. Իրականացման մանրամասները   B. Օգտագործողի ուսումնասիրության միջերես   C. Video Ցույց     Դ. Լրացուցիչ որակական արդյունքներ և հղումներ  Վերացական   Մենք ներկայացնում ենք համատեղ նախագծված մոտեցում մարդկային դիմանկարների վերալուսավորման համար, որը համատեղում է ֆիզիկայով առաջնորդվող ճարտարապետությունը նախնական վերապատրաստման շրջանակի հետ: Հիմք ընդունելով Cook-Torrance արտացոլման մոդելը՝ մենք մանրակրկիտ ձևակերպել ենք ճարտարապետության դիզայնը՝ լույսի մակերեսի փոխազդեցությունները ճշգրիտ մոդելավորելու համար: Ավելին, սակավ բարձրորակ լուսաբեմի տվյալների սահմանափակումը հաղթահարելու համար մենք մշակել ենք ինքնուրույն վերահսկվող նախնական վերապատրաստման ռազմավարություն: Ճշգրիտ ֆիզիկական մոդելավորման և ընդլայնված ուսուցման տվյալների այս նոր համադրությունը նոր նշաձող է ստեղծում ռեալիզմի վերալուսավորման մեջ:  1. Ներածություն  Relighting ավելին է, քան գեղագիտական գործիք; այն բացում է պատմողական անսահման հնարավորությունները և հնարավորություն է տալիս առարկաների անխափան ինտեգրումը տարբեր միջավայրերում (տես Նկար 1): Այս առաջընթացը ռեզոնանսվում է տարածության և ժամանակի ֆիզիկական սահմանափակումները հաղթահարելու մեր բնածին ցանկության հետ՝ միաժամանակ ապահովելով շոշափելի լուծումներ թվային բովանդակության ստեղծման գործնական մարտահրավերներին: Այն հատկապես փոխակերպվում է վիրտուալ (VR) և հավելյալ իրականության (AR) հավելվածներում, որտեղ վերալուսավորությունը հեշտացնում է լուսավորության իրական ժամանակում հարմարեցումը, ապահովելով, որ օգտագործողները և թվային տարրերը բնականաբար գոյակցեն ցանկացած միջավայրում՝ առաջարկելով հեռաներկայության հաջորդ մակարդակ:  Այս աշխատանքում մենք կենտրոնանում ենք մարդու դիմանկարների վերալուսավորման վրա: Թեև վերալուսավորության խնդիրը հիմնովին պահանջում է երկրաչափության, նյութական հատկությունների և լուսավորության խորը ըմբռնում, մարտահրավերն ավելի բարդ է մարդու առարկաներին անդրադառնալիս՝ մաշկի մակերևույթների եզակի առանձնահատկությունների, ինչպես նաև տարբեր հյուսվածքների և արտացոլման հատկությունների պատճառով: հագուստ, սանրվածքներ և աքսեսուարներ. Այս տարրերը փոխազդում են բարդ ձևերով՝ առաջացնելով առաջադեմ ալգորիթմների անհրաժեշտություն, որոնք կարող են նմանակել լույսի նուրբ փոխազդեցությունը այս բազմազան մակերեսների հետ:  Ներկայումս ամենահեռանկարային մոտեցումը ներառում է խորը նեյրոնային ցանցերի օգտագործումը, որոնք պատրաստված են զույգ բարձրորակ դիմանկարային պատկերների և դրանց համապատասխան ներքին ատրիբուտների վրա, որոնք ստացվում են թեթև բեմի կարգավորումից [10]: Նախնական ջանքերը վերալուսավորելու գործընթացին մոտեցան որպես «սև արկղի» [45, 48]՝ առանց խորանալու հիմքում ընկած մեխանիզմների մեջ: Հետագա զարգացումները որդեգրեցին ֆիզիկայով առաջնորդվող մոդելի ձևավորում՝ ներառելով պատկերների ներքին կառուցվածքի և պատկերների ձևավորման ֆիզիկայի բացահայտ մոդելավորումը [32]: Պանդեյը և այլք: [34] առաջարկել է Total Relight (TR) ճարտարապետությունը, որը նույնպես ղեկավարվում է ֆիզիկայով, որը տրոհում է մուտքային պատկերը մակերևույթի նորմալների և ալբեդոյի քարտեզների և կատարում է վերալուսավորում՝ հիմնված Phong տեսողական արտացոլման մոդելի վրա։ TR ճարտարապետությունը դարձել է պատկերների վերալուսավորման հիմնարար մոդել, որտեղ ամենավերջին և առաջադեմ ճարտարապետությունները հիմնված են դրա սկզբունքի վրա [23, 31, 52]:  Հետևելով ֆիզիկայի կողմից առաջնորդվող մոտեցմանը, մեր ներդրումը կայանում է ճարտարապետության համատեղ նախագծման մեջ՝ ինքնուրույն վերահսկվող նախնական վերապատրաստման շրջանակով: Նախ, մեր ճարտարապետությունը զարգանում է դեպի ավելի ճշգրիտ ֆիզիկական մոդել՝ ինտեգրելով Cook-Torrance ակնաբուժական արտացոլման մոդելը [8], որը զգալի առաջընթաց է ներկայացնում էմպիրիկ Phong սպեկուլյար մոդելից [37], որն օգտագործվում է Total Relight ճարտարապետության մեջ: Cook-Torrance մոդելը հմուտ կերպով նմանակում է լույսի փոխազդեցությունը մակերեսային միկրոէլեկտների հետ՝ հաշվի առնելով տարածականորեն փոփոխվող կոշտությունը և արտացոլումը: Երկրորդը, մեր նախավարժանքների շրջանակը մասշտաբում է ուսուցման գործընթացը դուրս, որպես կանոն, դժվար ձեռք բերել լույսի փուլային տվյալները: Վերանայելով դիմակավորված ինքնակոդավորիչի (MAE) շրջանակը [19]՝ մենք այն ընտելացրինք վերալուսավորման առաջադրանքին: Այս փոփոխությունները ստեղծվել են այս առաջադրանքից առաջացած եզակի մարտահրավերներին դիմակայելու համար՝ հնարավորություն տալով մեր մոդելին սովորել չպիտակավորված տվյալներից և կատարելագործել իր կարողությունը՝ իրատեսական ռելուսավոր դիմանկարներ կարգավորելու ընթացքում: Մեր գիտելիքներով, սա առաջին անգամն է, որ կիրառում ենք ինքնուրույն վերահսկվող նախավարժանք՝ հատուկ վերալուսավորության առաջադրանքի համար:  Ամփոփելով, մեր ներդրումը երկակի է. Նախ, բարելավելով ֆիզիկական արտացոլման մոդելը, մենք ներմուծել ենք ռեալիզմի նոր մակարդակ արտադրանքի մեջ: Երկրորդ, որդեգրելով ինքնուրույն վերահսկվող ուսուցում, մենք ընդլայնել ենք վերապատրաստման տվյալների մասշտաբը և ուժեղացրել լուսավորության արտահայտումը իրական աշխարհի տարբեր սցենարներում: Հավաքականորեն, այս առաջընթացները հանգեցրել են SwitchLight շրջանակին հասնելու մարդկային դիմանկարների վերալուսավորության նորագույն նորարարության:  Այս փաստաթուղթը   CC BY-NC-SA 4.0 DEED լիցենզիայի ներքո: հասանելի է arxiv-ում

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AutoEncoder.tech

Research & publications on Auto Encoders, revolutionizing data compression and feature learning techniques.

Auto Encoder's blog

Այս աուդիոն պատրաստվել է պատմության բնօրինակ լեզվով:

Չափազանց երկար; Կարդալ

Make resilience your competitive advantage

Beeble-ի հետազոտողների նոր շրջանակը խոստանում է իրատեսական փայլ հաղորդել թվային դիմանկարներին՝ օգտագործելով AI

About Author

ՄԵԿՆԱԲԱՆՈՒԹՅՈՒՆՆԵՐ

ԿԱԽՎԵԼ ՏԵԳՍԵՐ

ԱՅՍ ՀՈԴՎԱԾԸ ՆԵՐԿԱՅԱՑՎԵԼ Է Մ

Related Stories

Toufi Saliba: The Architect Behind HyperCycle's Decentralized Network of AI

What is Hyperthreading and How Do You Enable It?

Hypernative Bolsters Bitcoin L2 Security as Stacks Ecosystem Gets Real-Time Protection

HyperCycle Announces Strategic Split into Two Distinct Operations

Toufi Saliba: The Architect Behind HyperCycle's Decentralized Network of AI

What is Hyperthreading and How Do You Enable It?

Hypernative Bolsters Bitcoin L2 Security as Stacks Ecosystem Gets Real-Time Protection

HyperCycle Announces Strategic Split into Two Distinct Operations

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps