Beeble-ի հետազոտողների նոր շրջանակը խոստանում է իրատեսական փայլ հաղորդել թվային դիմանկարներին՝ օգտագործելով AI

Հղումների աղյուսակ

• Վերացական և 1. Ներածություն
• 2. Հարակից աշխատանք
• 3. SwitchLight և 3.1. Նախնական
• 3.2. Խնդրի ձևակերպում
• 3.3. Ճարտարապետություն
• 3.4. Նպատակներ
• 4. Multi-Masked Autoencoder Pre-training
• 5. Տվյալներ
• 6. Փորձեր
• 7. Եզրակացություն

Հավելված

• Ա. Իրականացման մանրամասները
• B. Օգտագործողի ուսումնասիրության միջերես
• C. Video Ցույց
• Դ. Լրացուցիչ որակական արդյունքներ և հղումներ

Վերացական

Մենք ներկայացնում ենք համատեղ նախագծված մոտեցում մարդկային դիմանկարների վերալուսավորման համար, որը համատեղում է ֆիզիկայով առաջնորդվող ճարտարապետությունը նախնական վերապատրաստման շրջանակի հետ: Հիմք ընդունելով Cook-Torrance արտացոլման մոդելը՝ մենք մանրակրկիտ ձևակերպել ենք ճարտարապետության դիզայնը՝ լույսի մակերեսի փոխազդեցությունները ճշգրիտ մոդելավորելու համար: Ավելին, սակավ բարձրորակ լուսաբեմի տվյալների սահմանափակումը հաղթահարելու համար մենք մշակել ենք ինքնուրույն վերահսկվող նախնական վերապատրաստման ռազմավարություն: Ճշգրիտ ֆիզիկական մոդելավորման և ընդլայնված ուսուցման տվյալների այս նոր համադրությունը նոր նշաձող է ստեղծում ռեալիզմի վերալուսավորման մեջ:

1. Ներածություն

Relighting ավելին է, քան գեղագիտական գործիք; այն բացում է պատմողական անսահման հնարավորությունները և հնարավորություն է տալիս առարկաների անխափան ինտեգրումը տարբեր միջավայրերում (տես Նկար 1): Այս առաջընթացը ռեզոնանսվում է տարածության և ժամանակի ֆիզիկական սահմանափակումները հաղթահարելու մեր բնածին ցանկության հետ՝ միաժամանակ ապահովելով շոշափելի լուծումներ թվային բովանդակության ստեղծման գործնական մարտահրավերներին: Այն հատկապես փոխակերպվում է վիրտուալ (VR) և հավելյալ իրականության (AR) հավելվածներում, որտեղ վերալուսավորությունը հեշտացնում է լուսավորության իրական ժամանակում հարմարեցումը, ապահովելով, որ օգտագործողները և թվային տարրերը բնականաբար գոյակցեն ցանկացած միջավայրում՝ առաջարկելով հեռաներկայության հաջորդ մակարդակ:

Այս աշխատանքում մենք կենտրոնանում ենք մարդու դիմանկարների վերալուսավորման վրա: Թեև վերալուսավորության խնդիրը հիմնովին պահանջում է երկրաչափության, նյութական հատկությունների և լուսավորության խորը ըմբռնում, մարտահրավերն ավելի բարդ է մարդու առարկաներին անդրադառնալիս՝ մաշկի մակերևույթների եզակի առանձնահատկությունների, ինչպես նաև տարբեր հյուսվածքների և արտացոլման հատկությունների պատճառով: հագուստ, սանրվածքներ և աքսեսուարներ. Այս տարրերը փոխազդում են բարդ ձևերով՝ առաջացնելով առաջադեմ ալգորիթմների անհրաժեշտություն, որոնք կարող են նմանակել լույսի նուրբ փոխազդեցությունը այս բազմազան մակերեսների հետ:

Ներկայումս ամենահեռանկարային մոտեցումը ներառում է խորը նեյրոնային ցանցերի օգտագործումը, որոնք պատրաստված են զույգ բարձրորակ դիմանկարային պատկերների և դրանց համապատասխան ներքին ատրիբուտների վրա, որոնք ստացվում են թեթև բեմի կարգավորումից [10]: Նախնական ջանքերը վերալուսավորելու գործընթացին մոտեցան որպես «սև արկղի» [45, 48]՝ առանց խորանալու հիմքում ընկած մեխանիզմների մեջ: Հետագա զարգացումները որդեգրեցին ֆիզիկայով առաջնորդվող մոդելի ձևավորում՝ ներառելով պատկերների ներքին կառուցվածքի և պատկերների ձևավորման ֆիզիկայի բացահայտ մոդելավորումը [32]: Պանդեյը և այլք: [34] առաջարկել է Total Relight (TR) ճարտարապետությունը, որը նույնպես ղեկավարվում է ֆիզիկայով, որը տրոհում է մուտքային պատկերը մակերևույթի նորմալների և ալբեդոյի քարտեզների և կատարում է վերալուսավորում՝ հիմնված Phong տեսողական արտացոլման մոդելի վրա։ TR ճարտարապետությունը դարձել է պատկերների վերալուսավորման հիմնարար մոդել, որտեղ ամենավերջին և առաջադեմ ճարտարապետությունները հիմնված են դրա սկզբունքի վրա [23, 31, 52]:

Հետևելով ֆիզիկայի կողմից առաջնորդվող մոտեցմանը, մեր ներդրումը կայանում է ճարտարապետության համատեղ նախագծման մեջ՝ ինքնուրույն վերահսկվող նախնական վերապատրաստման շրջանակով: Նախ, մեր ճարտարապետությունը զարգանում է դեպի ավելի ճշգրիտ ֆիզիկական մոդել՝ ինտեգրելով Cook-Torrance ակնաբուժական արտացոլման մոդելը [8], որը զգալի առաջընթաց է ներկայացնում էմպիրիկ Phong սպեկուլյար մոդելից [37], որն օգտագործվում է Total Relight ճարտարապետության մեջ: Cook-Torrance մոդելը հմուտ կերպով նմանակում է լույսի փոխազդեցությունը մակերեսային միկրոէլեկտների հետ՝ հաշվի առնելով տարածականորեն փոփոխվող կոշտությունը և արտացոլումը: Երկրորդը, մեր նախավարժանքների շրջանակը մասշտաբում է ուսուցման գործընթացը դուրս, որպես կանոն, դժվար ձեռք բերել լույսի փուլային տվյալները: Վերանայելով դիմակավորված ինքնակոդավորիչի (MAE) շրջանակը [19]՝ մենք այն ընտելացրինք վերալուսավորման առաջադրանքին: Այս փոփոխությունները ստեղծվել են այս առաջադրանքից առաջացած եզակի մարտահրավերներին դիմակայելու համար՝ հնարավորություն տալով մեր մոդելին սովորել չպիտակավորված տվյալներից և կատարելագործել իր կարողությունը՝ իրատեսական ռելուսավոր դիմանկարներ կարգավորելու ընթացքում: Մեր գիտելիքներով, սա առաջին անգամն է, որ կիրառում ենք ինքնուրույն վերահսկվող նախավարժանք՝ հատուկ վերալուսավորության առաջադրանքի համար:

Ամփոփելով, մեր ներդրումը երկակի է. Նախ, բարելավելով ֆիզիկական արտացոլման մոդելը, մենք ներմուծել ենք ռեալիզմի նոր մակարդակ արտադրանքի մեջ: Երկրորդ, որդեգրելով ինքնուրույն վերահսկվող ուսուցում, մենք ընդլայնել ենք վերապատրաստման տվյալների մասշտաբը և ուժեղացրել լուսավորության արտահայտումը իրական աշխարհի տարբեր սցենարներում: Հավաքականորեն, այս առաջընթացները հանգեցրել են SwitchLight շրջանակին հասնելու մարդկային դիմանկարների վերալուսավորության նորագույն նորարարության: