```html Հեղինակներ՝ Յուն Գաո, NVIDIA, Տորոնտոյի համալսարան, Վեկտորական ինստիտուտ (jung@nvidia.com) Տյանչանգ Շեն, NVIDIA, Տորոնտոյի համալսարան, Վեկտորական ինստիտուտ (frshen@nvidia.com) Ցիան Վանգ, NVIDIA, Տորոնտոյի համալսարան, Վեկտորական ինստիտուտ (zianw@nvidia.com) Վենժենգ Չեն, NVIDIA, Տորոնտոյի համալսարան, Վեկտորական ինստիտուտ (wenzchen@nvidia.com) Կանգսյուե Յին, NVIDIA (kangxuey@nvidia.com) Դայքինգ Լի, NVIDIA (daiqingl@nvidia.com) Օր Լիտանի, NVIDIA (olitany@nvidia.com) Զան Գոջից, NVIDIA (zgojcic@nvidia.com) Սանջա Ֆիդլեր, NVIDIA, Տորոնտոյի համալսարան, Վեկտորական ինստիտուտ (sfidler@nvidia.com) Ամփոփում Քանի որ մի քանի արդյունաբերություններ շարժվում են դեպի զանգվածային 3D վիրտուալ աշխարհների մոդելավորում, 3D բովանդակության քանակի, որակի և բազմազանության առումով մասշտաբային բովանդակության ստեղծման գործիքների անհրաժեշտությունը ակնհայտ է դառնում։ Մեր աշխատանքում մենք նպատակ ունենք մարզել արդյունավետ 3D գեներատիվ մոդելներ, որոնք սինթեզում են տեքստուրացված ցանցեր, որոնք կարող են ուղղակիորեն սպառվել 3D ռենդերինգային շարժիչների կողմից, այդպիսով անմիջապես օգտագործելի ներքևում գտնվող հավելվածներում։ 3D գեներատիվ մոդելավորման նախորդ աշխատանքները կամ բացակայում են երկրաչափական մանրամասները, սահմանափակ են արտադրվող ցանցի տոպոլոգիայի մեջ, սովորաբար չեն աջակցում տեքստուրաներին, կամ օգտագործում են նյարդային ռենդերեր սինթեզի գործընթացում, ինչը դժվարացնում է դրանց օգտագործումը սովորական 3D ծրագրերում։ Այս աշխատանքում մենք ներկայացնում ենք GET3D-ը՝ enerative մոդել, որն ուղղակիորեն ստեղծում է xplicit extured ցանցեր՝ բարդ տոպոլոգիայով, հարուստ երկրաչափական մանրամասներով և բարձր հավատարմությամբ տեքստուրաներով։ Մենք կամրջում ենք վերջին հաջողությունները դիֆերենցիալ մակերեսային մոդելավորման, դիֆերենցիալ ռենդերինգի, ինչպես նաև 2D Generative Adversarial Networks-ի մեջ՝ մեր մոդելը 2D պատկերների հավաքածուներից մարզելու համար։ GET3D-ը ունակ է արտադրել բարձրորակ 3D տեքստուրացված ցանցեր՝ մեքենաներից, աթոռներից, կենդանիներից, մոտոցիկլներից և մարդկային կերպարներից մինչև շենքեր, ձեռք բերելով զգալի բարելավումներ նախորդ մեթոդների համեմատ։ Մեր նախագծի էջը՝ G E T 3D https://nv-tlabs.github.io/GET3D 1 Ներածություն Բազմազան, բարձրորակ 3D բովանդակությունը դառնում է ավելի կարևոր մի քանի ոլորտներում, ներառյալ խաղայինը, ռոբոտաշինությունը, ճարտարապետությունը և սոցիալական հարթակները։ Այնուամենայնիվ, 3D ակտիվների ձեռքով ստեղծումը շատ ժամանակատար է և պահանջում է հատուկ տեխնիկական գիտելիքներ, ինչպես նաև գեղարվեստական մոդելավորման հմտություններ։ Հիմնական մարտահրավերներից մեկը, հետևաբար, մասշտաբն է – մինչդեռ 3D մոդելները կարելի է գտնել 3D շուկաներում, ինչպիսիք են Turbosquid [ ] կամ Sketchfab [ ], շատ 3D մոդելներ ստեղծելը, ասենք, խաղը կամ ֆիլմը բնակեցնելու համար, որտեղ բոլոր կերպարները տարբեր են, դեռևս զգալի քանակությամբ ժամանակ է պահանջում նկարչի համար։ 4 3 Բովանդակության ստեղծման գործընթացը հեշտացնելու և այն հասանելի դարձնելու համար մի շարք (սկսնակ) օգտվողների համար, գեներատիվ 3D ցանցերը, որոնք կարող են արտադրել բարձրորակ և բազմազան 3D ակտիվներ, վերջերս դարձել են հետազոտության ակտիվ ոլորտ [ , , , , , , , , , , ]։ Այնուամենայնիվ, գործնականորեն օգտակար լինելու համար ընթացիկ իրական աշխարհի կիրառությունների համար, 3D գեներատիվ մոդելները իդեալական պետք է բավարարեն հետևյալ պահանջները. դրանք պետք է ունենան մանրամասն երկրաչափությամբ և ցանկացած տոպոլոգիայով ձևեր ստեղծելու հնարավորություն, Արդյունքը պետք է լինի տեքստուրացված ցանց, որը ստանդարտ գրաֆիկական ծրագրային փաթեթների, ինչպիսիք են Blender [ ] և Maya [ ] օգտագործվող հիմնական ներկայացումն է, և Մենք պետք է կարողանանք օգտագործել 2D պատկերները վերահսկողության համար, քանի որ դրանք ավելի լայնորեն հասանելի են, քան արտահայտված 3D ձևերը։ 5 14 43 46 53 68 75 60 59 69 23 (a) (b) 15 1 (c) 3D գեներատիվ մոդելավորման նախորդ աշխատանքները կենտրոնացել են վերոնշյալ պահանջների ենթաբազմերի վրա, բայց մինչ այժմ ոչ մի մեթոդ չի բավարարել բոլորին (Աղյուսակ )։ Օրինակ, մեթոդները, որոնք ստեղծում են 3D կետային ամպեր [ , 68, 75], սովորաբար չեն արտադրում տեքստուրաներ և պետք է հետագա մշակման մեջ վերածվեն ցանցի։ 1 5 Ուղղանկյունաձևեր ստեղծող մեթոդները հաճախ բացակայում են երկրաչափական մանրամասները և չեն արտադրում տեքստուրա [ , , , ]։ Նյարդային դաշտերի վրա հիմնված գեներատիվ մոդելները [ , ] կենտրոնանում են երկրաչափության արդյունահանման վրա, բայց անտեսում են տեքստուրան։ Նրանցից շատերը նաև պահանջում են արտահայտված 3D վերահսկողություն։ Ի վերջո, մեթոդները, որոնք ուղղակիորեն արտադրում են տեքստուրացված 3D ցանցեր [ , ], սովորաբար պահանջում են նախապես սահմանված ձևի ձևանմուշներ և չեն կարող արտադրել բարդ տոպոլոգիայով կամ փոփոխական ցեղով ձևեր։ 66 20 27 40 43 14 54 53 Վերջերս, նյարդային ծավալային ռենդերինգի [ ] և 2D Generative Adversarial Networks (GANs) [ , , , , ] արագ առաջընթացը հանգեցրել է 3D-ին հստակ պատկերների սինթեզի [ , , , , , ]։ Այնուամենայնիվ, այս աշխատանքի շարքը նպատակ ունի բազմա-տեսողական համաձայն պատկերներ սինթեզել՝ օգտագործելով նյարդային ռենդերինգը սինթեզի գործընթացում և չի երաշխավորում, որ իմաստալից 3D ձևեր կարող են ստեղծվել։ Թեև ցանցը, հնարավոր է, կարող է ստացվել հիմքում ընկած նյարդային դաշտի ներկայացումից՝ օգտագործելով մարշային քառանկյուն ալգորիթմ [ ], համապատասխան տեքստուրայի արդյունահանումը ոչ մի նշանակալի ջանք չի պահանջում։ 45 34 35 33 29 52 7 57 8 49 51 25 39 Այս աշխատանքում մենք ներկայացնում ենք նորարարական մոտեցում, որը նպատակ ունի լուծել գործնականորեն օգտակար 3D գեներատիվ մոդելների բոլոր պահանջները։ Մասնավորապես, մենք ներկայացնում ենք GET3D-ը՝ enerative մոդել 3D ձևերի համար, որն ուղղակիորեն արտադրում է xplicit extured ցանցեր՝ բարձր երկրաչափական և տեքստուրային մանրամասներով և ցանկացած ցանցային տոպոլոգիայով։ Մեր մոտեցման սրտում գտնվում է գեներատիվ գործընթացը, որն օգտագործում է դիֆերենցիալ մակերեսի արդյունահանման մեթոդ [ ] և դիֆերենցիալ ռենդերինգի տեխնիկա [ , ]։ Նախկինը մեզ հնարավորություն է տալիս ուղղակիորեն օպտիմալացնել և արտադրել տեքստուրացված 3D ցանցեր ցանկացած տոպոլոգիայով, մինչդեռ վերջինս մեզ թույլ է տալիս մարզել մեր մոդելը 2D պատկերներով, այդպիսով օգտագործելով հզոր և հասուն դիսկրիմինատորներ, որոնք մշակվել են 2D պատկերների սինթեզի համար։ Քանի որ մեր մոդելը ուղղակիորեն ստեղծում է ցանցեր և օգտագործում է բարձր արդյունավետ (դիֆերենցիալ) գրաֆիկական ռենդերեր, մենք կարող ենք հեշտությամբ մեծացնել մեր մոդելը՝ պատկերներով մարզելու համար resolution as high as 1024 × 1024, allowing us to learn high-quality geometric and texture details. G E T 3D արտահայտված 60 47 37 Մենք ցուցադրում ենք պետական-ժամանակակից կատարումը անպայմանական 3D ձևի ստեղծման համար մի քանի կատեգորիաներում՝ բարդ երկրաչափությամբ ShapeNet [ ], Turbosquid [ ] և Renderpeople [ ], ինչպիսիք են աթոռները, մոտոցիկլները, մեքենաները, մարդկային կերպարները և շենքերը, ձեռք բերելով զգալի բարելավումներ նախորդ մեթոդների համեմատ։ Արտահայտված ցանցի որպես արտադրանքի ներկայացման միջոցով GET3D-ը նաև շատ ճկուն է և կարող է հեշտությամբ հարմարեցվել այլ առաջադրանքների, այդ թվում՝ սովորել ապակոմպոզիտային նյութերի և դիտողական լուսային էֆեկտների ստեղծմանը՝ օգտագործելով առաջադեմ դիֆերենցիալ ռենդերինգ [ ], առանց վերահսկողության, տեքստային ուղղորդված 3D ձևի ստեղծում՝ օգտագործելով CLIP [ ] ներդրում։ 9 4 2 (a) 12 (b) 56 2 Հարակից աշխատանքներ Մենք վերանայում ենք վերջին առաջընթացները 3D գեներատիվ մոդելներում երկրաչափության և արտաքին տեսքի համար, ինչպես նաև 3D-ին հստակ գեներատիվ պատկերների սինթեզում: Վերջին տարիներին 2D գեներատիվ մոդելները ձեռք են բերել ֆոտոռեալիստիկ որակ բարձրորակ պատկերների սինթեզում [ , , , , , , ]։ Այս առաջընթացը նաև ոգեշնչել է հետազոտությունները 3D բովանդակության ստեղծման ոլորտում։ Վաղ մոտեցումները նպատակ ունեին ուղղակիորեն ընդլայնել 2D CNN գեներատորները դեպի 3D ուղղանկյուն ցանցեր [ , , , , ], բայց 3D կոնվոլյուցիաների բարձր հիշողության հետքը և հաշվողական բարդությունը խոչընդոտում են բարձրորակ սինթեզի գործընթացին։ Որպես այլընտրանք, այլ աշխատանքներ ուսումնասիրել են կետային ամպային [ , , , ], անհստակ [ , ] կամ օկտեի [ ] ներկայացումներ։ Այնուամենայնիվ, այս աշխատանքները հիմնականում կենտրոնանում են երկրաչափության ստեղծման վրա և անտեսում են արտաքին տեսքը։ Նրանց արտադրանքի ներկայացումները նույնպես պետք է հետագա մշակվեն, որպեսզի դրանք համատեղելի լինեն ստանդարտ գրաֆիկական շարժիչների հետ։ 3D Գեներատիվ Մոդելներ 34 35 33 52 29 19 16 66 20 27 40 62 5 68 75 46 43 14 30 Ավելի նման մեր աշխատանքին, Textured3DGAN [ , ] և DIBR [ ] ստեղծում են տեքստուրացված 3D ցանցեր, բայց նրանք ձևակերպում են ստեղծումը որպես ձևանմուշ ցանցի ձևափոխում, ինչը խոչընդոտում է նրանց բարդ տոպոլոգիա կամ տարբեր ցեղ ունեցող ձևեր ստեղծելուն, ինչը մեր մեթոդը կարող է անել։ PolyGen [ ] և SurfGen [ ] կարող են արտադրել ցանցեր ցանկացած տոպոլոգիայով, բայց չեն սինթեզում տեքստուրաներ։ 54 53 11 48 41 Ոգեշնչված նյարդային ծավալային ռենդերինգի [ ] և անհստակ ներկայացումների [ , ] հաջողություններից, վերջին աշխատանքները սկսել են լուծել 3D-ին հստակ պատկերների սինթեզի խնդիրը [ , , , , , , , , , ]։ Այնուամենայնիվ, նյարդային ծավալային ռենդերինգային ցանցերը սովորաբար դանդաղ են հարցման համար, ինչը հանգեցնում է երկար մարզման ժամանակի [ , ], և ստեղծում են սահմանափակ լուծաչափի պատկերներ։ GIRAFFE [ ] և StyleNerf [ ] բարելավում են մարզման և ռենդերինգի արդյունավետությունը՝ ռենդերինգը կատարելով ցածր լուծաչափով, այնուհետև վերածելով արդյունքները 2D CNN-ով։ Այնուամենայնիվ, կատարման բարելավումը գալիս է բազմա-տեսողական համաձայնության նվազման գնով։ Երկակի դիսկրիմինատոր օգտագործելով, EG3D [ ] կարող է մասամբ մեղմել այս խնդիրը։ Այդուհանդերձ, նյարդային ռենդերինգի վրա հիմնված մեթոդներից տեքստուրացված մակերեսի արդյունահանումը ոչ մի նշանակալի ջանք չի պահանջում։ Ի տարբերություն, GET3D-ը ուղղակիորեն արտադրում է տեքստուրացված 3D ցանցեր, որոնք կարող են անմիջապես օգտագործվել ստանդարտ գրաֆիկական շարժիչներում։ 3D-ին Հստակ Գեներատիվ Պատկերների Սինթեզ 45 43 14 7 57 49 26 25 76 8 51 58 67 7 57 49 25 8 3 Մեթոդ Այժմ մենք ներկայացնում ենք մեր GET3D շրջանակը՝ տեքստուրացված 3D ձևերի սինթեզի համար։ Մեր ստեղծման գործընթացը բաժանված է երկու մասի. երկրաչափության ճյուղ, որն դիֆերենցիալ կերպով արտադրում է ցանկացած տոպոլոգիայի մակերեսային ցանց, և տեքստուրայի ճյուղ, որը արտադրում է տեքստուրայի դաշտ, որը կարող է հարցվել մակերեսային կետերում՝ գույներ արտադրելու համար։ Վերջինս կարող է ընդլայնվել այլ մակերեսային հատկությունների, ինչպիսիք են, օրինակ, նյութերը (Գլ. ): Մարզման ընթացքում օգտագործվում է արդյունավետ դիֆերենցիալ ռաստերայզեր՝ 2D բարձրորակ պատկերների ստեղծման համար։ Ամբողջ գործընթացը դիֆերենցիալ է, ինչը հնարավորություն է տալիս մարզել ադվերսարիալ եղանակով պատկերներից (միշտ նշելով օբյեկտի մասին), 2D դիսկրիմինատորից գրադիենտները տարածելով երկու գեներատորի ճյուղերում։ Մեր մոդելը պատկերված է Նկ. ։ Հետագայում մենք նախ կներկայացնենք մեր 3D գեներատորը Գլ. , մինչև կանցնենք դիֆերենցիալ ռենդերինգ և կորուստի գործառույթներին Գլ. : 4.3.1 2 3.1 3.2 3.1 3D Տեքստուրացված Ցանցերի Գեներատիվ Մոդել Մենք նպատակ ունենք մարզել 3D գեներատոր = ( )՝ Գաուսյան բաշխումից նմուշը ∈ N (0*,* ) ցանցի տեքստուրայով վերածելու համար։ M, E G z z I M E Քանի որ նույն երկրաչափությունը կարող է ունենալ տարբեր տեքստուրաներ, և նույն տեքստուրան կարող է կիրառվել տարբեր երկրաչափությունների վրա, մենք նմուշառում ենք երկու պատահական մուտքային վեկտորներ 1 ∈ R512 և 2 ∈ R512։ Հետևելով StyleGAN-ին [ , , ], մենք այնուհետև օգտագործում ենք ոչ գծային մշակման ցանցեր geo և tex՝ 1 և 2 վերածելու միջանկյալ թաքնված վեկտորների 1 = geo( 1) և 2 = tex( 2), որոնք հետագայում օգտագործվում են արտադրելու համար, որոնք վերահսկում են, համապատասխանաբար, 3D ձևերի և տեքստուրայի ստեղծումը։ Մենք ձևայնացնում ենք երկրաչափության գեներատորը Գլ. -ում, իսկ տեքստուրայի գեներատորը՝ Գլ. -ում։ z z 34 35 33 f f z z w f z w f z ոճերի 3.1.1 3.1.2 3.1.1 Երկրաչափության Գեներատոր Մենք մեր երկրաչափության գեներատորը մշակում ենք՝ ներառելով DMTet [ ], վերջերս առաջարկված դիֆերենցիալ մակերեսային ներկայացում։ DMTet-ը երկրաչափությունը ներկայացնում է որպես ստորագրված հեռավորության դաշտ (SDF), որը սահմանված է դեֆորմացվող քառանկյուն ցանցի վրա [ , ], որից մակերեսը կարող է դիֆերենցիալ վ 60 22 24
