Авторлар: Jun Gao, NVIDIA, University of Toronto, Vector Institute (jung@nvidia.com) Tianchang Shen, NVIDIA, University of Toronto, Vector Institute (frshen@nvidia.com) Zian Wang, NVIDIA, University of Toronto, Vector Institute (zianw@nvidia.com) Wenzheng Chen, NVIDIA, University of Toronto, Vector Institute (wenzchen@nvidia.com) Kangxue Yin, NVIDIA (kangxuey@nvidia.com) Daiqing Li, NVIDIA (daiqingl@nvidia.com) Or Litany, NVIDIA (olitany@nvidia.com) Zan Gojcic, NVIDIA (zgojcic@nvidia.com) Sanja Fidler, NVIDIA, University of Toronto, Vector Institute (sfidler@nvidia.com) Аннотация Кәсіпкерлік салалар массивті 3D виртуалды әлемдерді модельдеуге бет алғандықтан, 3D контенттің саны, сапасы және әртүрлілігі бойынша масштабталатын мазмұн жасау құралдарына деген қажеттілік айқын болып отыр. Біздің жұмысымызда біз 3D рендеринг қозғалтқыштарымен тікелей тұтынылатын, яғни келесі қолданбаларда дереу қолданылатын текстуралы толық торларды синтездейтін өнімді 3D генеративті модельдерді оқытуды мақсат етеміз. 3D генеративті модельдеу бойынша бұрынғы жұмыстар не геометриялық мәліметтердің жетіспеушілігімен, не шығара алатын толық тораптың топологиясымен шектелген, әдетте текстураларды қолдамайды немесе синтез процесінде нейрондық рендерлерді пайдаланады, бұл оларды жалпы 3D бағдарламалық жасақтамасында пайдалануды қиындатады. Бұл жұмыста біз GET3D, күрделі топологиясы, бай геометриялық мәліметтері және жоғары сапалы текстуралары бар тікелей текстуралы 3D толық торларды шығаратын enerative model of xplicit extured meshes моделін ұсынамыз. Біз 2D суреттер жинағынан моделімізді оқыту үшін дифференциалды беттік модельдеу, дифференциалды рендеринг және 2D генеративті қарсылас желілеріндегі соңғы жетістіктерді пайдаланамыз. GET3D көліктер, креслолар, жануарлар, мотоциклдер мен адам кейіпкерлерінен бастап ғимараттарға дейінгі жоғары сапалы 3D текстуралы толық торларды шығара алады, бұл бұрынғы әдістерге қарағанда айтарлықтай жақсартылған нәтижелерге қол жеткізеді. Біздің жоба парақшамыз: G E T 3D https://nv-tlabs.github.io/GET3D 1 Кіріспе Әртүрлі, жоғары сапалы 3D контент ойын, робототехника, сәулет және әлеуметтік платформаларды қоса алғанда, бірнеше индустрия үшін барған сайын маңызды болып отыр. Алайда, 3D активтерді қолмен жасау өте уақытты қажет етеді және арнайы техникалық білімді, сондай-ақ көркемдік модельдеу дағдыларын талап етеді. Негізгі қиындықтардың бірі - масштаб. Турбоскид [ ] немесе Sketchfab [ ] сияқты 3D маркетплейстерінде 3D модельдерді табуға болатын болса да, ойынды немесе фильмді әр түрлі көрінетін көптеген 3D модельдермен толтыру үшін көптеген 3D модельдерді жасау әлі де суретшінің айтарлықтай уақытын алады. 4 3 Мазмұн жасау процесін жеңілдету және оны әртүрлі (жаңадан бастаған) пайдаланушылар үшін қолжетімді ету мақсатында, жоғары сапалы және әртүрлі 3D активтерді шығара алатын генеративті 3D желілері жақында зерттеудің белсенді аймағына айналды [ , , , , , , , , , , ]. Дегенмен, ағымдағы нақты қолданбалар үшін практикалық пайдалы болуы үшін 3D генеративті модельдер келесі талаптарды орындауы керек: Олардың егжей-тегжейлі геометриясы бар пішіндерді және кез келген топологияны шығару қабілеті болуы керек, Шығарылым - бұл Blender [ ] және Maya [ ] сияқты стандартты графикалық бағдарлама пакеттерімен қолданылатын негізгі өкілдік болып табылатын текстуралы толық торы, және Біз 2D суреттерді қадағалау үшін қолдана алуымыз керек, өйткені олар нақты 3D пішіндерге қарағанда кеңірек қол жетімді. 5 14 43 46 53 68 75 60 59 69 23 (a) (b) 15 1 (c) 3D генеративті модельдеу бойынша бұрынғы жұмыстар жоғарыда аталған талаптардың бір бөлігіне бағытталған, бірақ осы уақытқа дейін ешбір әдіс олардың барлығын орындамайды (1-кесте ). Мысалы, 3D нүкте бұлттарын [ , 68, 75] шығаратын әдістер әдетте текстураларды шығармайды және оларды пост-өңдеуде толық торға түрлендіруге тура келеді. 1 5 Воксельдерді шығаратын әдістер көбінесе геометриялық мәліметтердің жетіспеушілігімен сипатталады және текстураны шығармайды [ , , , ]. Нейрондық өрістерге [ , ] негізделген генеративті модельдер геометрияны алуға бағытталған, бірақ текстураны елемейді. Олардың көпшілігі нақты 3D қадағалауды да талап етеді. Ақырында, тікелей текстуралы 3D толық торларды [ , ] шығаратын әдістер әдетте алдын ала белгіленген пішін үлгілерін талап етеді және күрделі топологиясы немесе әр түрлі генус бар пішіндерді шығара алмайды. 66 20 27 40 43 14 54 53 Жақында нейрондық көлемді рендеринг [ ] және 2D генеративті қарсылас желілері (GANs) [ , , , , ] саласындағы жылдам ілгерілеу 3D-танымы бар сурет синтезінің [ , , , , , ] пайда болуына әкелді. Дегенмен, бұл жұмыстардың мақсаты нейрондық рендерингті синтез процесінде қолданып, көп көріністі үйлесімді суреттерді синтездеу болып табылады және мағыналы 3D пішіндерді шығаруға кепілдік бермейді. Нейрондық өріс өкілділігінен маршинг кубтар алгоритмін [ ] қолданып, толық торды шығаруға болатын болса да, сәйкес текстураны алу қиынға соғады. 45 34 35 33 29 52 7 57 8 49 51 25 39 Бұл жұмыста біз практикалық пайдалы 3D генеративті модельдің барлық талаптарын қанағаттандыруға бағытталған жаңа әдісті ұсынамыз. Атап айтқанда, біз GET3D, жоғары геометриялық және текстуралық мәліметтермен және кез келген толық тор топологиясымен тікелей xplicit extured толық торларын шығаратын 3D пішіндерге арналған enerative модельді ұсынамыз. Біздің әдісіміздің негізінде дифференциалды беттік экстракция әдісі [ ] және дифференциалды рендеринг әдісі [ , ] қолданылатын генеративті процесс жатыр. Біріншісі бізге кез келген топологиясы бар тікелей толық торларды оңтайландыруға және шығаруға мүмкіндік береді, ал екіншісі бізге 2D суреттерді қолданып моделімізді оқытуға мүмкіндік береді, осылайша 2D сурет синтезі үшін әзірленген қуатты және жетілдірілген дискриминаторларды пайдаланамыз. Біздің моделіміз тікелей толық торларды шығарады және жоғары тиімді (дифференциалды) графикалық рендерді пайдаланатындықтан, біз моделімізді 1024 × 1024 дейінгі сурет ажыратымдылығымен оқыту үшін оңай масштабтай аламыз, бұл бізге жоғары сапалы геометриялық және текстуралық мәліметтерді оқуға мүмкіндік береді. E T 3D G explicit 60 47 37 Біз ShapeNet [ ], Turbosquid [ ] және Renderpeople [ ] сияқты көліктер, креслолар, жануарлар, адам кейіпкерлері және ғимараттар сияқты күрделі геометриясы бар бірнеше санаттағы бейнесіз 3D пішін генерациясы үшін жоғары сапалы нәтижелерді көрсетеміз. Тікелей толық тор ретіндегі шығарылым өкілдігімен GET3D басқа да тапсырмаларға оңай бейімделуге болады, соның ішінде: дифференциалды рендеринг [ ] арқылы бөлінген материалдар мен көрініске тәуелді жарықтандыру эффекттерін жасауды үйрену, қадағалаусыз, CLIP [ ] эмбеддингін қолданып, мәтінмен басқарылатын 3D пішін генерациясы. 9 4 2 (a) 12 (b) 56 2 Байланысты жұмыстар Біз геометрия мен сыртқы көрініс үшін 3D генеративті модельдердегі, сондай-ақ 3D-танымы бар генеративті сурет синтезіндегі жақындағы жетістіктерді қарастырамыз. Соңғы жылдары, 2D генеративті модельдер жоғары ажыратымдылықтағы сурет синтезінде фотореалистік сапаға қол жеткізді [ , , , , , , ]. Бұл жетістік 3D контент генерациясы бойынша да зерттеулерге шабыт берді. Алғашқы әдістер 2D CNN генераторларын 3D воксельдік торларға [ , , , , ] тікелей кеңейтуге бағытталған, бірақ 3D конволюциялардың жоғары жадты тұтынуы және есептеу күрделілігі жоғары ажыратымдылықтағы генерация процесін тежейді. Балама ретінде, басқа жұмыстар нүкте бұлты [ , , , ], имплицитті [ , ] немесе октант [ ] өкілдіктерін зерттеді. Алайда, бұл жұмыстар негізінен геометрияны генерациялауға бағытталған және сыртқы көріністі елемейді. Олардың шығарылым өкілдіктері стандартты графикалық қозғалтқыштармен үйлесімді болу үшін пост-өңдеуді қажет етеді. 3D генеративті модельдер 34 35 33 52 29 19 16 66 20 27 40 62 5 68 75 46 43 14 30 Біздің жұмысымызға жақын Textured3DGAN [ , ] және DIBR [ ] текстуралы 3D толық торларды шығарады, бірақ олар генерацияны үлгі торының деформациясы ретінде қалыптастырады, бұл оларды күрделі топология немесе әр түрлі генустері бар пішіндерді шығарудан [*] шектейді, ал біздің әдісіміз мұны істей алады. PolyGen [ ] және SurfGen [ ] кез келген топологиясы бар толық торларды шығара алады, бірақ текстураларды синтездемейді. 54 53 11 48 41 Нейрондық көлемді рендеринг [ ] және имплицитті өкілдіктердің [ , ] жетістіктерінен шабыт алғандықтан, соңғы жұмыстар 3D-танымы бар сурет синтезі [ , , , , , , , , , ] мәселесін шешуге кірісті. Алайда, нейрондық көлемді рендеринг желілері әдетте қою үшін баяу, бұл ұзақ оқыту уақытына [ , ] әкеледі және шектеулі ажыратымдылықтағы суреттерді шығарады. GIRAFFE [ ] және StyleNerf [ ] нейрондық рендерингті төмен ажыратымдылықта орындап, содан кейін нәтижелерді 2D CNN арқылы жоғарылата отырып, оқыту және рендеринг тиімділігін арттырады. Алайда, өнімділік арттыру көп көріністі үйлесімділіктің төмендеуі есебінен келеді. Қос дискриминаторды [ ] пайдалану арқылы EG3D бұл мәселені ішінара жеңілдете алады. Соған қарамастан, нейрондық рендерингке негізделген әдістерден текстуралы бетін алу күрделі міндет болып табылады. Керісінше, GET3D тікелей қолданылатын текстуралы 3D толық торларын шығарады, олар стандартты графикалық қозғалтқыштарда қолданыла алады. 3D-танымы бар генеративті сурет синтезі 45 43 14 7 57 49 26 25 76 8 51 58 67 7 57 49 25 8 3 Әдіс Енді біз текстуралы 3D пішіндерді синтездеуге арналған GET3D жақтауын ұсынамыз. Біздің генерация процесі екі бөлікке бөлінген: кез келген топологияның беттік торын дифференциалды түрде шығаратын геометриялық бұтақ және беттік нүктелерде түстерді шығару үшін сұралатын текстуралық өріс шығаратын текстура бұтағы. Екіншісі басқа беттік қасиеттерді, мысалы, материалдарды (4.3.1-бөлім) шығару үшін кеңейтілуі мүмкін. Оқыту кезінде 2D жоғары ажыратымдылықтағы суреттерді рендерлеу үшін тиімді дифференциалды растризатор пайдаланылады. Барлық процесс дифференциалды, бұл 2D дискриминатордан екі генератор бұтағына градиенттерді тарату арқылы суреттерден (объектіні көрсететін маскалармен) қарсылас оқытуға мүмкіндік береді. Біздің моделіміз 2-суретте көрсетілген. Келесіде, біз алдымен 3.1-бөлімде 3D генераторымызды, содан кейін 3.2-бөлімде дифференциалды рендеринг және шығындар функцияларын енгіземіз. 3.1 3D текстуралы толық торлардың генеративті моделі Біз ∈ N (0*,* ) гаусс бөлінісінен алынған үлгіні текстурасы бар торына, = ( ) ауыстыратын 3D генераторын оқытуды мақсат етеміз. z I E M M, E G z Бірдей геометрия әр түрлі текстураларға ие болуы мүмкін, ал бірдей текстура әр түрлі геометрияларға қолданылуы мүмкін болғандықтан, біз екі кездейсоқ енгізу векторын 1 ∈ R512 және 2 ∈ R512 үлгілейміз. StyleGAN [ , , ] бойынша, біз 1 және 2-ні аралық жасырын векторларға 1 = geo( 1) және 2 = tex( 2) ауыстыру үшін сызықтық емес картография желілерін geo және tex пайдаланамыз, олар 3D пішіндер мен текстура генерациясын басқаратын *стильдерді* шығару үшін одан әрі қолданылады. Біз 3.1.1-бөлімде геометрия үшін генераторды және 3.1.2-бөлімде текстура генераторын формалды түрде енгіземіз. z z 34 35 33 z z w f z w f z f f 3.1.1 Геометрия генераторы Біз геометрия генераторын жақында ұсынылған дифференциалды беттік өкілдік болып табылатын DMTet [ ] қосу үшін жобалаймыз. DMTet геометрияны деформацияланатын тетраэдрлік торына [ , ] анықталған белгілі қашықтық өрісі (SDF) ретінде бейнелейді, одан беттік тетраэдрлерді марширлеу [ ] арқылы дифференциалды түрде қалпына келтіруге болады. Торының төбелерін жылжыту арқылы деформациялау оның ажыратымдылығын жақсы пайдалануға мүмкіндік береді. Беттік экстракция үшін DMTet-ті қабылдау арқылы біз кез келген топологиясы бар тікелей толық торларды шығара аламыз. Келесіде біз DMTet-ті қысқаша қорытындылаймыз және толық мәліметтерді түпнұсқа мақаладан таба аласыз. 60 22 24 17 Біз ( ) объект орналасқан толық 3D кеңістікті бейнелейміз, мұндағы тетраэдрлік торы төбелері болып табылады. Әрбір тетраэдр ∈ төрт төбесімен { } анықталады, мұндағы ∈ {1*, . . . , K*}, - жалпы тетраэдр саны, ал ∈ ∈ R3. Оның 3D координаталарына қоса, әрбір төбе SDF мәні ∈ R және бастапқы каноникалық координатадан төбенің деформациясы ∆ ∈ R3 мәндерін қамтиды. Бұл өкілдік деформацияланған төбелер ′ = + ∆ бойынша олардың мәндерін барцентрлік интерполяциялау арқылы есептелетін үздіксіз кеңістіктегі SDF мәндері арқылы дифференциалды маршинг тетраэдрлері [ ] арқылы тікелей толық торды қалпына келтіруге мүмкіндік береді. VT , T VT T Tk T v ak , v bk , v ck , v dk k K v ik VT , v ik v i si v i v v i v i si 60 Біз 1 ∈ R512-ні шартты 3D конволюциялық және толық қосылған қабаттар сериясы арқылы әрбір төбе үшін SDF мәндері мен деформацияларға ауыстырамыз. Атап айтқанда, біз алдымен 1 шартымен ерекшеленетін ерекшеліктер көлемін шығару үшін 3D конволюциялық қабаттарды қолданамыз. Содан кейін біз әрбір төбе ∈ үшін трилинейлік интерполяцияны қолданып, ерекшеліктерді сұраймыз және оны SDF мәні мен деформация ∆ шығаратын MLP-лерге береміз. Жоғары ажыратымдылықта модельдеу қажет болған жағдайда (мысалы, дөңгелектердегі жіңішке құрылымдары бар мотоцикл), біз [ ] бойынша көлемді бөлуді одан әрі қолданамыз. Желі архитектурасы w v i w v i VT si v i 60 Барлық төбелер үшін және ∆ алғаннан кейін, біз тікелей торы бар толық торы шығару үшін дифференциалды маршинг тетраэдрлер алгоритмін қолданамыз. Маршинг тетраэдрлер тетраэдр ішіндегі бет топологиясын белгілеріне негізделгеніне анықтайды. Атап айтқанда, беттік бет тетраэдрдің шетіндегі төбелердің индекстері үшін sign( ) /= sign( ) болған кезде шығарылады, және сол беттің төбелері сызықтық интерполяция ретінде анықталады mi,j = v 0 i sj−v 0 j si sj−si . Ескеріңіз, жоғарыдағы теңдеу тек si 6= sj болғанда ғана бағаланады, сондықтан ол дифференциалды болып табылады және mi,j градиенті SDF мәндері si және деформациялар ∆vi ішіне кері таратылуы мүмкін. Осы өкілдікпен, кез келген топологиясы бар пішіндерді si әр түрлі белгілерін болжау арқылы оңай жасауға болады. Дифференциалды торы бар толық торы шығару si v i si i, j si sj m i,j 3.1.2 Текстура генераторы Шығарылған торымен үйлесімді текстура картасын тікелей жасау оңай емес, өйткені шығарылған пішіннің кез келген генусі мен топологиясы болуы мүмкін. Сондықтан біз текстураны текстуралық өріс [ ] ретінде параметризациялаймыз. 50 Атап айтқанда, біз текстуралық өрісті функциясымен модельдейміз, ол бет нүктесінің 3D орналасуын ∈ R3, 2 шартымен, сол орналасудағы RGB түсі ∈ R3-ке ауыстырады. Текстуралық өріс геометрияға байланысты болғандықтан, біз бұл картографияны геометриялық жасырын код 1 шартымен де шарттаймыз, сондықтан = ( *,* 1 ⊕ 2), мұндағы ⊕ конкатенацияны білдіреді. ft p w c w c ft p w w Біз өзіміздің текстуралық өрісімізді 3D объектілерін қалпына келтіруде [ ] және 3D-танымы бар суреттерді [ ] жасауда тиімді және экспрессивті болатын үш жазықтық өкілдігі арқылы бейнелейміз. Атап айтқанда, біз [ , ] бойынша әрекет етеміз және жасырын код 1 ⊕ 2-ні × × ( × 3) өлшемді үш осьтік ортогональды ерекшелік жазықтықтарына ауыстыру үшін шартты 2D конволюциялық нейрондық желіні қолданамыз, мұндағы = 256 кеңістік ажыратымдылығын және = 32 арна санын білдіреді. Желі архитектурасы 55 8 8 35 w w N N C N C Ерекшелік жазықтықтарын бергенде, беттік нүкте p-нің ерекшелік векторы f t ∈ R 32 , f t = P e ρ(πe(p)) ретінде қалпына келтіріледі, м
