```html Зохиогчид: Жун Гао, NVIDIA, Торонтогийн их сургууль, Вектор институти (jung@nvidia.com) Тианчанг Шен, NVIDIA, Торонтогийн их сургууль, Вектор институти (frshen@nvidia.com) Зиан Ван, NVIDIA, Торонтогийн их сургууль, Вектор институти (zianw@nvidia.com) Венженг Чен, NVIDIA, Торонтогийн их сургууль, Вектор институти (wenzchen@nvidia.com) Кансюэ Инь, NVIDIA (kangxuey@nvidia.com) Дайцин Ли, NVIDIA (daiqingl@nvidia.com) Ор Литани, NVIDIA (olitany@nvidia.com) Зан Гоичич, NVIDIA (zgojcic@nvidia.com) Санжа Фидлер, NVIDIA, Торонтогийн их сургууль, Вектор институти (sfidler@nvidia.com) Хураангуй Олон салбарууд том хэмжээний 3D виртуал ертөнцийг загварчлах руу шилжиж байгаа тул 3D контентын тоо, чанар, төрөл зүйлийг нэмэгдүүлэх чадвартай контент бүтээх хэрэгслүүдийн хэрэгцээ тодорхой болж байна. Бидний ажлын зорилго нь 3D рендеринг хөдөлгүүрүүдэд шууд хэрэглэгдэх боломжтой, шууд дараагийн хэрэглээнд ашиглагдах боломжтой текстур бүхий мешүүдийг нийлэгжүүлэх гүйцэтгэл сайтай 3D үүсгэгч загваруудыг сургах явдал юм. 3D үүсгэгч загварчлалын өмнөх ажлууд нь ихэвчлэн геометрийн нарийвчлал дутмаг, гаргаж чадах меш топологид хязгаарлагдмал, ихэвчлэн текстурийг дэмждэггүй, эсвэл нийлэгжүүлэх процесст мэдрэлийн рендерер ашигладаг бөгөөд энэ нь тэдгээрийг нийтлэг 3D програм хангамжид ашиглахыг хүндрүүлдэг. Энэхүү бүтээлд бид GET3D-ийг танилцуулж байна, энэ нь enerative загвар нь шууд xplicit extured мешүүдийг нарийн топологи, нарийвчилсан геометрийн нарийвчилсан байдал, өндөр чанартай текстур бүхий нийлэгжүүлдэг. Бид 2D дүрсийн цуглуулгаас загвараа сургахын тулд нэвтрэх боломжтой гадаргуугийн загварчлал, нэвтрэх боломжтой рендеринг, мөн 2D үүсгэгч сүлжээний сүүлийн үеийн амжилтуудыг ашигласан. GET3D нь машин, сандал, амьтан, мотоцикл, хүний дүрээс эхлээд барилга хүртэл өндөр чанартай 3D текстур бүхий мешүүдийг үүсгэж чаддаг бөгөөд өмнөх аргуудаас ихээхэн сайжирсан. Манай төслийн хуудас: G E T 3D https://nv-tlabs.github.io/GET3D 1 Танилцуулга Олон янзын, өндөр чанартай 3D контент нь тоглоом, робот техник, архитектур, нийгмийн платформ зэрэг хэд хэдэн салбарт улам бүр чухал болж байна. Гэсэн хэдий ч 3D хөрөнгийг гараар бүтээх нь маш их цаг хугацаа шаарддаг бөгөөд тодорхой техникийн мэдлэг, урлагийн загварчлалын ур чадварыг шаарддаг. Гол бэрхшээлүүдийн нэг бол хэмжээ юм - TurboSquid [ ] эсвэл Sketchfab [ ] зэрэг 3D зах зээл дээр 3D загварыг олж болно. Тоглоом эсвэл киног бүгд өөр өөр харагддаг дүрүүдээр дүүргэхийн тулд олон 3D загвар үүсгэх нь уран бүтээлчдийн их цаг хугацааг шаарддаг. 4 3 Контент бүтээх үйл явцыг хөнгөвчлөх, олон төрлийн (шилдэг бус) хэрэглэгчдэд хүртээмжтэй болгохын тулд өндөр чанартай, олон янзын 3D хөрөнгийг гаргах чадвартай үүсгэгч 3D сүлжээнүүд нь саяхан судалгааны идэвхтэй чиглэл болсон [ , , , , , , , , , , ]. Гэсэн хэдий ч бодит ертөнцийн хэрэглээнд практик байдлаар ашиглахын тулд 3D үүсгэгч загварууд дараах шаардлагуудыг хангасан байх ёстой: Тэдгээр нь нарийн төвөгтэй геометр, дур зоргоороо топологи бүхий хэлбэрийг үүсгэх чадвартай байх ёстой, Гаралт нь Blender [ ] болон Maya [ ] зэрэг стандарт графикийн програм хангамжийн багцуудад ашигладаг үндсэн төлөөлөл болох текстур бүхий меш байх ёстой, мөн Тэдгээр нь илүү өргөн тархсан байдаг тул 2D дүрсийг хяналт болгон ашиглах боломжтой байх ёстой. 5 14 43 46 53 68 75 60 59 69 23 (a) (b) 15 1 (c) 3D үүсгэгч загварчлалын өмнөх ажил нь дээрх шаардлагуудын заримд нь анхаарлаа хандуулсан боловч өнөөдрийг хүртэл нэг ч арга нь тэдгээрийг бүгдийг нь хангаагүй байна (Таб. ). Жишээлбэл, 3D цэгүүдийн үүлсийг үүсгэдэг аргууд [ , 68, 75] нь ихэвчлэн текстурийг үүсгэдэггүй бөгөөд дараа нь постоор меш болгон хувиргах шаардлагатай болдог. 1 5 Вокселийг үүсгэдэг аргууд нь ихэвчлэн геометрийн нарийвчиллыг алддаг бөгөөд текстурийг үүсгэдэггүй [ , , , ]. Мэдрэлийн талбар дээр суурилсан үүсгэгч загварууд [ , ] нь гадаргуугийн геометрийг олж авахад анхаардаг боловч текстурийг үл хайхрах болно. Эдгээрийн ихэнх нь мөн тодорхой 3D хяналтыг шаарддаг. Эцэст нь, шууд текстур бүхий 3D мешүүдийг гаргадаг аргууд [ , ] нь ихэвчлэн урьдчилан тодорхойлсон хэлбэрийн загварыг шаарддаг бөгөөд нарийн төвөгтэй топологи, хувьсах генийг агуулсан хэлбэрийг үүсгэж чадахгүй. 66 20 27 40 43 14 54 53 Саяхан мэдрэлийн эзэлхүүн рендеринг [ ] болон 2D үүсгэгч сүлжээний сүлжээний [ , , , , ] дэх хурдацтай дэвшил нь 3D-aware дүрсийн нийлэгжилтийн [ , , , , , ] өсөлтийг өдөөсөн. Гэсэн хэдий ч энэ чиглэлийн ажил нь нийлэгжүүлэх процесст мэдрэлийн рендерингийг ашиглан олон хувилбарт нийцсэн дүрсийг нийлэгжүүлэхийг зорилготой бөгөөд утга учиртай 3D хэлбэрийг үүсгэж болохыг баталгаажуулдаггүй. Хэдийгээр мешийг март алгоритм [ ] ашиглан доор байрлах мэдрэлийн талбарын төлөөллөөс олж авч болох ч, холбогдох текстурийг олж авахад хүндрэлтэй байдаг. 45 34 35 33 29 52 7 57 8 49 51 25 39 Энэхүү бүтээлд бид практик 3D үүсгэгч загварт шаардлагатай бүх шаардлагыг хангах шинэлэг аргыг танилцуулж байна. Тодруулбал, бид GET3D-ийг санал болгож байна, энэ нь өндөр чанартай геометрийн болон текстурийн нарийвчилсан байдал, дур зоргоороо меш топологи бүхий xplicit extured мешүүдийг шууд гаргадаг 3D хэлбэрийн enerative загвар юм. Бидний аргын зүрхэнд нэвтрэх боломжтой *илэрхий* гадаргууг арилгах арга [ ] болон нэвтрэх боломжтой рендеринг техник [ , ] ашигладаг үүсгэгч процесс орно. Эхнийх нь дур зоргоороо топологи бүхий илэрхий мешүүдийг шууд оновчтой болгох, гаргах боломжийг бидэнд олгодог, харин хоёр дахь нь 2D дүрсийн цуглуулгаар загвараа сургах боломжийг олгодог бөгөөд ингэснээр 2D дүрсийн нийлэгжилд зориулагдсан хүчирхэг, боловсронгуй ялгаварлан гадуурхагчийг ашигладаг. Манай загвар нь мешүүдийг шууд үүсгэдэг бөгөөд өндөр үр ашигтай (нэвтрэх боломжтой) графикийн рендерийг ашигладаг тусмаа, бид загвараа 1024 × 1024 хүртэл өндөр нягтралтай дүрсээр сургах боломжтой болж, өндөр чанартай геометр, текстурийн нарийвчиллыг сурах боломжтой болно. E T 3D G 60 47 37 Бид ShapeNet [ ], TurboSquid [ ] болон Renderpeople [ ] зэрэг машинууд, сандал, амьтад, мотоцикл, хүний дүрээс эхлээд барилга зэрэг нарийн төвөгтэй геометр бүхий олон ангилалд шинж чанар муутай 3D хэлбэрийн үүсгэлтийг хамгийн сүүлийн үеийн амжилтыг харуулсан. Илэрхий меш гаралтын төлөөлөл болгон GET3D нь маш уян хатан бөгөөд бусад даалгаварт хялбархан дасан зохицож болно, үүнд: дэвшилтэт нэвтрэх боломжтой рендерингийг ашиглан хуваагдсан материал болон хувилбараас хамааралтай гэрлийн эффект үүсгэх чадвартай байх, хяналтгүйгээр, CLIP [ ] embedding ашиглан текстээр удирдуулсан 3D хэлбэрийн үүсгэлт. 9 4 2 (a) (b) 56 2 Холбогдох бүтээл Бид гадаргуугийн геометр ба дүр төрх, түүнчлэн 3D-aware үүсгэгч дүрсийн нийлэгжилтийн чиглэлээрх сүүлийн үеийн дэвшлийг авч үзнэ. Сүүлийн жилүүдэд 2D үүсгэгч загварууд өндөр нягтралтай дүрсийн нийлэгжилтэд фотореалист чанарыг олж авсан [ , , , , , , ]. Энэхүү дэвшил нь 3D контентын үүсгэлтийн чиглэлээр судалгааг өдөөсөн. Эртний аргууд нь 2D CNN үүсгэгчийг 3D вокселийн сүлжээнд шууд өргөжүүлэхийг зорилго болгосон [ , , , , ], гэхдээ 3D конволүүцийн өндөр санах ойн зардал болон тооцооллын нарийн төвөгтэй байдал нь өндөр нягтралтай үүсгэлтийн процесст саад болдог. Үүний оронд бусад бүтээлүүд нь цэгэн үүл [ , , , ], далд [ , ], эсвэл октеет [ ] төлөөллүүдийг судалсан. Гэсэн хэдий ч эдгээр бүтээлүүд нь ихэвчлэн геометр үүсгэхэд анхаардаг бөгөөд дүр төрхийг үл хайхрах болно. Тэдгээрийн гаралт төлөөлөл нь стандарт графикийн хөдөлгүүрт нийцтэй болгохын тулд постоор боловсруулах шаардлагатай. 3D үүсгэгч загварууд 34 35 33 52 29 19 16 66 20 27 40 62 5 68 75 46 43 14 30 Бидний ажилтай илүү төстэй Textured3DGAN [ , ] болон DIBR [ ] нь текстур бүхий 3D мешүүдийг үүсгэдэг боловч тэдгээр нь загвар мешийг деформаци хийх замаар үүсгэлтийг томъёолдог бөгөөд энэ нь тэдгээрийг нарийн төвөгтэй топологи эсвэл хувьсах генийн хэлбэрийг үүсгэхээс сэргийлдэг бөгөөд манай арга нь чадах боломжтой. PolyGen [ ] болон SurfGen [ ] нь дур зоргоороо топологи бүхий мешүүдийг гаргах чадвартай боловч текстурийг нийлэгжүүлдэггүй. 54 53 11 48 41 Мэдрэлийн эзэлхүүн рендеринг [ ] болон далд төлөөллүүдийн [ , ] амжилтанд урам зориг авч, саяхан хийсэн ажил нь 3D-aware дүрсийн нийлэгжилтийн [ , , , , , , , , , ] асуудлыг шийдвэрлэж эхэлсэн. Гэсэн хэдий ч мэдрэлийн эзэлхүүн рендеринг сүлжээнүүд нь ихэвчлэн асуухад удаан байдаг тул удаан хугацааны сургалтын цаг [ , ] шаарддаг бөгөөд хязгаарлагдмал нягтралтай дүрсийг үүсгэдэг. GIRAFFE [ ] болон StyleNeRF [ ] нь мэдрэлийн рендерингийг бага нягтралтайгаар гүйцэтгэж, дараа нь 2D CNN-ээр үр дүнг дээшлүүлэх замаар сургалт болон рендеринг хурдыг сайжруулдаг. Гэсэн хэдий ч гүйцэтгэлийн хэмнэлт нь олон хувилбарт нийцтэй байдлыг бууруулсан. Хос ялгаварлан гадуурхагчийг ашигласнаар EG3D [ ] нь энэ асуудлыг хэсэгчлэн шийдвэрлэх боломжтой. Гэсэн хэдий ч мэдрэлийн рендеринг дээр суурилсан аргуудаас текстур бүхий гадаргууг олж авахад хүндрэлтэй байдаг. Үүний эсрэгээр GET3D нь шууд мешүүдийг шууд гаргадаг бөгөөд энэ нь стандарт графикийн хөдөлгүүрүүдэд шууд ашиглагдах боломжтой. 3D-aware үүсгэгч дүрсийн нийлэгжилт 45 43 14 7 57 49 26 25 76 8 51 58 67 7 57 49 25 8 3 арга Одоо бид текстур бүхий 3D хэлбэрийг нийлэгжүүлэх GET3D хүрээг танилцуулж байна. Бидний үүсгэлтийн процесс нь хоёр хэсэгт хуваагддаг: гадаргуугийн мешийг дур зоргоороо топологитойгоор нэвтрэх боломжтойгоор гаргадаг геометр салбар, мөн гадаргуугийн цэгүүд дээр асууж өнгө гаргах боломжтой текстур талбар үүсгэдэг текстур салбар. Сүүлийг нь материал гэх мэт бусад гадаргуугийн шинж чанаруудтай байхаар өргөжүүлж болно (4.3.1-р хэсэг). Сургалтын явцад үүссэн текстур мешийг 2D өндөр нягтралтай дүрс болгон рендерихэд үр ашигтай нэвтрэх боломжтой растерizer ашиглагддаг. Бүх процесс нь нэвтрэх боломжтой бөгөөд энэ нь 2D ялгаварлан гадуурхагчаас хоёр үүсгэгч салбар руу градиентийг дамжуулснаар дүрсийг ашиглан дайралтаар сургах боломжийг олгодог. Манай загвар нь 2-р зурагт үзүүлэв. Дараах нь бид эхлээд 3.1-р хэсэгт 3D үүсгэгчийг танилцуулж, дараа нь 3.2-р хэсэгт нэвтрэх боломжтой рендеринг болон алдагдлын функцуудыг авч үзнэ. 3.1 3D текстур бүхий мешүүдийн үүсгэгч загвар Бид гауссийн тархалтын дээжээс ∈ N (0*,* ) меш ба текстур руу зурах 3D үүсгэгч = ( ) сурахыг зорилго болгож байна. z I M E M, E G z Ижил геометр нь өөр өөр текстур агуулж, мөн ижил текстурийг өөр өөр геометрид хэрэглэж болох тул бид хоёр санамсаргүй оролтын вектор 1 ∈ R512 болон 2 ∈ R512-ийг сонгоно. StyleGAN [ , , ]-ийг дагалдаж, бид 1 болон 2-ийг 1 = geo( 1) болон 2 = tex( 2) завсрын хоцрогдолтой векторууд руу зурахын тулд шугаман бус дамжуулалтын сүлжээ geo болон tex-ийг ашигладаг бөгөөд эдгээр нь тус тусад нь 3D хэлбэр болон текстурийн үүсгэлтийг хянах *хэв маягуудыг* гаргахад ашиглагддаг. Бид 3.1.1-р хэсэгт геометр үүсгэгчийг, 3.1.2-р хэсэгт текстур үүсгэгчийг албан ёсоор танилцуулна. z z 34 35 33 z z w f z w f z f f 3.1.1 Геометр үүсгэгч Бид саяхан санал болгосон нэвтрэх боломжтой гадаргуугийн төлөөлөл болох DMTet [ ]-ийг нэгтгэх зорилгоор геометр үүсгэгчээ зохион бүтээсэн. DMTet нь геометрийн хувьд хөдөлгүүрт тетраэдрийн сүлжээнд [ , ] тодорхойлогдсон тэмдгийн алдагдлын талбар (SDF) болгон төлөөлдөг бөгөөд үүнээс гадаргууг март тетраэдраар [ ] нэвтрэх боломжтойгоор сэргээж болно. Сүлжээний оройг хөдөлгөх замаар деформаци хийх нь түүний нягтралыг илүү сайн ашиглах боломжийг олгодог. Гадаргууг арилгахын тулд DMTet-ийг ашигласнаар бид дур зоргоороо топологи, генийн илэрхий мешүүдийг үүсгэх боломжтой. Дараа нь бид DMTet-ийн товч хураангуйг өгч, дэлгэрэнгүй мэдээллийг анхны өгүүлэлд хандана уу. 60 22 24 17 ( ) нь объектын байршил дахь бүх 3D орон зайг төлөөлөх ба нь тетраэдрийн сүлжээ дахь оройнууд юм. Тетраэдр ∈ бүр дөрвөн орой { } ашиглан тодорхойлогддог ба ∈ {1*, . . . , K*}, энд нь тетраэдрын нийт тоо, мөн ∈ ∈ R3. Орой нь 3D координатыг нэмж 3D координат, тэмдгийн алдагдлын үнэ ∈ R болон оройны деформаци ∆ ∈ R3-ийг анхны каноник координатаас нь авна. Энэхүү төлөөлөл нь нэвтрэх боломжтой март тетраэдраар [ ] илэрхий мешийг сэргээх боломжийг олгодог бөгөөд үүнд орчны орон зайд SDF утгыг деформацлагдсан оройнууд ′ = + ∆ дээрх тэдгээрийн утгыг баривтар шугаман интерполяциар тооцно. VT , T VT T Tk T v ak , v bk , v ck , v dk k K v ik VT , v ik v i si v i 60 v v i v i si Бид 1 ∈ R512-ийг SDF утгууд ба орой бүрт деформаци хийхэд зориулж, хэд хэдэн үе шаттай 3D конволлюци болон бүрэн холбогдсон давхаргуудыг ашиглан дамжуулна. Тодруулбал, бид эхлээд 1-ээр тодорхойлогдсон онцлог эзэлхүүнийг үүсгэхийн тулд 3D конволлюци давхаргуудыг ашигладаг. Дараа нь бид баривтар шугаман интерполяцийг ашиглан дахь тухайн орой -ийн онцлогийг асууж, SDF утгыг болон деформаци ∆ -ийг гаргадаг MLP-д оруулдаг. Өндөр нягтралтай загварчлал шаардлагатай тохиолдолд (жишээлбэл, дугуйны нимгэн бүтэцтэй мотоцикл), бид [ ]-ийг дагалдан эзэлхүүний хуваалтыг цаашид ашигладаг. Сүлжээний архитектур w v i w VT v i si v i 60 Бүх оройнуудад болон ∆ -ийг олж авсны дараа бид илэрхий мешийг арилгахын тулд нэвтрэх боломжтой март тетраэдраар алгоритмыг ашигладаг. Март тетраэдр нь -ийн тэмдгүүд дээр үндэслэн тетраэдр доторх гадаргуугийн топологийг тодорхойлдог. Тухайлбал, хэзээ нэгэн цагт меш нүүр нь үүсдэг sign( ) /= sign( Нэвтрэх боломжтой меш арилгах si v i si si sj
