Mpanoratra: Jun Gao, NVIDIA, Oniversiten'i Toronto, Ivotoerana Vector (jung@nvidia.com) Tianchang Shen, NVIDIA, Oniversiten'i Toronto, Ivotoerana Vector (frshen@nvidia.com) Zian Wang, NVIDIA, Oniversiten'i Toronto, Ivotoerana Vector (zianw@nvidia.com) Wenzheng Chen, NVIDIA, Oniversiten'i Toronto, Ivotoerana Vector (wenzchen@nvidia.com) Kangxue Yin, NVIDIA (kangxuey@nvidia.com) Daiqing Li, NVIDIA (daiqingl@nvidia.com) Or Litany, NVIDIA (olitany@nvidia.com) Zan Gojcic, NVIDIA (zgojcic@nvidia.com) Sanja Fidler, NVIDIA, Oniversiten'i Toronto, Ivotoerana Vector (sfidler@nvidia.com) Fametrahana Rehefa maro ny indostria mifindra mankany amin'ny fanaovana modely an'ny tontolo virtoaly goavana 3D, ny filàna fitaovana famoronana votoaty izay afaka miatrika ny habetsahan'ny votoaty 3D, ny kalitaony ary ny fahasamihafany dia miharihary. Amin'ny asa ataonay, mikendry ny hampiofana modely famoronana 3D mahomby izahay izay mamorona harona misy texture azo ampiasaina mivantana amin'ny milina fanaovana tsindry 3D, ka azo ampiasaina avy hatracy amin'ny fampiharana ambany. Ny asa teo aloha momba ny fanaovana modely famoronana 3D dia tsy manana antsipiriany momba ny geometrika, voafetra amin'ny topolojian'ny harona azony vokarina, matetika tsy manohana ny texture, na mampiasa milina fanaovana tsindry neural amin'ny dingan'ny famoronana, izay mahatonga ny fampiasana azy ireo amin'ny rindrambaiko 3D mahazatra ho sarotra. Amin'ity asa ity, mampiditra GET3D izahay, modely enerative izay mamorona mivantana xplicit extured harona misy topolojia sarotra, antsipiriany momba ny geometrika marobe, ary texture avo lenta. Mampifandray ny fahombiazana vao haingana izahay amin'ny fanaovana modely amboniny azo atao tsindry, fanaovana tsindry azo atao tsindry ary koa ny 2D Generative Adversarial Networks mba hampiofanana ny maodelinay avy amin'ny fanangonana sary 2D. Ny GET3D dia afaka mamorona harona misy texture 3D avo lenta, manomboka amin'ny fiara, seza, biby, môtô ary tarehin-tsoratra olombelona ka hatramin'ny trano, mahatsapa fanatsarana lehibe raha oharina amin'ny fomba teo aloha. Ny pejy tetikasantsika: G E T 3D https://nv-tlabs.github.io/GET3D 1 Fampidirana Ny votoaty 3D marobe, avo lenta dia mihamangina kokoa ho an'ny indostria maro, anisan'izany ny lalao, robotika, maritrano ary sehatra sosialy. Na izany aza, ny famoronana tanana amin'ny fananana 3D dia mandany fotoana be ary mitaky fahalalana teknika manokana ary koa fahaiza-manao famolavolana zavakanto. Ny iray amin'ireo fanamby lehibe indrindra dia ny habeny – raha mahita modely 3D eny an-tsena toy ny Turbosquid [ ] na Sketchfab [ ] isika, ny famoronana modely 3D marobe mba, lazaina hoe, hamenoana lalao na sarimihetsika amin'ny vahoakan'ny tarehin-tsoratra samihafa rehetra dia mbola mitaky fotoana be an'ny mpanakanto. 4 3 Mba hanamorana ny fizotran'ny famoronana votoaty sy hampahafantatra izany amin'ny mpampiasa isan-karazany (vao manomboka), ny tambajotran-tontolo 3D famoronana izay afaka mamorona fananana 3D avo lenta sy marobe dia lasa sehatry ny fikarohana mavitrika vao haingana [ , , , , , , , , , , ]. Na izany aza, mba ho azo ampiasaina amin'ny fampiharana tena izy, ny modely famoronana 3D dia tokony hahatratra ireto fepetra ireto: Tokony hanana fahafahana mamorona endrika miaraka amin'ny antsipiriany momba ny geometrika sy topolojia arbitrary, Ny vokatra dia tokony ho harona misy texture, izay sarinteny voalohany ampiasain'ny fonosana sary mahazatra toy ny Blender [ ] sy Maya [ ], ary Tokony haha-mahasarika sary 2D ho fanaraha-maso izahay, satria misy bebe kokoa noho ny endrika 3D mazava izy ireo. 5 14 43 46 53 68 75 60 59 69 23 (a) (b) 15 1 (c) Ny asa teo aloha momba ny fanaovana modely famoronana 3D dia nifantoka tamin'ny ampahany amin'ireo fepetra etsy ambony, saingy tsy misy fomba hatreto mahafeno azy rehetra (Tabilao ). Ohatra, ny fomba mamorona tebiteby 3D [ , 68, 75] dia matetika tsy mamorona texture ary tsy maintsy ovaina ho harona amin'ny famaranana aorian'ny famoronana. 1 5 Ny fomba mamorona vokatra dia matetika tsy manana antsipiriany momba ny geometrika ary tsy mamorona texture [ , , , ]. Ny modely famoronana mifototra amin'ny sehatra neural [ , ] dia mifantoka amin'ny fanesorana ny geometrika nefa tsy miraharaha ny texture. Ny ankamaroan'ireo dia mitaky fanaraha-maso 3D mazava. Farany, ny fomba mamoaka mivantana harona 3D misy texture [ , ] dia matetika mitaky modely voafaritra mialoha ary tsy afaka mamorona endrika misy topolojia sarotra sy genus miovaova. 66 20 27 40 43 14 54 53 Vao haingana, ny fandrosoana haingana amin'ny fanaovana tsindry voloma neural [ ] sy ny 2D Generative Adversarial Networks (GANs) [ , , , , ] dia nitarika ny fisondrotan'ny fanaovana sary momba ny tontolo 3D [ , , , , , ]. Na izany aza, ity tsipika ity dia mikendry ny hamoronana sary marobe mifanaraka amin'ny fomba fijery amin'ny alàlan'ny fanaovana tsindry neural amin'ny dingan'ny famoronana ary tsy manome antoka fa azo amboarina ny endrika 3D misy dikany. Na dia azo atao aza ny mahazo harona avy amin'ny fomba fanaovana sehatra neurala ambany amin'ny alàlan'ny algorithm marching cube [ ], ny fanesorana ny texture mifanaraka amin'izany dia tsy mora. 45 34 35 33 29 52 7 57 8 49 51 25 39 Amin'ity asa ity, mampiditra fomba vaovao izahay izay mikendry ny hamahana ny fepetra rehetra amin'ny modely famoronana 3D azo ampiasaina. Amin'ny fomba manokana, manolotra GET3D izahay, modely enerative ho an'ny endrika 3D izay mamoaka mivantana ny harona 3D xplicit extured miaraka amin'ny antsipiriany momba ny geometrika sy ny texture avo lenta ary topolojia arbitrary. Ao afovoan'ny fomba ataonay dia misy dingana famoronana mampiasa fomba fanesorana amboniny azo atao tsindry [ ] sy teknika fanaovana tsindry azo atao tsindry [ , ]. Ny voalohany dia mamela antsika hanao fanitsiana sy hamokatra mivantana harona 3D misy texture miaraka amin'ny topolojia arbitrary, raha ny farany kosa dia mamela antsika hampiofana ny maodelinay amin'ny sary 2D, ka mampiasa ny mpanohitra mahery sy efa masaka noforonina ho an'ny famoronana sary 2D. Satria mivantana ny maodelinay mamorona harona ary mampiasa milina fanaovana tsindry azo atao tsindry (mora atao tsindry), afaka mampitombo ny maodelinay izahay mba hampiofanana miaraka amin'ny sary G E T mazava 60 47 37 fanapahan-kevitra hatramin'ny 1024 × 1024, ahafahantsika mianatra antsipiriany momba ny geometrika sy ny texture avo lenta. Mampiseho fampisehoana farany indrindra izahay amin'ny famoronana endrika 3D tsy misy fepetra amin'ny sokajy marobe misy geometrika sarotra avy amin'ny ShapeNet [ ], Turbosquid [ ] ary Renderpeople [ ], toy ny seza, môtô, fiara, tarehin-tsoratra olombelona, ary trano. Miaraka amin'ny harona mazava ho fanehoana vokatra, ny GET3D dia mora azo ovaina amin'ny asa hafa, anisan'izany ny: fianarana mamorona fitaovana fizarana sy fiantraikan'ny hazavana miankina amin'ny fomba fijery amin'ny alàlan'ny fanaovana tsindry mandroso azo atao tsindry [ ], tsy misy fanaraha-maso, famoronana endrika 3D tarihin'ny lahatsoratra amin'ny fampiasana CLIP [ ] embedding. 9 4 2 (a) 12 (b) 56 2 Asa mifandraika Mandinika ny fandrosoana vao haingana amin'ny modely famoronana 3D ho an'ny geometrika sy ny endrika, ary koa ny famoronana sary momba ny tontolo 3D izahay. Tao anatin'ny taona vitsivitsy, ny modely famoronana 2D dia nahatratra kalitao photorealistic amin'ny famoronana sary avo lenta [ , , , , , , ]. Ity fandrosoana ity koa dia nahatsindry fo tamin'ny fikarohana momba ny famoronana votoaty 3D. Ny fomba taloha dia nikendry ny hanitarana mivantana ny mpamorona CNN 2D ho an'ny tabilao vokatra 3D [ , , , , ], saingy ny habetsaky ny fahatsiarovana ambony sy ny fahasarotan'ny kajy amin'ny convolutions 3D dia manelingelina ny fizotran'ny famoronana amin'ny fanapahan-kevitra avo lenta. Amin'ny maha-alternatif, ny asa hafa dia nandinika ny fanehoana tebiteby [ , , , ], miankina [ , ], na octree [ ]. Na izany aza, ireo asa ireo dia mifantoka indrindra amin'ny famoronana geometrika ary tsy miraharaha ny endrika. Ny fanehoana vokatra azony koa dia mila famaranana aorian'ny famoronana mba hampifanaraka amin'ny milina sary mahazatra. Modely Fampamoronana 3D 34 35 33 52 29 19 16 66 20 27 40 62 5 68 75 46 43 14 30 Mifanaraka kokoa amin'ny asa ataonay, ny Textured3DGAN [ , ] ary ny DIBR [ ] dia mamorona harona 3D misy texture, saingy mamorona ny famoronana ho fanovana endrika modely voafaritra mialoha, izay manakana azy ireo tsy hamorona topolojia sarotra na endrika misy genus miovaova, izay azon'ny fomba ataonay atao. Ny PolyGen [ ] sy ny SurfGen [ ] dia afaka mamorona harona misy topolojia arbitrary, saingy tsy mamorona texture. 54 53 11 48 41 Nahatsindry fo tamin'ny fahombiazan'ny fanaovana tsindry voloma neural [ ] sy ny fanehoana an-tsara [ , ], ny asa vao haingana dia nanomboka nandaha-teny momba ny famoronana sary momba ny tontolo 3D [ , , , , , , , , , ]. Na izany aza, ny tambajotran-tontolo fanaovana tsindry voloma dia miadana matetika, ka mitarika fotoam-panofanana lava [ , ], ary mamorona sary voafetra ny fanapahan-kevitra. Ny GIRAFFE [ ] sy ny StyleNerf [ ] dia manatsara ny fahombiazan'ny fanofanana sy ny fanaovana tsindry amin'ny alàlan'ny fanaovana tsindry neural amin'ny fanapahan-kevitra ambany kokoa ary avy eo dia mampitombo ny vokatra amin'ny CNN 2D. Na izany aza, ny tombony amin'ny fampisehoana dia avy amin'ny vidin'ny fampihenana ny fifanarahana amin'ny fomba fijery marobe. Amin'ny fampiasana mpanohitra roa, ny EG3D [ ] dia afaka manamaivana ampahany ity olana ity. Na izany aza, ny fanesorana amboniny misy texture avy amin'ny fomba izay mifototra amin'ny fanaovana tsindry neural dia asa sarotra. Mifanohitra amin'izany, ny GET3D dia mamoaka mivantana harona 3D misy texture izay azo ampiasaina avy hatracy amin'ny milina sary mahazatra. Famoronana sary momba ny tontolo 3D 45 43 14 7 57 49 26 25 76 8 51 58 67 7 57 49 25 8 3 Fomba Ankehitriny isika dia manolotra ny rafitra GET3D ho an'ny famoronana endrika 3D misy texture. Ny dingana famoronana dia zaraina roa: sampana geometrika, izay mamoaka mivantana harona amboniny misy topolojia arbitrary, ary sampana texture izay mamorona sehatra texture azo jerena amin'ny tebiteby amboniny mba hamoronana loko. Ny farany dia azo hatarina amin'ny fananana amboniny hafa toy ny, ohatra, fitaovana (Fizarana ). Mandritra ny fanofanana, ampiasaina ny mpanasongadina azo atao tsindry mahomby mba hamoronana ny harona misy texture ho sary 2D avo lenta. Ny dingana manontolo dia azo atao tsindry, ahafahana manao fanofanana mifaninana avy amin'ny sary (miaraka amin'ny saron-tava milaza zavatra mahaliana) amin'ny alàlan'ny famelana ny gradients avy amin'ny mpanohitra 2D ho any amin'ny sampana mpamorona roa. Ny maodelintsika dia aseho ao amin'ny Sary . Amin'ny manaraka, hasehonay aloha ny mpamorona 3D anay ao amin'ny Fizarana , alohan'ny hifindrana amin'ny fanaovana tsindry azo atao tsindry sy ny fatiantoka ao amin'ny Fizarana . 4.3.1 2 3.1 3.2 3.1 Modely Fampamoronana Harona 3D misy Texture Mikendry ny hianatra mpamorona 3D = ( ) izahay mba hametrahana santionany avy amin'ny fizarana Gaussian M, E G z ∈ N (0*,* ) ho harona miaraka amin'ny texture . z I M E Satria ny geometry mitovy dia mety manana texture samihafa, ary ny texture mitovy dia azo ampiharina amin'ny geometry samihafa, dia maka santionany roa ny kaody fampidirana 1 ∈ R512 sy 2 ∈ R512. Manaraka ny StyleGAN [ , , ], dia mampiasa tambajotran-tontolo fampifanarahana tsy lineara geo sy tex izahay mba hametrahana ny 1 sy 2 ho an'ny kaody latent antonony 1 = geo( 1) sy 2 = tex( 2) izay ampiasaina bebe kokoa mba hamoronana izay mifehy ny famoronana endrika 3D sy texture, tsirairay avy. Manolotra tsara ny mpamorona ho an'ny geometrika izahay ao amin'ny Fizarana ary ny mpamorona texture ao amin'ny Fizarana . z z 34 35 33 f f z z w f z w f z fomba 3.1.1 3.1.2 3.1.1 Mpamorona Geometrika Nataonay ny mpamorona geometrika mba hampiditra ny DMTet [ ], fanehoana amboniny azo atao tsindry vao haingana. Ny DMTet dia maneho ny geometrika ho sehatra sandan'ny halavirana (SDF) voafaritra amin'ny faritry ny tetrahedral azo ovaina [ , ], izay azo averina amin'ny alàlan'ny tsindry ny amboniny amin'ny alàlan'ny marching tetrahedra [ ]. Ny fanovana ny faritra amin'ny alàlan'ny famindrana ny vertices dia mitarika ho amin'ny fampiasana tsara kokoa ny fanapahan-keviny. Amin'ny fampiasana DMTet ho an'ny fanesorana amboniny, dia afaka mamorona harona mazava miaraka amin'ny topolojia sy genus arbitrary izahay. Manaraka izany, manome famintinana fohy ny DMTet izahay ary manondro ny mpamaky ho any amin'ny lahatsoratra voalohany ho an'ny antsipiriany fanampiny. 60 22 24 17 Aoka ny ( ) manondro ny habakabaka 3D manontolo izay misy ny zavatra, izay dia ireo vertices ao amin'ny faritry ny tetrahedral . Ny tetrahedron tsirairay ∈ dia voafaritra amin'ny alàlan'ny vertices efatra { }, miaraka amin'ny ∈ {1*, . . . , K*}, izay ny isan'ny tetrahedra, ary ∈ ∈ R3. Ho fanampin'ny sandan'ny 3D coordinates, ny vertex tsirairay dia misy ny sandan'ny SDF ∈ R ary ny fiovana ∆ ∈ R3 ny vertex avy amin'ny coordinate canonical voalohany. Ity fanehoana ity dia mamela ny famerenana ny harona mazava amin'ny alàlan'ny marching tetrahedra azo atao tsindry [ ], izay ny sandan'ny SDF amin'ny habakabaka tsy tapaka dia kajina amin'ny alàlan'ny interpolation barycentric amin'ny sandan'izy ireo amin'ny vertices miova ′ = + ∆ . VT , T VT T Tk T v ak , v bk , v ck , v dk k K v ik VT , v ik i v i si v i 60 si v v i v i Mametraka ny 1 ∈ R512 ho an'ny sandan'ny SDF sy ny fiovan'ny vertices tsirairay amin'ny alàlan'ny andian-tsarimihetsika convolution 3D sy ny sosona feno. Amin'ny fomba manokana, mampiasa sosona convolution 3D izahay mba hamoronana volume endrika voalaza mialoha miaraka amin'ny 1. Avy eo dia manao santionany amin'ny faritra izahay amin'ny vertices tsirairay ∈ amin'ny fampiasana interpolation trilinear ary ampidiriny ao amin'ny MLPs izay mamokatra ny sandan'ny SDF ary ny fiovana ∆ . Raha toa ka takiana ny fanaovana modely amin'ny fanapahan-kevitra avo lenta (ohatra, môtô misy rafitra manify amin'ny kodiarana), dia mampiasa subdivision voloma izahay manaraka ny [ ]. Architecture Tambajotra w v i w v i VT si v i 60 Rehefa avy nahazo ny sy ∆ ho an'ny vertices rehetra, dia mampiasa ny algorithm marching tetrahedra azo atao tsindry izahay mba hanesorana ny harona mazava. Ny marching tetrahedra dia mamaritra ny topolojian'ny amboniny ao anatin'ny tetrahedron tsirairay mifototra amin'ny famantarana ny . Amin'ny fomba manokana, ny tarehy harona dia esorina rehefa sign( ) /= sign( ), izay dia manondro ny indices ny vertices amin'ny sisin'ny tetrahedron, ary ny vertices amin'io tarehy io dia voafaritra amin'ny alàlan'ny interpolation lineara toy ny mi,j = v 0 i sj−v 0 j si sj−si . Mariho fa ny fampitoviana etsy ambony dia azo jerena fotsiny rehefa si 6= sj , ka izany dia azo atao tsindry, ary ny gradient avy amin'ny mi,j dia azo averina amin'ny alàlan'ny SDF values si ary fiovana ∆vi . Miaraka amin'ity fanehoana ity, ny endrika misy topolojia arbitrary dia azo vao-rina mora amin'ny faminaniana famantarana samihafa ny si . Fanesorana Harona Azo Atao Tsindry si v i si si sj i, j m i,j 3.1.2 Mpamorona Texture Ny famoronana mivantana ny sarinteny texture mifanaraka amin'ny harona vokatra dia tsy mora, satria ny endrika noforonina dia mety manana genus sy topolojia arbitrary. Noho izany dia manao parameter ny texture ho toy ny sehatra texture [ ]. 50 Amin'ny fomba manokana, manao modely ny sehatra texture amin'ny alàlan'ny fomba tri-plane izahay, izay mahomby sy maneho tsara amin'ny famerenana ny zavatra 3D [ ] ary famoronana sary momba ny tontolo 3D [ ]. Amin'ny fomba manokana, manaraka ny [ , ] izahay ary mampiasa tambajotra convolution 2D miompana mba hametrahana ny kaody latent 1 ⊕ 2 ho an'ny plane endrika telo mifanandrify amin'ny axis miaraka amin'ny habeny × × ( × 3), izay = 256 dia manondro ny fanapahan-kevitra spatial ary = 32 ny isan'ny fantsona. 55 8 8 35 w w N N C N C Omena ny plane endrika, ny vector endrika f t ∈ R 32 amin'ny tebiteby amboniny p dia azo averina ho f t = P e ρ(πe(p)), izay πe(p) dia ny fampitandremana ny tebiteby p amin'ny plane endrika e ary ρ(·) dia maneho ny interpolation bilinear ny endrika. Ny sosona feno fanampiny dia avy eo ampiasaina mba hametraka ny vector endrika aggregated f t ho an'ny loko RGB c. Mariho fa, tsy mitovy amin'ny asa hafa momba ny famoronana sary momba ny tontolo 3D izay mampiasa fanehoana sehatra neural koa, dia mila manao santionany fotsiny ny sehatra texture amin'ny toerana misy ny tebiteby amboniny (mifanohitra amin'ny santionany voalohany manerana ny taratra). Izany dia mampihena be ny fahasarotan'ny kajy ho an'ny famoronana sary avo lenta ary miantoka ny famoronana sary mifanaraka amin'ny fomba fijery marobe amin'ny fananganana. 3.2 Fanaovana Tsindry Azo Atao Tsindry sy Fanofanana Mba hanaraha-maso ny maodelintsika mandritra ny fanofanana, dia mandray aingam
