Mpikafatra: Jun Gao, NVIDIA, University of Toronto, Vector Institute (jung@nvidia.com) Tianchang Shen, NVIDIA, University of Toronto, Vector Institute (frshen@nvidia.com) Zian Wang, NVIDIA, University of Toronto, Vector Institute (zianw@nvidia.com) Wenzheng Chen, NVIDIA, University of Toronto, Vector Institute (wenzchen@nvidia.com) Kangxue Yin, NVIDIA (kangxuey@nvidia.com) Daiqing Li, NVIDIA (daiqingl@nvidia.com) Or Litany, NVIDIA (olitany@nvidia.com) Zan Gojcic, NVIDIA (zgojcic@nvidia.com) Sanja Fidler, NVIDIA, University of Toronto, Vector Institute (sfidler@nvidia.com) Famintinana Rehefa miroso mankany amin'ny famoronana modely momba an'izao tontolo izao virtoaly goavambe ny indostria maro, dia manjary hita taratra ny filana fitaovana famoronana votoaty izay afaka miakatra amin'ny lafiny habetsahana, kalitao ary fahasamihafana amin'ny votoaty 3D. Ao anatin'ny asa ataontsika, dia mikendry ny hampiofana modely mamorona 3D mahomby izay mamorona "mesh" vita pirinty izay azo raisina mivantana amin'ny milina fanatontosana 3D, ka azo ampiasaina avy hatrany amin'ny fampiharana ambany. Ny asa teo aloha momba ny famoronana modely 3D na tsy ampy antsipiriany ara-jeometrika, na voafetra amin'ny topôlôjian'ny "mesh" azony vokarina, dia matetika tsy manohana pirinty, na mampiasa renderers neural amin'ny dingan'ny famoronana, ka mahatonga ny fampiasana azy ireo amin'ny rindrambaiko 3D mahazatra tsy mora. Amin'ity asa ity, mampiditra ny GET3D izahay, modely izay mivantana mamorona vita pirinty misy topôlôjia sarotra, antsipiriany ara-jeometrika manankarena, ary pirinty avo lenta. Mampifandray ny fahombiazana vao haingana amin'ny famoronana ambaratonga ambaratonga, ny rendering ambaratonga, ary ny 2D Generative Adversarial Networks izahay mba hampiofanana ny modelinay avy amin'ny fanangonana sary 2D. Ny GET3D dia afaka mamorona "mesh" vita pirinty avo lenta, manomboka amin'ny fiara, seza, biby, môtô ary tarehin-tsoratra olombelona ka hatramin'ny trano, mahatratra fanatsarana lehibe mihoatra ny fomba teo aloha. Ny pejy tetikasantsika: Mamorona Fitaovana 3D Mesh https://nv-tlabs.github.io/GET3D 1 Fampidirana Ny votoaty 3D maro samihafa sy avo lenta dia manjary manan-danja kokoa ho an'ny indostria maro, anisan'izany ny lalao, robotika, maritrano, ary sehatra sosialy. Na izany aza, ny famoronana tanana ny fananana 3D dia mandany fotoana be ary mitaky fahalalana ara-teknika manokana ary koa fahaizana mamorona zavakanto. Ny iray amin'ireo fanamby lehibe indrindra dia ny fahafahana – raha mahita modely 3D ao amin'ny tsena 3D toy ny Turbosquid [ ] na Sketchfab [ ] isika, ny famoronana modely 3D maro mba, hoy isika, hamenoana lalao na sarimihetsika miaraka amin'ny vahoaka maro samy hafa endrika dia mbola mitaky fotoana be ho an'ny mpanakanto. 4 3 Mba hanamora ny fizotran'ny famoronana votoaty sy hahatonga azy ho azo idiran'ny mpampiasa (vao manomboka) maro, ny tambajotra 3D mamorona izay afaka mamorona fananana 3D avo lenta sy maro samihafa dia lasa sehatry ny fikarohana mavitrika [ , , , , , , , , , , ]. Na izany aza, mba ho azo ampiasaina amin'ny fampiharana ankehitriny eny amin'ny tontolo izao, ny modely mamorona 3D dia tokony hahatratra ireto fepetra ireto: Tokony hanana fahaizana mamorona endrika misy antsipiriany ara-jeometrika sy topôlôjia arbitrary izy ireo, Ny vokatra dia tokony ho "mesh" vita pirinty, izay fanehoana voalohany ampiasaina amin'ny fonosana rindrambaiko sary mahazatra toy ny Blender [ ] sy Maya [ ], ary Tokony afaka mampiasa sary 2D izahay ho fanaraha-maso, satria izy ireo dia mora kokoa noho ny endrika 3D mazava. 5 14 43 46 53 68 75 60 59 69 23 (a) (b) 15 1 (c) Ny asa teo aloha momba ny famoronana modely 3D dia nifantoka tamin'ny ampahany amin'ireo fepetra etsy ambony, saingy tsy misy fomba hatreto no nahafeno azy rehetra (Tabilao. ). Ohatra, ny fomba mamorona "point cloud" 3D [ , 68, 75] dia matetika tsy mamorona pirinty ary tsy maintsy ovaina ho "mesh" aorian'ny fanodinana. 1 5 Ny fomba mamorona voxels dia matetika tsy ampy antsipiriany ara-jeometrika ary tsy mamorona pirinty [ , , , ]. Ny modely mamorona mifototra amin'ny fiaraha-miasa neural [ , ] dia mifantoka amin'ny fanesorana ny jeometrika fa tsy mitandrina ny pirinty. Ny ankamaroan'izy ireo koa dia mitaky fanaraha-maso 3D mazava. Farany, ny fomba mivantana mamorona "mesh" 3D vita pirinty [ , ] dia matetika mitaky "template" endrika efa voafaritra mialoha ary tsy afaka mamorona endrika misy topôlôjia sarotra sy fahasamihafana amin'ny genus. 66 20 27 40 43 14 54 53 Vao haingana, ny fandrosoana haingana eo amin'ny fanaovana volavola neural [ ] sy ny 2D Generative Adversarial Networks (GANs) [ , , , , ] dia nahatonga ny fitomboan'ny famoronana sary mahatsapa 3D [ , , , , , ]. Na izany aza, ity andian-dahatsoratra ity dia mikendry ny hamoronana sary maro fijery mifanaraka amin'ny fampiasana ny fanaovana volavola neural amin'ny dingan'ny famoronana ary tsy manome antoka fa azo atao ny mamorona endrika 3D misy dikany. Raha azo atao ny "mesh" azo avy amin'ny fanehoana fiaraha-miasa neural ambany amin'ny alalan'ny algoritma "marching cube" [ ], ny fanesorana ny pirinty mifanaraka amin'izany dia tsy mora. 45 34 35 33 29 52 7 57 8 49 51 25 39 Amin'ity asa ity, mampiditra fomba vaovao izahay izay mikendry ny hamahana ny fepetra rehetra momba ny modely mamorona 3D azo ampiasaina. Amin'ny fomba manokana, manolotra ny GET3D izahay, modely ho an'ny endrika 3D izay mivantana mamorona vita pirinty misy antsipiriany ara-jeometrika sy pirinty avo lenta ary topôlôjia arbitrary. Eo afovoan'ny fomba fiasanay dia misy dingana famoronana mampiasa fomba fanesorana ambaratonga ambaratonga [*explicit*] [ ] ary teknika fanaovana volavola ambaratonga [ , ]. Ny voalohany dia mamela anay hanao optimisation mivantana sy hamorona "mesh" 3D vita pirinty misy topôlôjia arbitrary, raha ny faharoa kosa dia mamela anay hampiofana ny modelinay amin'ny sary 2D, ka mampiasa ny mpisara-tsary matanjaka sy matotra novolavolaina ho an'ny famoronana sary 2D. Koa satria ny modelinay dia mivantana mamorona "mesh" ary mampiasa renderera sary (ambaratonga) mahomby, dia afaka manana fahafahana hanampy ny modelinay ho amin'ny fanodinana amin'ny sary Mamorona Fitaovana 3D Mesh 60 47 37 fanapahan-kevitra hatramin'ny 1024 × 1024, ahafahantsika mianatra antsipiriany ara-jeometrika sy pirinty avo lenta. Manaporofo ny fahombiazana ankehitriny izahay amin'ny famoronana endrika 3D tsy misy fepetra amin'ny sokajy maro misy jeometrika sarotra avy amin'ny ShapeNet [ ], Turbosquid [ ] ary Renderpeople [ ], toy ny seza, môtô, fiara, tarehin-tsoratra olombelona, ary trano. Miaraka amin'ny fanehoana "mesh" mazava ho vokatra, ny GET3D koa dia tena mora ampiasaina ary azo ovana mora foana amin'ny asa hafa, anisan'izany ny: fianarana mamorona fitaovana voatsinjaraina sy vokatra jiro miankina amin'ny fijery amin'ny alalan'ny fanaovana volavola ambaratonga mandroso [ ], tsy misy fanaraha-maso, famoronana endrika 3D tarihin'ny lahatsoratra amin'ny fampiasana ny fampitoviana CLIP [ ]. 9 4 2 (a) 12 (b) 56 2 Asa Mifandraika Hiverina hijery ny fandrosoana vao haingana amin'ny modely mamorona 3D ho an'ny jeometrika sy ny endrika, ary koa ny famoronana sary mahatsapa 3D. Tao anatin'ny taona vitsivitsy, ny modely mamorona 2D dia nahavita kalitao fanatontosana amin'ny famoronana sary avo lenta [ , , , , , , ]. Ity fandrosoana ity koa dia nahatsindry lahatsoratra ny fikarohana momba ny famoronana votoaty 3D. Ny fomba teo aloha dia mikendry ny hanitarana mivantana ny mpamorona CNN 2D ho an'ny "voxel grid" 3D [ , , , , ], fa ny habetsahan'ny fahatsiarovana sy ny sarindrina kajy amin'ny "convolution" 3D dia manakana ny fizotran'ny famoronana amin'ny fanapahan-kevitra avo. Ho fanampin'izany, ny asa hafa dia nandinika ny fanehoana "point cloud" [ , , , ], fanehoana miafina [ , ], na "octree" [ ]. Na izany aza, ireo asa ireo dia mifantoka indrindra amin'ny famoronana jeometrika ary tsy mitandrina ny endrika. Ny fanehoana vokatra koa dia mila fanodinana aorian'ny fanodinana mba hahatonga azy ireo hifanaraka amin'ny milina sary mahazatra. Modely Mamorona 3D 34 35 33 52 29 19 16 66 20 27 40 62 5 68 75 46 43 14 30 Mifandraika kokoa amin'ny asantsika, ny Textured3DGAN [ , ] sy ny DIBR [ ] dia mamorona "mesh" 3D vita pirinty, saingy manao ny famoronana ho toy ny fanovana "mesh" "template", izay manakana azy ireo tsy hamorona topôlôjia sarotra na endrika misy fahasamihafana amin'ny genus, izay azon'ny fomba fiasantsika atao. Ny PolyGen [ ] sy ny SurfGen [ ] dia afaka mamorona "mesh" misy topôlôjia arbitrary, saingy tsy mamorona pirinty. 54 53 11 48 41 Nofohazina tamin'ny fahombiazan'ny fanaovana volavola neural [ ] sy ny fanehoana miafina [ , ], ny asa vao haingana dia nanomboka nandamina ny olan'ny famoronana sary mahatsapa 3D [ , , , , , , , , , ]. Na izany aza, ny tambajotra fanaovana volavola neural dia matetika miadana, ka mitondra fotoam-pampiofanana lava [ , ], ary mamorona sary manana fanapahan-kevitra voafetra. Ny GIRAFFE [ ] sy ny StyleNerf [ ] dia manatsara ny fahombiazan'ny fanodinana sy ny fanaovana volavola amin'ny alalan'ny fanaovana volavola neural amin'ny fanapahan-kevitra ambany ary avy eo ny fanatsarana ny vokatra amin'ny 2D CNN. Na izany aza, ny tombony amin'ny fahombiazana dia avy amin'ny vidin'ny fifanarahana amin'ny fomba fijery maro. Amin'ny fampiasana mpisara-tsary roa, ny EG3D [ ] dia afaka manamafy izany olana izany. Na izany aza, ny fanesorana endrika vita pirinty avy amin'ny fomba miorina amin'ny fanaovana volavola dia asa sarotra. Mifanohitra amin'izany kosa, ny GET3D dia mivantana mamorona "mesh" 3D vita pirinty izay azo ampiasaina avy hatrany amin'ny milina sary mahazatra. Famoronana Sary Mahatsapa 3D 45 43 14 7 57 49 26 25 76 8 51 58 67 7 57 49 25 8 3 Fomba Ankehitriny dia manolotra ny rafitra GET3D izahay ho an'ny famoronana endrika 3D vita pirinty. Ny fizotran'ny famoronana dia zaraina ho roa: sampana jeometrika, izay mivantana mamorona "mesh" ambaratonga misy topôlôjia arbitrary, ary sampana pirinty izay mamorona "texture field" azo atao fanadinana amin'ny teboka ambaratonga mba hamoronana loko. Ny farany dia azo ovana amin'ny fananana ambaratonga hafa toy ny, ohatra, fitaovana (And. ). Nandritra ny fanodinana, ny rasterizer ambaratonga mahomby dia ampiasaina mba hamoronana ny "mesh" vita pirinty ho sary 2D avo lenta. Ny fizotran'ny manontolo dia ambaratonga, ahafahana manao fanodinana mifanohitra amin'ny sary (miaraka amin'ny saron-tava milaza zavatra amin'ny fomba fahitana) amin'ny alalan'ny fampitana ny gradients avy amin'ny mpisara-tsary 2D mankany amin'ny sampana mpamorona roa. Ny modelinay dia aseho amin'ny Sarimihetsika. . Amin'ny manaraka, hasehonay aloha ny mpamorona 3D anay ao amin'ny And. , alohan'ny hifindra amin'ny fanaovana volavola ambaratonga sy ny fomba very ao amin'ny And. . 4.3.1 2 3.1 3.2 3.1 Modely Mamorona "Mesh" 3D Vita Pirinty Mikendry ny hianatra mpamorona 3D = ( ) izahay mba hametrahana santionany avy amin'ny fizarana Gaussian M, E G z ∈ N (0*,* ) ho "mesh" misy pirinty . z I M E Satria ny jeometrika mitovy dia mety manana pirinty samihafa, ary ny pirinty mitovy dia azo ampiharina amin'ny jeometrika samihafa, dia maka santionany roa tamin'ny vectors fampidiran-kevitra 1 ∈ R512 sy 2 ∈ R512 izahay. Manaraka ny StyleGAN [ , , ], dia mampiasa tambajotra fampitovana tsy linear geo sy tex izahay mba hametrahana ny 1 sy 2 ho amin'ny vectors latent intermediate 1 = geo( 1) sy 2 = tex( 2) izay ampiasaina bebe kokoa hamoronana *styles* izay mifehy ny famoronana endrika 3D sy pirinty, tsirairay avy. Ny mpamorona ho an'ny jeometrika dia hasehonay amin'ny fomba ofisialy ao amin'ny And. ary ny mpamorona pirinty ao amin'ny And. . z z 34 35 33 f f z z w f z w f z 3.1.1 3.1.2 3.1.1 Mpamorona Jeometrika Nolavolanay ny mpamorona jeometrika mba hampidirana ny DMTet [ ], fanehoana ambaratonga ambaratonga vao haingana. Ny DMTet dia mampiseho ny jeometrika ho toy ny "signed distance field" (SDF) voafaritra amin'ny "tetrahedral grid" azo ovana [ , ], izay azo ovana ny ambaratonga ny ambaratonga amin'ny alalan'ny "marching tetrahedra" [ ]. Ny fanovana ny "grid" amin'ny alalan'ny famindrana ny vertices dia mitondra ho amin'ny fampiasana tsara kokoa ny fanapahan-kevitra azy. Amin'ny fampiasana ny DMTet ho an'ny fanesorana ambaratonga, dia afaka mamorona "mesh" mazava misy topôlôjia sy genus arbitrary izahay. Manaraka izany dia hanome famintinana fohy momba ny DMTet izahay ary handefa ny mpamaky mankany amin'ny taratasy voalohany raha mila antsipiriany bebe kokoa. 60 22 24 17 Aoka ny ( ) maneho ny habakabaka 3D manontolo izay misy ny zavatra, izay ny dia ny vertices ao amin'ny "tetrahedral grid" . Ny "tetrahedron" tsirairay ∈ dia voafaritra amin'ny alalan'ny vertices efatra { }, miaraka amin'ny ∈ {1*, . . . , K*}, izay ny dia ny totalin'ny "tetrahedra", ary ny ∈ VT , ∈ R3. Ho fanampin'ny kaonty 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D-ny 3D VT , T VT T Tk T v ak , v bk , v ck , v dk k K v ik v ik
