لیکوالان: جون ګاو، NVIDIA، د تورنټو پوهنتون، ویکتور انسټیټیوټ (jung@nvidia.com) تیانچنګ شین، NVIDIA، د تورنټو پوهنتون، ویکتور انسټیټیوټ (frshen@nvidia.com) زیان وانګ، NVIDIA، د تورنټو پوهنتون، ویکتور انسټیټیوټ (zianw@nvidia.com) وینزینګ چن، NVIDIA، د تورنټو پوهنتون، ویکتور انسټیټیوټ (wenzchen@nvidia.com) کانګکسوی ین، NVIDIA (kangxuey@nvidia.com) دایقینګ لی، NVIDIA (daiqingl@nvidia.com) اور لیتاني، NVIDIA (olitany@nvidia.com) زان ګوجیک، NVIDIA (zgojcic@nvidia.com) سانجا فیډلر، NVIDIA، د تورنټو پوهنتون، ویکتور انسټیټیوټ (sfidler@nvidia.com) لنډیز لکه څنګه چې څو صنعتونه د لوی 3D مجازی نړۍ ماډل کولو ته ځي، د مینځپانګې جوړولو وسیلو ته اړتیا چې د 3D مینځپانګې مقدار، کیفیت او تنوع په شرایطو کې خورا پراخه وي، خورا څرګنده کیږي. زموږ په کار کې، موږ هدف لرو چې د 3D تولیدي ماډلونه روزنه وکړو چې د ټیکسچر شوي میشونو ترکیب کوي چې په مستقیم ډول د 3D رینډرینګ انجنونو لخوا مصرف کیدی شي، په دې توګه په ښکته غوښتنلیکونو کې سمدلاسه د کارونې وړ. د 3D تولیدي ماډلینګ په اړه دمخه کارونه یا توجیهي توضیحات نلري، په میش ټاپولوژي کې محدود دي چې دوی یې تولید کولی شي، معمولا ټیکسچرونه نه لري، یا د ترکیب په پروسه کې عصبي رینډررونه کاروي، کوم چې په عام 3D سافټویر کې د دوی کار خورا اسانه نه کوي. پدې کار کې، موږ GET3D معرفي کوو، یو enerative ماډل چې په مستقیم ډول xplicit extured میشونه د پیچلي ټاپولوژي، بډایه توجیهي توضیحاتو او لوړ وفادارۍ ټیکسچرونو سره تولیدوي. موږ د 2D عکسونو راټولولو څخه زموږ ماډل روزلو لپاره د توپیر وړ سطح ماډلینګ، توپیر وړ رینډرینګ او همدارنګه 2D تولیدي تضاد شبکو کې وروستي بریالیتوبونه پل کوو. GET3D د لوړ کیفیت 3D ټیکسچر شوي میشونو تولید کولو وړ دی، له موټرو، څوکیو، حیواناتو، موټرسایکلونو او انساني کرکټرونو څخه تر ودانیو پورې، د پخوانیو میتودونو په پرتله د پام وړ پرمختګونه ترلاسه کوي. زموږ د پروژې پاڼه: G E T 3D https://nv-tlabs.github.io/GET3D 1 معرفي متنوع، لوړ کیفیت 3D مینځپانګه د څو صنعتونو لپاره په زیاتیدونکي توګه مهمه کیږي، پشمول د لوبې، روبوټیک، معمارۍ او ټولنیزو پلیټ فارمونو. په هرصورت، د 3D شتمنیو لاسي جوړول خورا وخت ضایع کوونکی دی او ځانګړي تخنیکي پوهه او همدارنګه هنري ماډلینګ مهارتونه غواړي. یو له اصلي ننګونو څخه د اندازې - پداسې حال کې چې یو څوک کولی شي د 3D بازارونو لکه Turbosquid [ ] یا Sketchfab [ ] څخه 3D ماډلونه ومومي، د ډیری 3D ماډلونو جوړول، ووایو، د کرکټرونو له خلکو څخه ډک لوبې یا فلم ته چې ټول مختلف ښکاري لاهم د هنرمند وخت پام وړ دی. 4 3 د مینځپانګې جوړولو پروسې اسانه کولو او د مختلفو (نویو) کاروونکو لپاره د لاسرسي وړ کولو لپاره، تولیدي 3D شبکې چې کولی شي لوړ کیفیت او متنوع 3D شتمنۍ تولید کړي په وروستیو کې د څیړنې یوه فعاله ساحه ګرځیدلې [ , , , , , , , , , , ]. په هرصورت، د اوسنیو ریښتینې نړۍ غوښتنلیکونو لپاره په عملي توګه ګټور کیدو لپاره، 3D تولیدي ماډلونه باید په مثالي توګه لاندې اړتیاوې پوره کړي: دوی باید د تفصیلي جیومیټری او اختیاري ټاپولوژي سره شکلونو تولید کولو وړتیا ولري، محصول باید یو ټیکسچر شوی میش وي، کوم چې د معیاري ګرافیک سافټویر کڅوړو لکه بلینډر [ ] او مایا [ ] لخوا کارول شوي لومړني استازیتوب دی، او موږ باید د 2D عکسونو د نظارت لپاره ګټه پورته کړو، ځکه چې دوی د واضح 3D شکلونو په پرتله په پراخه کچه شتون لري. 5 14 43 46 53 68 75 60 59 69 23 (a) (b) 15 1 (c) د 3D تولیدي ماډلینګ په اړه پخوانۍ کارونه د پورته اړتیاوو د فرعي سیټونو تمرکز کړی، مګر تر نن نیټې هیڅ طریقه دا ټول نه پوره کوي (ټب. ). د مثال په توګه، میتودونه چې د 3D نقطې ورېځونه [ , 68, 75] تولیدوي معمولا ټیکسچرونه نه تولیدوي او باید په وروستۍ پروسس کې میش ته بدل شي. 1 5 د وکسلونو تولیدونکي ماډلونه اکثرا توجیهي توضیحات نلري او ټیکسچر نه تولیدوي [ , , , ]. د عصبي ساحو پر بنسټ تولیدي ماډلونه [ , ] د جیومیټری استخراج تمرکز کوي مګر ټیکسچر له پامه غورځوي. له دې څخه ډیری یې روښانه 3D نظارت ته هم اړتیا لري. په پای کې، میتودونه چې په مستقیم ډول ټیکسچر شوي 3D میشونه تولیدوي [ , ] معمولا دمخه ټاکل شوي شکل ټیمپلیټونو ته اړتیا لري او نشي کولی د پیچلي ټاپولوژي او متغیر جنس سره شکلونه تولید کړي. 66 20 27 40 43 14 54 53 په وروستیو کې، د عصبي حجم رینډرینګ [ ] او 2D تولیدي تضاد شبکو (GANs) [ , , , , ] کې چټک پرمختګ د 3D-اګاه عکس ترکیب [ , , , , , ] پورته کیدو ته لاره هواره کړې. په هرصورت، د دې کار لاین هدف د عصبي رینډرینګ په کارولو سره د څو نظره ثبات لرونکي عکسونو ترکیب کول دي او دا تضمین نه کوي چې معنی لرونکي 3D شکلونه تولید کیدی شي. پداسې حال کې چې یو میش په احتمالي توګه د اساسي عصبي ساحې استازیتوب څخه د مارچ کعبې الګوریتم [ ] په کارولو سره ترلاسه کیدی شي، ورسره مطابقت لرونکي ټیکسچر استخراج کول اسانه ندي. 45 34 35 33 29 52 7 57 8 49 51 25 39 پدې کار کې، موږ یوه نوې طریقه معرفي کوو چې د عملي 3D تولیدي ماډل ټولې اړتیاوې پوره کولو هدف لري. په ځانګړې توګه، موږ GET3D وړاندیز کوو، یو enerative ماډل د 3D شکلونو لپاره چې په مستقیم ډول xplicit extured میشونه د لوړ توجیهي او ټیکسچر تفصیل او اختیاري میش ټاپولوژي سره تولیدوي. زموږ د طریقې په زړه کې یو تولیدي پروسه ده چې د توپیر وړ * explicit * سطح استخراج طریقه [ ] او د توپیر وړ رینډرینګ تخنیک [ , ] کاروي. پخوانی موږ ته اجازه راکوي چې په مستقیم ډول د اختیاري ټاپولوژي سره ټیکسچر شوي 3D میشونه تنظیم او تولید کړو، پداسې حال کې چې وروستی موږ ته اجازه راکوي چې زموږ ماډل د 2D عکسونو سره روزنه ورکړو، په دې توګه د 2D عکس ترکیب لپاره رامینځته شوي قوي او بالغ تبعیض کونکو څخه ګټه پورته کوو. ځکه چې زموږ ماډل په مستقیم ډول میشونه تولیدوي او خورا مؤثره (توپیر وړ) ګرافیک رینډرر کاروي، موږ کولی شو په اسانۍ سره زموږ ماډل د 1024 × 1024 په څیر لوړ عکس ریزولوشن سره روزلو لپاره پراخه کړو، چې موږ ته اجازه راکوي د لوړ کیفیت توجیهي او ټیکسچر توضیحاتو زده کړو. G E T 3D 60 47 37 موږ د ShapeNet [ ]، Turbosquid [ ] او Renderpeople [ ] څخه د موټرو، څوکیو، موټرسایکلونو، انساني کرکټرونو او ودانیو په څیر پیچلي جیومیټری سره د څو کټګوریو په اړه د غیر مشروط 3D شکل تولید لپاره د state-of-the-art فعالیت ښودلی. د میش سره د محصول استازیتوب په توګه، GET3D هم خورا انعطاف منونکی دی او په اسانۍ سره نورو کارونو ته تطابق کیدی شي، پشمول: د پرمختللي توپیر وړ رینډرینګ [ ] په کارولو سره د تخریب شوي موادو او د لید-dependent ر lightingا اغیزو تولید لپاره زده کول، پرته له نظارت څخه، د CLIP [ ] استازیتوب په کارولو سره د متن-لارښود 3D شکل تولید. 9 4 2 (a) 12 (b) 56 2 اړوند کار موږ د جیومیټری او ظاهري لپاره د 3D تولیدي ماډلونو وروستي پرمختګونو، او همدارنګه د 3D-اګاه تولیدي عکس ترکیب بیاکتنه کوو. په وروستیو کلونو کې، 2D تولیدي ماډلونو د لوړ ریزولوشن عکس ترکیب [ , , , , , , ] کې فوټوریالیسټیک کیفیت ترلاسه کړی. دا پرمختګ د 3D مینځپانګې تولید کې هم الهام بخښونکی دی. لومړني چلندونه د 2D CNN تولید کونکو مستقیم 3D وکسل گرډونو ته پراخولو هدف لري [ , , , , ]، مګر د 3D convolutions لوړ حافظه بوختیا او کمپیوټري پیچلتیا په لوړ ریزولوشن کې د تولید پروسې خنډوي. د یو بدیل په توګه، نورو کارونو د نقطې ورېځ [ , , , ]، ضمني [ , ]، یا اوکټري [ ] استازیتوبونه سپړلي دي. په هرصورت، دا کارونه په عمده توګه د جیومیټری تولید تمرکز کوي او ظاهري له پامه غورځوي. د دوی د محصول استازیتوبونه باید د معیاري ګرافیک انجنونو سره مطابقت لرونکي کولو لپاره وروسته پروسس شي. 3D تولیدي ماډلونه 34 35 33 52 29 19 16 66 20 27 40 62 5 68 75 46 43 14 30 زموږ کار ته ډیر ورته، Textured3DGAN [ , ] او DIBR [ ] ټیکسچر شوي 3D میشونه تولیدوي، مګر دوی د ټیمپلیټ میش د تحریف په توګه تولید فارموله کوي، کوم چې دوی د پیچلي ټاپولوژي یا د بدلیدونکي جنس سره شکلونو تولید څخه منع کوي، کوم چې زموږ طریقه کولی شي. PolyGen [ ] او SurfGen [ ] کولی شي د اختیاري ټاپولوژي سره میشونه تولید کړي، مګر ټیکسچرونه نه ترکیب کوي. 54 53 11 48 41 د عصبي حجم رینډرینګ [ ] او ضمني استازیتوبونو [ , ] د بریالیتوب څخه الهام اخیستل شوي، وروستي کار د 3D-اګاه عکس ترکیب [ , , , , , , , , , ] د ستونزې حل کولو پیل کړی. په هرصورت، عصبي حجم رینډرینګ شبکې معمولا د پوښتلو لپاره سست دي، چې د اوږدې روزنې وختونو لامل کیږي [ , ]، او د محدود ریزولوشن عکسونه تولیدوي. GIRAFFE [ ] او StyleNerf [ ] د ټیټ ریزولوشن کې عصبي رینډرینګ ترسره کولو سره د روزنې او رینډرینګ موثریت ښه کوي او بیا پایلې د 2D CNN سره پورته کوي. په هرصورت، د فعالیت لاسته راوړنه د کم شوي څو نظره ثبات په لګښت راځي. د دوه ګوني تبعیض کونکي په کارولو سره، EG3D [ ] کولی شي دا ستونزه په جزوي توګه کم کړي. سره له دې، له عصبي رینډرینګ پر بنسټ میتودونو څخه د ټیکسچر شوي سطح استخراج کول یوه اسانه هڅه نده. په مقابل کې، GET3D په مستقیم ډول ټیکسچر شوي 3D میشونه تولیدوي چې په معیاري ګرافیک انجنونو کې په اسانۍ سره کارول کیدی شي. 3D-اګاه تولیدي عکس ترکیب 45 43 14 7 57 49 26 25 76 8 51 58 67 7 57 49 25 8 3 طریقه موږ اوس زموږ د GET3D چوکاټ وړاندې کوو د 3D شکلونو د ترکیب لپاره. زموږ د تولید پروسه په دوو برخو ویشل شوې ده: یوه جیومیټری څانګه، چې په توپیر سره د اختیاري ټاپولوژي میش تولیدوي، او یوه ټیکسچر څانګه چې یو ټیکسچر ساحه تولیدوي چې د رنګونو تولید لپاره د سطحې نقطو کې پوښتنه کیدی شي. وروستی د نورو سطحو ملکیتونو ته د پراختیا وړ دی لکه د مثال په توګه مواد (Sec. ). د روزنې په جریان کې، یو مؤثره توپیر وړ ر استرایزر د پایله شوي ټیکسچر شوي میش په 2D لوړ ریزولوشن عکسونو کې د رینډر کولو لپاره کارول کیږي. ټوله پروسه توپیر لري، له 2D عکسونو څخه (د ماسکونو سره چې د علاقې وړ شی توکی ښیې) د انحرافاتو له لارې دواړه تولید کونکي څانګو ته اجازه ورکوي. زموږ ماډل په Fig. کې ښودل شوی. په لاندې کې، موږ لومړی زموږ د 3D تولید کونکي په Sec کې معرفي کوو، مخکې له دې چې د توپیر وړ رینډرینګ او ضایع کارونو ته لاړ شو په Sec . 4.3.1 2 3.1 3.2 3.1 د 3D ټیکسچر شوي میشونو تولید ماډل موږ هدف لرو چې یو 3D تولید کونکی * M, E* = * G*( ) زده کړو ترڅو د ګوسین توزیع څخه یوه نمونه نقشه کړو z ∈ N (0*,* ) تر میش * M* پورې د ټیکسچر * E* سره. z I څرنګه چې ورته جیومیټری مختلف ټیکسچرونه کیدی شي، او ورته ټیکسچر کیدای شي په مختلفو جیومیټریو باندې تطبیق شي، موږ دوه تصادفی ان پټ ویکٹرونه 1 ∈ R512 او 2 ∈ R512 اخلو. د StyleGAN [ , , ] په تعقیب، موږ بیا د غیر خطي نقشې شبکې * f*geo او * f*tex کاروو ترڅو 1 او 2 منځګړیو پټو ویکٹرونو 1 = * f*geo( 1) او 2 = * f*tex( 2) ته نقشه کړو چې د 3D شکلونو او ټیکسچر تولید کنټرول کولو لپاره * سټایلونه* تولید کولو لپاره کارول کیږي. موږ په Sec. کې د جیومیټری لپاره د تولید کونکي په رسمي توګه معرفي کوو او په Sec. کې د ټیکسچر تولید کونکي. z z 34 35 33 z z w z w z 3.1.1 3.1.2 3.1.1 جیومیټری تولید کوونکی موږ زموږ د جیومیټری تولید کونکي ډیزاین کوو ترڅو DMTet [ ] شامل کړو، یو په دې وروستیو کې وړاندیز شوی د توپیر وړ سطح استازیتوب. DMTet جیومیټری د لاسلیک شوي ساحې (SDF) په توګه استازیتوب کوي چې په تحلیلي ټیټراهایډرل گرډ [ , ] کې تعریف شوی، له کوم څخه چې سطح په توپیر سره د تیږو له لارې [ ] بیرته ترلاسه کیدی شي. گرډ د دې vertices په بدلولو سره تحریفول د دې ریزولوشن څخه ښه کارول رامینځته کوي. د سطح استخراج لپاره د DMTet په منلو سره، موږ کولی شو د اختیاري ټاپولوژي او جنس سره څرګند میشونه تولید کړو. موږ په راتلونکی کې د DMTet لنډ لنډیز چمتو کوو او نورو توضیحاتو لپاره لوستونکي ته مراجعه کوو. 60 22 24 17 فرض کړئ ( ) په بشپړ 3D ځای کې چې څیز په کې پروت دی، چیرې چې په ټیټراهایډرل گرډ کې vertices دي. هر ټیټراهایډرون * Tk* ∈ * T* د څلورو vertices { } سره تعریف شوی، د * k* ∈ {1*, . . . , K*} سره، چیرې چې * K* د ټیټراهایډرونونو ټول شمیر دی، او ∈ ∈ R3. د دې د 3D موقعیتونو سربیره * i* ، هر vertex د SDF ارزښت * si* ∈ R او د vertices څخه تحریف ∆ ∈ R3 لري. د دې استازیتوب د توپیر وړ مارچنګ ټیټراهیډرا [ ] له لارې د څرګند میش بیرته ترلاسه کولو ته اجازه ورکوي، چیرې چې په دوامداره ځای کې SDF ارزښتونه د دوی ارزښت * si* په تحریف شوي vertices ′ = + ∆ کې د باریسنټریک انټرپولیشن لخوا محاسبه کیږي. VT , T VT T v ak , v bk , v ck , v dk v ik VT , v ik v i v i v i 60 v v i v i موږ 1 ∈ R512 په SDF ارزښتونو او په هر vertex کې د تحریف لپاره د مشروط 3D کنولوشنل او بشپړ وصل شوي پرتونو له لارې نقش کوو. په ځانګړې توګه، موږ لومړی د 1 سره مشروط د فیچر حجم تولیدولو لپاره 3D کنولوشنل پرتونه کاروو. موږ بیا د ټرایلینیر انټرپولیشن په کارولو سره په هر vertex ∈ کې فیچر پوښتنه کوو او دا د MLPs ته تغذیه کوو چې د SDF ارزښت * si* او تحریف ∆ تولیدوي. په هغه قضیو کې چې د لوړ ریزولوشن ماډلینګ ته اړتیا وي (د مثال په توګه، د څرخونو سره پتلي جوړښتونه)، موږ د [ ] په تعقیب د حجم فرعي ویش کاروو. د شبکې جوړښت w v i w v i VT v i 60 د ټولو vertices لپاره * si* او ∆ ترلاسه کولو وروسته، موږ د څرګند میش استخراج لپاره د توپیر وړ مارچنګ ټیټراهیډرا الګوریتم کاروو. مارچنګ ټیټراهیډرا د * si* نښو پراساس په هر ټیټراهایډرون کې د سطحې ټاپولوژي ټاکي. په ځانګړې توګه، یو میش مخ داسې استخراج کیږي کله چې sign(* si*) /= sign(* sj*) ، چیرې چې * i, j* د ټیټراهایډرون په څنډه کې د vertices شاخصونه دي، او د دې مخ vertices د خطي انټرپولیشن په توګه ټاکل کیږي لکه mi,j = v 0 i sj−v 0 j si sj−si . یادونه وکړئ چې پورته مساوات یوازې هغه وخت ارزول کیږي کله چې si 6= sj ، له همدې امله دا توپیر وړ دی، او له mi,j څخه انحراف کیدای شي SDF ارزښتونو si او تحریفونو ∆vi ته بیرته خپور شي. د دې استازیتوب سره، د اختیاري ټاپولوژي سره شکلونه د si مختلف نښو په وړاندوینه سره په اسانۍ سره تولید کیدی شي. توپیر وړ میش استخراج v i m i,j 3.1.2 ټیکسچر تولید کوونکی د محصول میش سره مطابقت لرونکي ټیکسچر نقشه په مستقیم ډول تولید کول اسانه ندي، ځکه چې تولید شوي شکل ممکن اختیاري جنس او ټاپولوژي ولري. له همدې امله موږ ټیکسچر د ټیکسچر ساحې [ ] په توګه پیرامیټریز کوو. 50 په ځانګړې توګه، موږ د ټیکسچر ساحه د فنکشن * ft* سره ماډل کوو چې د سطحې نقطې ∈ R3 موقعیت، د 2 په شرایطو کې، په هغه موقعیت کې د RGB رنګ ∈ R3 ته نقشه کوي. ځکه چې د ټیکسچر ساحه په جیومیټری پورې اړه لري، موږ په اضافي توګه دا نقشه په جیومیټری پټ کوډ 1 باندې مشروط کوو، لکه = * ft*( *,* 1 ⊕ 2)، چیرې چې ⊕ د تسلسل استازیتوب کوي. p w c w c p w w موږ زموږ د ټیکسچر ساحه د درې-پرت استازیتوب سره ماډل کوو، کوم چې د 3D شیانو [ ] په بیا جوړولو او 3D-اګاه عکسونو [ ] په تولید کې مؤثره او څرګنده ده. په ځانګړې توګه، موږ [ , ] تعقیبوو او د غیر معین پټ کوډ 1 ⊕ 2 څخه درې محور-همغږي شوي عمودي فیچر الوتکې د × × ( × 3) اندازې ته نقشه کولو لپاره یو مشروط 2D کنولوشنل عصبي شبکه کاروو، چیرې چې * N* = 256 د ځایي ریزولوشن او * C* = 32 چینلونو شمیره استازیتوب کوي. د شبکې جوړښت 55 8 8 35 w w N N C د فیچر الوتکو په پام کې نیولو سره، د سطحې نقطې p فیچر ویکٹر f t ∈ R 32 د f t = P e ρ(πe(p)) په توګه بیرته ترلاسه کیدی شي، چیرې چې πe(p) د نقطې p فیچر الوتکې e ته پروجیکشن دی او ρ(·) د فیچرونو بلینیر انټرپولیشن دی. یو اضافي بشپړ وصل شوی پرت بیا د راټول شوي فیچر ویکٹر f t څخه RGB رنګ c ته نقشه کولو لپاره کارول کیږي. یادونه وکړئ چې، د 3D-اګاه عکس ترکیب په نورو کارونو کې د عصبي ساحې استازیتوب کارولو سره توپیر لري، موږ یوازې د سطحې نقطو موقعیتونو کې د ټیکسچر ساحې نمونې ته اړتیا لرو (د وړانګې په اوږدو کې د کثافاتو نمونو برخلاف). دا د لوړ ریزولوشن عکسونو لپاره د رینډرینګ کمپیوټري پیچلتیا خورا کموي او د جوړښت له لارې د څو نظره ثبات لرونکي عکسونو تولید تضمینوي. 3.2 توپیر وړ رینډرینګ او روزنه زموږ ماډل د روزنې په جریان کې د نظارت لپاره، موږ د Nvdiffrec [ ] څخه الهام اخلو چې د توپیر وړ رینډرنر په کارولو سره د څو نظره 3D اعتراض بیا جوړونه ترسره کوي. په ځانګړې توګه، موږ د استخراج شوي 3D میش او د ټیکسچر ساحې د 2D عکسونو په توګه د توپیر وړ رینډرنر [ ] په کارولو سره رینډر کوو، او زموږ شبکه د 2D تبعیض کونکي سره نظارت کوو، کوم چې د عکس د ریښتینې اعتراض یا د تولید شوي اعتراض څخه رینډر شوي څخه توپیر کولو هڅه کوي. 47 37 موږ فرض کوو چې د کیمرې توزیع C چې د ډیټا سیټ کې د عکسونو ترلاسه کولو لپاره کارول شوې وه پیژندل شوې ده. د تولید شوي شکلونو رینډر کولو لپاره، موږ په تصادفی توګه له C څخه یوه کیمره * c* اخلو، او د خورا عصري توپیر وړ ر استرایزر Nvdiffrast [ ] کاروو ترڅو د 3D میش په 2D سلیټ او همدارنګه په یوه عکس کې رینډر کړو چیرې چې هر پکسل د میش سطحې باندې د اړوند 3D موقع توپیر وړ رینډرینګ 37