```html ደራሲያን፦ ጁን ጋኦ፣ NVIDIA፣ የቶሮንቶ ዩኒቨርሲቲ፣ የቬክተር ተቋም (jung@nvidia.com) ቲያንቻንግ ሼን፣ NVIDIA፣ የቶሮንቶ ዩኒቨርሲቲ፣ የቬክተር ተቋም (frshen@nvidia.com) ዚያን ዋንግ፣ NVIDIA፣ የቶሮንቶ ዩኒቨርሲቲ፣ የቬክተር ተቋም (zianw@nvidia.com) ወንዠንግ ሼን፣ NVIDIA፣ የቶሮንቶ ዩኒቨርሲቲ፣ የቬክተር ተቋም (wenzchen@nvidia.com) ካንግኧክሱ ዪን፣ NVIDIA (kangxuey@nvidia.com) ዳይኪንግ ሊ፣ NVIDIA (daiqingl@nvidia.com) ኦር ኔታኒ፣ NVIDIA (olitany@nvidia.com) ዛን ጎጅቺክ፣ NVIDIA (zgojcic@nvidia.com) ሳንጃ ፊድለር፣ NVIDIA፣ የቶሮንቶ ዩኒቨርሲቲ፣ የቬክተር ተቋም (sfidler@nvidia.com) ማጠቃለያ በርካታ ኢንዱስትሪዎች ግዙፍ ባለ ሶስት አቅጣጫዊ ምናባዊ ዓለሞችን ለመፍጠር ስለሚንቀሳቀሱ፣ የ3D ይዘትን መጠን፣ ጥራት እና ልዩነትን ሊያሳድጉ የሚችሉ የይዘት ፈጠራ መሳሪያዎች አስፈላጊነት ግልጽ እየሆነ መጥቷል። በዚህ ስራችን፣ በቀጥታ ለ3D ሪንደርንግ ሞተሮች (rendering engines) ሊውሉ የሚችሉ እና ለታች-ተፋሰስ (down-stream) አፕሊኬሽኖች ወዲያውኑ ጥቅም ላይ ሊውሉ የሚችሉ ሸካራማ ግራፊክስ (textured meshes) የሚፈጥሩ ብቃት ያላቸው 3D አመንጪ ሞዴሎችን ለማሰልጠን ዓላማ እናደርጋለን። ያለፉት የ3D አመንጪ ሞዴሊንግ ስራዎች አንዳቸውም የጂኦሜትሪክ ዝርዝሮች የላቸውም፣ የፈጠሩት የሜሽ ቶፖሎጂ (mesh topology) ውስን ነው፣ ሸካራማ ግራፊክስን አያካትቱም፣ ወይም የሲንተሲስ (synthesis) ሂደት ውስጥ የነርቭ ሪንደርሮችን (neural renderers) ይጠቀማሉ፣ ይህም በተለመደው 3D ሶፍትዌር ውስጥ መጠቀምን አስቸጋሪ ያደርገዋል። በዚህ ስራ፣ GET3Dን እናስተዋውቃለን፣ እሱም enerative model that directly generates xplicit extured meshes with complex topology, rich geometric details, and high fidelity textures. የቅርብ ጊዜ ስኬቶችን በተለዋዋጭ የገጽ ሞዴሊንግ (differentiable surface modeling)፣ ተለዋዋጭ ሪንደርንግ (differentiable rendering) እንዲሁም ባለ 2D አመንጪ ተቃራሚ አውታረ መረቦች (Generative Adversarial Networks) በመጠቀም ከ2D የምስል ስብስቦች ሞዴላችንን እናሰለጥናለን። GET3D ከፍተኛ ጥራት ያላቸውን 3D ሸካራማ ግራፊክስ ሜሾችን መፍጠር ይችላል፣ ይህም ከመኪናዎች፣ ወንበሮች፣ እንስሳት፣ ሞተር ብስክሌቶች እና የሰዎች ገጸ-ባህሪያት እስከ ህንጻዎች ድረስ ይደርሳል፣ ይህም ከቀደሙት ዘዴዎች ጋር ሲነጻጸር గణనీయ መሻሻልን ያስመዘገበ ነው። የፕሮጀክታችን ገጽ፡ G E T 3D https://nv-tlabs.github.io/GET3D 1 መግቢያ ልዩ ልዩ እና ከፍተኛ ጥራት ያለው 3D ይዘት ለጨዋታ፣ ሮቦቲክስ፣ አርክቴክቸር እና ማህበራዊ መድረኮችን ጨምሮ ለበርካታ ኢንዱስትሪዎች እየጨመረ የመጣ ጠቀሜታ አለው። ሆኖም፣ የ3D ንብረቶች በእጅ መፍጠር በጣም ጊዜ የሚወስድ እና ልዩ የቴክኒክ እውቀት እንዲሁም የአርቲስቲክ ሞዴሊንግ ክህሎቶችን ይፈልጋል። ዋና ዋና ተግዳሮቶች አንዱ ልኬት ነው – እንደ ቱርቦስኩዊድ (Turbosquid) [ ] ወይም ስኬችፋብ (Sketchfab) [ ] ባሉ 3D ገበያዎች ላይ 3D ሞዴሎችን ማግኘት ቢቻልም፣ ብዙ 3D ሞዴሎችን መፍጠር፣ ለምሳሌ፣ ጨዋታን ወይም ፊልምን በተለያየ መልክ በሚታዩ ገጸ-ባህሪያት ለመሙላት አሁንም ከፍተኛ የአርቲስት ጊዜ ይወስዳል። 4 3 የይዘት ፈጠራ ሂደትን ለማመቻቸት እና ለተለያዩ (ጀማሪ) ተጠቃሚዎች ተደራሽ ለማድረግ፣ በቅርቡ ከፍተኛ ጥራት ያላቸውን እና ልዩ ልዩ 3D ንብረቶችን መፍጠር የሚችሉ አመንጪ 3D አውታረ መረቦች [ , , , , , , , , , , ] የጥናት ንቁ መስክ ሆነዋል። ሆኖም ግን፣ ለወቅታዊው የዓለም አፕሊኬሽኖች በተግባር ጠቃሚ ለመሆን፣ 3D አመንጪ ሞዴሎች የሚከተሉትን መስፈርቶች ማሟላት አለባቸው፡ ዝርዝር ጂኦሜትሪ እና ማንኛውንም ቶፖሎጂ ያላቸውን ቅርጾች የመፍጠር አቅም ሊኖራቸው ይገባል፣ ውጤቱ ሸካራማ ግራፊክስ ሜሽ መሆን አለበት፣ ይህም እንደ ብሌንደር (Blender) [ ] እና ማያ (Maya) [ ] ባሉ መደበኛ ግራፊክስ ሶፍትዌር ፓኬጆች ጥቅም ላይ የሚውል ዋና ውክልና ነው፣ እና ይበልጥ በስፋት የሚገኙ በመሆናቸው 2D ምስሎችን ለክትትል (supervision) መጠቀም መቻል አለብን። 5 14 43 46 53 68 75 60 59 69 23 (ሀ) (ለ) 15 1 (ሐ) ባለፈው የ3D አመንጪ ሞዴሊንግ ላይ የተደረጉ ስራዎች ከላይ የተጠቀሱትን መስፈርቶች በጥቂቱ ቢፈጽሙም፣ እስካሁን ድረስ ምንም ዘዴ ሁሉንም አላሟላም (ሠንጠረዥ 1)። ለምሳሌ፣ የ3D ነጥብ ደመናዎችን [ , 68, 75] የሚፈጥሩ ዘዴዎች ብዙውን ጊዜ ሸካራማ ግራፊክስን አይፈጥሩም እና በድህረ-ማቀነባበር (post-processing) ወደ ሜሽ መለወጥ አለባቸው። 5 ቮክስል (voxels) የሚፈጥሩ ዘዴዎች አብዛኛውን ጊዜ የጂኦሜትሪክ ዝርዝሮች የላቸውም እና ሸካራማ ግራፊክስን አይፈጥሩም [ , , , ]. በነርቭ መስኮች (neural fields) ላይ የተመሰረቱ አመንጪ ሞዴሎች [ , ] ጂኦሜትሪን ከማውጣት ይልቅ በሸካራማ ግራፊክስ ላይ ያተኩራሉ። ከእነዚህ ውስጥ አብዛኛዎቹ የ3D ክትትልንም ይጠይቃሉ። በመጨረሻም፣ ሸካራማ ግራፊክስ 3D ሜሾችን በቀጥታ የሚያወጡ ዘዴዎች [ , ] በተለምዶ ቅድመ-የተወሰነ የቅርጽ አብነቶችን (shape templates) ይፈልጋሉ እና ውስብስብ ቶፖሎጂ ወይም ተለዋዋጭ የጂነስ (genus) ቅርጾችን መፍጠር አይችሉም። 66 20 27 40 43 14 54 53 በቅርቡ፣ በነርቭ ድምጽ ሪንደርንግ (neural volume rendering) [ ] እና ባለ 2D አመንጪ ተቃራሚ አውታረ መረቦች (GANs) [ , , , , ] ላይ የተደረገ ፈጣን እድገት የ3D-አስተዋይ የምስል ሲንተሲስ (3D-aware image synthesis) [ , , , , , ] መነሳት አስከትሏል። ሆኖም፣ ይህ የሥራ መስመር በሲንተሲስ ሂደት ውስጥ የነርቭ ሪንደርንግ በመጠቀም ባለብዙ-እይታ (multi-view) ተስማሚ ምስሎችን መፍጠር ዓላማ አለው እና ትርጉም ያላቸው 3D ቅርጾች ሊፈጠሩ እንደሚችሉ አያረጋግጥም። ምንም እንኳን ማርቺንግ ኪዩብ አልጎሪዝም (marching cube algorithm) [ ] በመጠቀም ከመሠረታዊ የነርቭ መስክ ውክልና ሜሽ ማግኘት ቢቻልም፣ ተዛማጅ የሆነውን ሸካራማ ግራፊክስ ማውጣት ቀላል አይደለም። 45 34 35 33 29 52 7 57 8 49 51 25 39 በዚህ ስራ፣ በተግባር ጠቃሚ የሆነ 3D አመንጪ ሞዴልን ሁሉንም መስፈርቶች ለመፍታት ያለመ አዲስ አቀራረብን እናስተዋውቃለን። በተለይም፣ GET3Dን እናስተዋውቃለን፣ እሱም enerative model for 3D shapes that directly outputs xplicit extured meshes with high geometric and texture detail and arbitrary mesh topology. የአቀራረባችን መሠረት ተለዋዋጭ *explicit* የገጽ ማውጣት ዘዴ [ ] እና ተለዋዋጭ ሪንደርንግ ዘዴ [ , ] የሚጠቀም አመንጪ ሂደት ነው። የቀድሞው ማንኛውንም ቶፖሎጂ ያላቸውን ሸካራማ ግራፊክስ 3D ሜሾችን በቀጥታ እንድንሰራ እና እንድናወጣ ያስችለናል፣ የኋለኛው ደግሞ 2D ምስሎችን በመጠቀም ሞዴላችንን እንድንሰለጥ ያስችለናል፣ ይህም ለ2D የምስል ሲንተሲስ የተገነቡ ኃይለኛ እና የበሰሉ ተቃዋቂዎችን (discriminators) ጥቅም ላይ እንድናውል ያስችለናል። ሞዴላችን ሜሾችን በቀጥታ ስለሚፈጥር እና ከፍተኛ ብቃት ያለው (ተለዋዋጭ) ግራፊክስ ሪንደርር ስለሚጠቀም፣ እስከ 1024 × 1024 ድረስ ከፍ ያለ የምስል ጥራት ባለው መልኩ ማሰልጠን እንችላለን፣ ይህም ከፍተኛ ጥራት ያላቸውን የጂኦሜትሪክ እና የሸካራማ ግራፊክስ ዝርዝሮችን እንድንማር ያስችላል። G E T 3D 60 47 37 ከቅርብ ጊዜዎቹ ዘዴዎች በተሻለ ሁኔታ፣ በShapeNet [ ]፣ ቱርቦስኩዊድ (Turbosquid) [ ] እና ሬንደርፔፕል (Renderpeople) [ ] ውስጥ ባሉ ውስብስብ ጂኦሜትሪ ያላቸው በርካታ ምድቦች ላይ፣ እንደ መኪናዎች፣ ወንበሮች፣ ሞተር ብስክሌቶች፣ የሰዎች ገጸ-ባህሪያት እና ህንጻዎች ላይ የላቀ አፈጻጸም እናሳያለን። በግልጽ ሜሽ ውጤት ውክልና፣ GET3D ደግሞ በጣም ተለዋዋጭ ነው እና ሌሎች ስራዎች ላይ በቀላሉ ሊተገበር ይችላል፣ ይህም የሚከተሉትን ያጠቃልላል፡ የላቁ ተለዋዋጭ ሪንደርንግ [ ] በመጠቀም የተከፋፈሉ ቁሶች (materials) እና የእይታ-ማሰሪያ (view-dependent) የመብራት ውጤቶችን መፍጠርን መማር፣ ያለ ክትትል፣ CLIP [ ] embedding በመጠቀም በጽሑፍ የሚመራ 3D የቅርጽ ውርስ (synthesis)። 9 4 2 (ሀ) 12 (ለ) 56 2 ተዛማጅ ስራ በቅርቡ በጂኦሜትሪ እና በምስል 3D አመንጪ ሞዴሎች እንዲሁም በ3D-አስተዋይ አመንጪ የምስል ሲንተሲስ ላይ የተደረጉ እድገቶችን እንገመግማለን። ባለፉት ጥቂት አመታት፣ ባለ 2D አመንጪ ሞዴሎች በከፍተኛ ጥራት ምስል ሲንተሲስ [ , , , , , , ] ውስጥ የፎቶ እውነታዊ (photorealistic) ጥራት አስመዝግበዋል። ይህ እድገት በ3D ይዘት ፈጠራም ምርምርን አነሳስቷል። ቀደምት አቀራረቦች ባለ 2D CNN አመንጪዎችን በቀጥታ ወደ 3D ቮክስል ግሪዶች [ , , , , ] ለማስፋት ዓላማ ነበራቸው፣ ነገር ግን የ3D ኮንቮልዩሽን (convolutions) ከፍተኛ የማስታወስ ፍጆታ እና የሂሳብ ውስብስብነት በከፍተኛ ጥራት ላይ የመፍጠር ሂደቱን ያደናቅፋሉ። እንደ አማራጭ፣ ሌሎች ስራዎች የነጥብ ደመና [ , , , ]፣ ድብቅ [ , ]፣ ወይም ኦክትሪ (octree) [ ] ውክልናዎችን መርምረዋል። ሆኖም፣ እነዚህ ስራዎች በዋናነት ጂኦሜትሪን ከመፍጠር ይልቅ ያተኩራሉ። ውጤታቸውም ከመደበኛ ግራፊክስ ሞተሮች ጋር ተኳሃኝ ለማድረግ በድህረ-ማቀነባበር መስተካከል አለበት። 3D አመንጪ ሞዴሎች 34 35 33 52 29 19 16 66 20 27 40 62 5 68 75 46 43 14 30 ከስራችን ጋር ይበልጥ ተዛማጅነት ያላቸው፣ ሸካራማ ግራፊክስ 3D ሜሾችን የሚፈጥሩ Textured3DGAN [ , ] እና DIBR [ ]፣ ነገር ግን የመፍጠር ሂደቱን እንደ አብነት ሜሽ መበላሸት (deformation) ይገልጻሉ፣ ይህም ውስብስብ ቶፖሎጂ ወይም የተለያዩ የጂነስ ቅርጾችን ከመፍጠር ይከለክላቸዋል፣ ይህም ዘዴያችን ሊያደርገው ይችላል። PolyGen [ ] እና SurfGen [ ] ማንኛውንም ቶፖሎጂ ያላቸውን ሜሾችን መፍጠር ይችላሉ፣ ነገር ግን ሸካራማ ግራፊክስን አይፈጥሩም። 54 53 11 48 41 በነርቭ ድምጽ ሪንደርንግ [ ] እና በድብቅ ውክልናዎች [ , ] ስኬት ተመስጦ፣ በቅርቡ የተደረጉ ስራዎች የ3D-አስተዋይ የምስል ሲንተሲስ [ , , , , , , , , , ] ችግርን መፍታት ጀምረዋል። ሆኖም ግን፣ የነርቭ ድምጽ ሪንደርንግ አውታረ መረቦች በአጠቃላይ ለመጠየቅ ዘገምተኛ ናቸው፣ ይህም ረጅም የማሰልጠኛ ጊዜዎችን [ , ] ያስከትላል፣ እና የተወሰነ ጥራት ያላቸውን ምስሎች ይፈጥራሉ። GIRAFFE [ ] እና StyleNerf [ ] የነርቭ ሪንደርንግን በዝቅተኛ ጥራት በማከናወን እና ከዚያም ውጤቶቹን በ2D CNN በማሳደግ የማሰልጠን እና የመቅረጽ ብቃት ያሻሽላሉ። ሆኖም፣ የአፈጻጸም መሻሻል የሚመጣው ከቀነሰ ባለብዙ-እይታ ተኳሃኝነት (multi-view consistency) ዋጋ ነው። ባለሁለት ተቃዋቂ (dual discriminator) በመጠቀም፣ EG3D [ ] ይህንን ችግር በከፊል ሊፈታ ይችላል። ሆኖም ግን፣ ከነርቭ ሪንደርንግ ላይ ከተመሰረቱ ዘዴዎች ሸካራማ ገጽ ማውጣት ቀላል ጉዳይ አይደለም። በተቃራኒው፣ GET3D በቀጥታ ሸካራማ 3D ሜሾችን ያወጣል፣ ይህም በተለመደው የግራፊክስ ሞተሮች ውስጥ በቀላሉ ጥቅም ላይ ሊውል ይችላል። 3D-አስተዋይ አመንጪ የምስል ሲንተሲስ 45 43 14 7 57 49 26 25 76 8 51 58 67 7 57 49 25 8 3 ዘዴ አሁን ሸካራማ 3D ቅርጾችን ለመፍጠር የ GET3D ማዕቀፍ እናቀርባለን። የመፍጠር ሂደታችን በሁለት ክፍሎች ይከፈላል፡ የጂኦሜትሪ ቅርንጫፍ (geometry branch)፣ ይህም ማንኛውንም ቶፖሎጂ ያለው የገጽ ሜሽ ተለዋዋጭ በሆነ መልኩ ያወጣል፣ እና የሸካራማ ግራፊክስ ቅርንጫፍ (texture branch)፣ ይህም ባለገጽ ነጥቦችን በመጠየቅ ቀለሞችን የሚፈጥር የሸካራማ ግራፊክስ መስክ (texture field) ይፈጥራል። የኋለኛው ደግሞ ለሌሎች የገጽ ንብረቶች ለምሳሌ ቁሶች (materials) (ክፍል 4.3.1) ሊሰፋ ይችላል። በማሰልጠን ጊዜ፣ ከፍተኛ ጥራት ያላቸውን 2D ምስሎች ለመቅረጽ ቀልጣፋ ተለዋዋጭ ራስተርራይዘር (rasterizer) ጥቅም ላይ ይውላል። አጠቃላይ ሂደቱ ተለዋዋጭ ነው፣ ይህም ከ2D ተቃዋቂ (discriminator) የመጡትን ግራዲየንቶች (gradients) ወደ ሁለቱም አመንጪ ቅርንጫፎች በማስተላለፍ ከምስሎች (በአንድ ነገር ላይ ያለውን ጭንብል በማመልከት) ጋር ተቃዋሚ ማሰልጠን ያስችላል። ሞዴላችን በስእል 2 ይታያል። በሚከተለው መልኩ፣ መጀመሪያ የ3D አመንጪያችንን ክፍል 3.1 እናስተዋውቃለን፣ ከዚያም በክፍል 3.2 ተለዋዋጭ ሪንደርንግ እና የኪሳራ ተግባራትን (loss functions) እንቀጥላለን። 3.1 የ3D ሸካራማ ግራፊክስ ሜሾች አመንጪ ሞዴል ከጋውስያን ስርጭት (Gaussian distribution) የተወሰደ ናሙና ∈ N (0*,* ) ወደ ሜሽ ከሸካራማ ግራፊክስ ጋር የሚወስድ 3D አመንጪ = ( ) ለመማር ዓላማ እናደርጋለን። z I M E M, E G z አንድ አይነት ጂኦሜትሪ የተለያዩ ሸካራማ ግራፊክስ ሊኖረው ስለሚችል፣ እና አንድ አይነት ሸካራማ ግራፊክስ በተለያዩ ጂኦሜትሪዎች ላይ ሊተገበር ስለሚችል፣ ሁለት ተለዋዋጭ የግብዓት ቬክተሮችን 1 ∈ R512 እና 2 ∈ R512 እንወስዳለን። StyleGAN [ , , ] በመከተል፣ ከዚያም የነርቭ መካከለኛ የሆኑትን 1 = geo( 1) እና 2 = tex( 2)ን ለመፍጠር 1 እና 2ን የሚወስዱ መካኒካል ያልሆኑ የመመልከቻ አውታረ መረቦችን (non-linear mapping networks) geo እና tex እንጠቀማለን። እነዚህም 3D ቅርጾችን እና ሸካራማ ግራፊክስን የሚቆጣጠሩ *styles* ለመፍጠር ጥቅም ላይ ይውላሉ። የጂኦሜትሪ አመንጪን ክፍል 3.1.1 እና የሸካራማ ግራፊክስ አመንጪን ክፍል 3.1.2 በይፋ እናስተዋውቃለን። z z 34 35 33 w f z w f z z z f f 3.1.1 የጂኦሜትሪ አመንጪ የኛን የጂኦሜትሪ አመንጪ በቅርቡ የቀረበውን ተለዋዋጭ የገጽ ውክልና የሆነውን DMTet [ ] ለማካተት ንድፍ እናወጣለን። DMTet ጂኦሜትሪን እንደ ፈረቃ የቴትራሄድራል ግሪድ (deformable tetrahedral grid) [ , ] ላይ በተገለጸው የርቀት መስክ (signed distance field - SDF) ይወክላል፣ ከእርሱም ገጽ በማርችንግ ቴትራሄድራ (marching tetrahedra) [ ] ተለዋዋጭ በሆነ መልኩ ሊገኝ ይችላል። ግሪዱን በከፍታዎቹ በማንቀሳቀስ መፈረካከስ (deforming) የቀረበውን ጥራት የተሻለ ጥቅም እንዲያገኝ ያደርጋል። የገጽ ማውጣት (surface extraction) ለማድረግ DMTetን በመጠቀም፣ ማንኛውንም ቶፖሎጂ እና ጂነስ ያላቸውን ግልጽ ሜሾችን መፍጠር እንችላለን። በመቀጠል DMTetን በአጭሩ እናጠቃልላለን እና ለተጨማሪ ዝርዝሮች ወደ ዋናው ወረቀት እንመራለን። 60 22 24 17 ($VT , T$) የነገሩ የሚገኝበትን ሙሉ 3D ቦታ ይወክል፣ እ where $VT$ የቴትራሄድራል ግሪድ $T$ ከፍታዎች ሲሆኑ። እያንዳንዱ ቴትራሄድሮን $Tk ∈ T$ በአራት ከፍታዎች { } ይገለጻል፣ $k ∈ {1*, . . . , K*}$, $K$ አጠቃላይ የቴትራሄድሮኖች ብዛት ሲሆን, እና ∈ $VT ,$ ∈ R3። የ3D መጋጠሚያዎቹን ከመደመር በተጨማሪ፣ እያንዳንዱ ከፍታ የSDF እሴት $si ∈ R$ እና ከርሱ የመጀመሪያ ካኖኒካል መጋጠሚያ (canonical coordinate) የርቀት ∆ ∈ R3 ይይዛል። ይህ ውክልና በተለዋዋጭ ማርችንግ ቴትራሄድራ [ ] በመጠቀም ግልጽ ሜሽ እንዲገኝ ያስችላል፣ ይህም በተለዋዋጭ የቴትራሄድራል ግሪድ ላይ ባርሴንትሪክ (barycentric) ንክኪ በመጠቀም የSDF እሴቶች $si$ በተስተካከሉ ከፍታዎች ′ = + ∆ ላይ በተከታታይ ቦታ ላይ ይሰላሉ። v ak , v bk , v ck , v dk v ik v ik v i v i 60 v v i v i 1 ∈ R512ን በእያንዳንዱ ከፍታ ላይ ባሉ የSDF እሴቶች እና የርቀት እሴቶች ∆ በበርካታ ተከታታይ ባለ3D ኮንቮልዩሽን (convolutional) እና ሙሉ በሙሉ የተገናኙ ንብርብሮች (fully connected layers) በኩል እንወስዳለን። በተለይም፣ መጀመሪያ 1 ላይ ተመስርቶ የባህሪ ድምጽ (feature volume) ለመፍጠር ባለ3D ኮንቮልዩሽን ንብርብሮች እንጠቀማለን። ከዚያም የባህሪውን በእያንዳንዱ ከፍታ ∈ $VT$ በ trilinear interpolation በመጠየቅ፣ የSDF እሴት $si$ እና የርቀት ∆ የሚያወጣ MLPs ውስጥ እናስገባዋለን። ከፍተኛ ጥራት ያለው ሞዴሊንግ በሚያስፈልግበት ጊዜ (ለምሳሌ፣ በጎማዎች ውስጥ ያሉ ቀጭን መዋቅሮች ያሉት ሞተር ብስክሌት)፣ ከ[ ] በመከተል የድምጽ ንዑስ-ክፍል (volume subdivision) እንጠቀማለን። የአውታረ መረብ አርክቴክቸር w v i v i w v i v i 60 ለሁሉም ከፍታዎች $si$ እና ∆ ካገኘን በኋላ፣ ግልጽ ሜሽ ለማውጣት ተለዋዋጭ ማርችንግ ቴትራሄድራ አልጎሪዝም እንጠቀማለን። ማርችንግ ቴትራሄድራ በእያንዳንዱ ቴትራሄድሮን ውስጥ ያለውን የገጽ ቶፖሎጂ የሚወስነው በ$si$ ምልክቶች (signs) ላይ በመመስረት ነው። በተለይም፣ የሜሽ ፊት የሚፈጠረው sign($si$) /= sign($sj$) ሲሆን፣ $i, j$ የቴትራሄድሮን ጠርዝ (edge) ላይ ያሉ የከፍታዎች መለያዎች ሲሆኑ፣ እና የዚያ ፊት ከፍታዎች እንደ $mi,j$ = v 0 i sj−v 0 j si sj−si የሚል የተከታታይ ንክኪ (linear interpolation) በመጠቀም ይወሰናሉ። ማሳሰቢያ፣ ከላይ ያለው እኩልታ $si$ ≠ $sj$ ሲሆን ብቻ ነው የሚገመተው፣ ስለዚህ ተለዋዋጭ ነው፣ እና ከ$mi,j$ የመጡ ግራዲየንቶች ወደ $si$ እና ∆vi የSDF እሴቶች ሊተላለፉ ይችላሉ። በዚህ ውክልና፣ ማንኛውንም ቶፖሎጂ ያላቸው ቅርጾች $si$ የተለያዩ ምልክቶችን በመተንበይ በቀላሉ ሊፈጠሩ ይችላሉ። ተለዋዋጭ የሜሽ ማውጣት v i m i,j 3.1.2 የሸካራማ ግራፊክስ አመንጪ ከተፈጠረው ሜሽ ጋር ተስማሚ የሆነ የሸካራማ ግራፊክስ ካርታ (texture map) በቀጥታ መፍጠር ቀላል አይደለም፣ ምክንያቱም ከተፈጠረው ቅርጽ ማንኛውንም ጂነስ እና ቶፖሎጂ ሊኖረው ይችላል። ስለዚህ ሸካራማ ግራፊክስን እንደ የሸካራማ ግራፊክስ መስክ [ ] እንገልጻለን። 50 በተለይም፣ የሸካራማ ግራፊክስ መስክን በ*ft* ተግባር እንቀርጻለን፣ ይህም የገጽ ነጥብ ∈ R3 ∈ 3D ቦታን፣ በ 2 ላይ ተመስርቶ፣ ለዚያ ቦታ የRGB ቀለም ∈ R3 ያደርሳል። የሸካራማ ግራፊክስ መስክ ከጂኦሜትሪ ስለሚመነጭ፣ የ3D ቅርጽ ድብቅ ኮድ 1ን በመጠቀም ይህንን ተግባር እናሟላለን፣ ስለዚህም = *ft*(*p*, *w*1 ⊕ *w*2) ሲሆን, ⊕ ደግሞ ንክኪ (concatenation) ማለት ነው። p w c w c የሸካራማ ግራፊክስ መስክን በሶስት-ፕሌን (tri-plane) ውክልና እንወክላለን፣ ይህም የ3D ነገሮችን [ ] በመፍጠር እና የ3D-አስተዋይ ምስሎችን [ ] በመፍጠር ቀልጣፋ እና ገላጭ ነው። በተለይም፣ [8, 25, 7, 57] በመከተል፣ የ3D-አስተዋይ የምስል ሲንተሲስ ስራዎች ላይ አዲስ የ2D ኮንቮልዩሽን የነርቭ አውታረ መረብን ተጠቅመን የድብቅ ኮድ 1 ⊕ 2ን ወደ ሶስት ዘንግ-አልባ (axis-aligned) ኦርቶጎናል የባህሪ ፕሌኖች (feature planes) መጠን $N$ × $N$ × ($C$ × 3) እናደርሳለን፣ እ where $N$ = 256 የቦታ ጥራትን ያሳያል እና $C$ = 32 የቻናል ብዛትን ያሳያል። የአውታረ መረብ አርክቴክቸር 55 8 w w የባህሪ ፕሌኖችን ከሰጠናቸው በኋላ፣ የገጽ ነጥብ p የባህሪ ቬክተር ft ∈ R 32 የpt = P e ρ(πe(p)) በመሆን ሊገኝ ይችላል፣ ይህም πe(p) የ p ነጥብ ወደ ባህሪ ፕሌን e መወርወር (projection) ሲሆን ρ(·) ደግሞ የባህሪዎችን ቢሊነር (bilinear) ንክኪ ያሳያል። ከዚያም የተሰበሰበውን የባህሪ ቬክተር ftን ወደ RGB ቀለም c ለማድረግ ተጨማሪ ሙሉ በሙሉ የተገናኘ ንብርብር ጥቅም ላይ ይውላል። ማሳሰቢያ፣ የ3D-አስተዋይ የምስል ሲንተሲስ [8, 25, 7, 57] ላይ ሌሎች ስራዎች የነርቭ መስክ ውክልና የሚጠቀሙ ቢሆንም፣ እኛ የሸካራማ ግራፊክስ መስክን በገጽ ነጥቦች ቦታዎች ላይ ብቻ (ከጥርስ ናሙናዎች በተቃራኒ) ለመጠየቅ ብቻ ያስፈልገናል ። ይህ ከፍተኛ ጥራት ያላቸውን ምስሎች የመቅረጽ የሂሳብ ውስብስብነትን በእጅጉ ይቀንሳል እና በግንባታ (by construction) የባለብዙ-እይታ ተስማሚ ምስሎችን መፍጠርን ያረጋግጣል። 3.2 ተለዋዋጭ ሪንደርንግ እና ማሰልጠን በማሰልጠን ጊዜ ሞዴላችንን ለመቆጣጠር፣ ተለዋዋጭ ሪንደርርን በመጠቀም የባለብዙ-እይታ 3D የነገር መልሶ ግንባታን የሚያከናውነውን Nvdiffrec [ ] ተመስጠን እንሰራለን። በተለይም፣ የፍተሻውን 3D ሜሽ እና የሸካራማ ግራፊክስ መስክን ወደ 2D ምስሎች በግንባታ ተለዋዋጭ ሪንደርር [ ] እናስገባለን፣ እና ሞዴላችንን ባለ 2D ተቃዋቂ እንቆጣጠራለን፣ ይህም የምስሉን ከእውነተኛ ነገር ወይም ከተፈጠረው ነገር መቅረጽ መለየት ይሞክራል። 47 37 በዳታሴቱ ውስጥ ጥቅም ላይ የዋለው የካሜራ ስርጭት C እንደሚታወቅ እንገምታለን። የተፈጠሩ ቅርጾችን ለመቅረጽ፣ ከC አንድ ካሜራ *c* ን ተለዋዋጭ በሆነ መልኩ እንወስዳለን፣ እና ባለ3D ሜሽን ወደ 2D ሲልሆውት እና እያንዳንዱ ፒክስል የሜሽ ገጽ ላይ ያለውን ተዛማጅ 3D ነጥብ መጋጠሚያዎችን የያዘ ምስል ለመፍጠር ከፍተኛ ብቃት ያለው ተለዋዋጭ ራስተርራይዘር Nvdiffrast [ ] እንጠቀማለን። እነዚህ መጋጠሚያዎች የRGB እሴቶችን ለማግኘት የሸካራማ ግራፊክስ መስክን ለመጠየቅ ያገለግላሉ። በቀጥታ ከማውጣቱ ሜሽ ጋር ስለማንሰራ፣ ከፍተኛ ብቃት ባለው መልኩ ከፍተኛ ጥራት ያላቸውን ምስሎች መቅረጽ እንችላለን፣ ይህም ሞዴላችን እስከ 1024 × 1024 ድረስ ባሉ የምስል ጥራቶች እንዲሰለጥ ያስችለዋል። ተለዋዋጭ ሪንደርንግ 37 ሞዴላችንን በተቃዋሚ ዓላማ (adversarial objective) እንሰለጥናለን። የStyleGAN [ ] ተቃዋቂ አርክቴክቸርን እንወስዳለን፣ እና R1 መቆጣጠሪያን (regularization) [ ] በመጠቀም ተመሳሳይ በሆነ መደበኛ-ያልሆነ የGAN ዓላማ እንጠቀማለን። በRGB ምስሎች እና በሲልሆውቶች ላይ የተለየ ሁለት ተቃዋቂዎችን መጠቀም፣ ከሁለቱም ጋር የሚሰራ አንድ ተቃዋቂ ከመጠቀም የተሻለ ውጤት እንደሚሰጥ በሙከራ አረጋግጠናል። $Dx$ ተቃዋቂ ይሁን፣ $x$ የRGB ምስል ወይም ሲልሆውት ሊሆን ይችላል። ተቃዋሚው ዓላማ የሚከተለውን ይመስላል: ተቃዋቂ & ዓላማ 34 42 where $g(u)$ is defined as $g(u)$ = − log(1 +exp(− )), $px$ is the distribution of real images, $R$ denotes rendering, and $λ$ is a hyperparameter. $R$ ተለዋዋጭ ስለሆነ፣ ግራዲየንቶች ከ2D ምስሎች ወደ 3D አመንጪዎቻችን ሊተላለፉ ይችላሉ። u በየትኛውም እይታዎች ላይ የማይታዩ የውስጥ ተንሳፋፊ ፊቶችን (internal floating faces) ለማስወገድ፣ የጂኦሜትሪ አመንጪውን በተዛማጅ የከፍታዎች SDF እሴቶች መካከል ባለው የመስቀል-ኤንትሮፒ ኪሳራ (cross-entropy loss) [ ] ተጨማሪ እንቆጣጠራለን: መቆጣጠሪያ 47 where $H$ denotes binary cross-entropy loss and $σ$ denotes the sigmoid function. Eq. ላይ ያለው ድምር የቴትራሄድራል ግሪድ ላይ ባሉ ልዩ ልዩ ጠርዞች S ስብስብ ላይ ይገለጻል፣ for which sign($si$) /= sign($sj$). 2 e አጠቃላይ የኪሳራ ተግባር የሚከተለውን ይመስላል: where $µ$ is a hyperparameter that controls the level of regularization. 4 ሙከራዎች ሞዴላችንን ለመገምገም ሰፊ ሙከራዎችን እናካሂዳለን። መጀመሪያ፣ GET3D በሚፈጥራቸው ባለ3D ሸካራማ ግራፊክስ ሜሾች ጥራት ከቀደምት ዘዴዎች ጋር በShapeNet [ ] እና ቱርቦስኩዊድ (Turbosquid) [ ] ዳታሴቶች ላይ እናነፃፅራለን። ከዚያም፣ በክፍል 4.2 የንድፍ ምርጫዎቻችንን እናቀምሳለን። በመጨረሻም፣ በክፍል 4.3 በታች-ተፋሰስ አፕሊኬሽኖች ላይ በመተግበር የGET3D ተለዋዋጭነት እናሳያለን። ተጨማሪ የሙከራ ውጤቶች እና የአተገባበር ዝርዝሮች በአባሪ ውስጥ ቀርበዋል። 9 4 4.1 በሰው ሰራሽ ዳታሴቶች ላይ የተደረጉ ሙከራዎች በShapeNet [ ] ላይ ለግምገማ፣ ውስብስብ ጂኦሜትሪ ያላቸው ሶስት ምድቦችን እንጠቀማለን – , , እና ፣ ይህም በቅደም ተከተል 7497፣ 6778 እና 337 ቅርጾችን ይይዛል። እያንዳንዱን ምድብ በዘፈቀደ ወደ ማሰልጠኛ (70%)፣ ማረጋገጫ (10%) እና ምርመራ (20%) እንከፍላለን፣ እና በማሰልጠኛ ስብስብ ውስጥ ተባባሪዎች (duplicates) ያላቸውን ቅርጾች ከምርመራ ስብስብ እናስወግዳለን። ለማሰልጠኛ ዳታ ለማቅረብ፣ ከእያንዳንዱ ቅርጽ የላይኛው ንፍቀ ክበብ (upper hemisphere) የዘፈቀደ የካሜራ ቦታዎችን እንወስዳለን። ለ እና ምድቦች፣ 24 የዘፈቀደ እይታዎችን እንጠቀማለን፣ ለ ደግሞ ከቅርጾች ብዛት ያነሰ በመሆኑ 100 እይታዎችን እንጠቀማለን። በShapeNet ውስጥ ያሉ ሞዴሎች ቀላል ሸካራማ ግራፊክስ ብቻ ስላላቸው፣ ሸካራማ ግራፊክስ ይበልጥ ዝርዝር በሆነበት ከTurboSquid [ ] የተሰበሰበውን ዳታሴት (442 ቅርጾች) ላይ GET3Dን እንገመግማለን፣ እኛም ከላይ እንደተገለጸው ወደ ማሰልጠኛ፣ ማረጋገጫ እና ምርመራ እንከፍለዋለን። በመጨረሻም፣ የGET3Dን ሁለገብነት ለማሳየት፣ ከTurboSquid (563 ቅርጾች) የተሰበሰበውን ዳታሴት፣ እና ከRenderpeople [ ] (500 ቅርጾች) የተሰበሰበውን ዳታሴት ላይ የጥራት ውጤቶችን እናቀርባለን። በእያንዳንዱ ምድብ ላይ የተለየ ሞዴል እናሰለጥናለን። ዳታሴቶች 9 መኪና ወንበር ሞተር ብስክሌት መኪና ወንበር ሞተር ብስክሌት 4 እንስሳ ቤት 2 የሰው አካል GET3Dን ከሁለት ቡድን ስራዎች ጋር እናነፃፅራለን፡ የ3D ክትትልን የሚጠቀሙ 3D አመንጪ ሞዴሎች፡ PointFlow [ ] እና OccNet [ ]። ማሳሰቢያ፣ እነዚህ ዘዴዎች ጂኦሜትሪን ብቻ ይፈጥራሉ፣ ሸካራማ ግራፊክስ የላቸውም። የ3D-አስተዋይ የምስል ማመንጫ ዘዴዎች፡ GRAF [ ], PiGAN [ ], እና EG3D [ ]. ዋና ዘዴዎች (Baselines) 1) 68 43 2) 57 7 8 የፈጠራችንን ጥራት ለመገምገም፣ ሁለቱንም የጂኦሜትሪ እና የሸካራማ ግራፊክስን ጥራት እንመለከታለን። ለጂኦሜትሪ፣ ከ[ ] የመጡትን መለኪያዎች እንወስዳለን እና የሽፋን ውጤት (Coverage score) እና ዝቅተኛው የማጣጣም ርቀት (Minimum Matching Distance) ለማስላት ሁለቱንም Chamfer Distance (CD) እና Light Field Distance [ ] (LFD) እንጠቀማለን። ለOccNet [ ], GRAF [ ], PiGAN [ ] እና EG3D [ ], የውስጠኛውን ጂኦሜትሪ ለማውጣት ማርችንግ ኪዩብ (marching cubes) እንጠቀማለን። ለPointFlow [ ], LFDን ስንገምት የነጥብ ደመናን ወደ ሜሽ ለመቀየር ፖይሰን የገጽ መልሶ ግንባታ (Poisson surface reconstruction) እንጠቀማለን። የሸካራማ ግራፊክስን ጥራት ለመገምገም፣ የምስል ሲንተሲስን ለመገምገም በብዛት ጥቅም ላይ የዋለውን FID [ ] መለኪያን እንወስዳለን። በተለይም፣ ለእያንዳንዱ ምድብ፣ የምርመራ ቅርጾችን ወደ 2D ምስሎች እናቀርባለን፣ እንዲሁም ከተፈጠሩት 3D ቅርጾች ውስጥ ተመሳሳይ የካሜራ ስርጭት በመጠቀም 50k ምስሎችን እናቀርባለን። ከዚያም በሁለቱ የምስል ስብስቦች ላይ FIDን እናሰላለን። ከ3D-አስተዋይ የምስል ሲንተሲስ [ , , ] የመጡት ዋና ዘዴዎች ሸካራማ ሜሾችን በቀጥታ ስለማያወጡ፣ FID ውጤቱን በሁለት መንገዶች እናሰላለን፡ ( ) የነርቭ ድምጽ ሪንደርራቸውን በመጠቀም 2D ምስሎችን እናገኛለን፣ ይህም FID-Ori ብለን እንጠራዋለን፣ እና ( ) ከነርቭ መስክ ውክልናቸው ማርችንግ ኪዩብ በመጠቀም ሜሹን እናወጣለን፣ እናቀርባለን፣ ከዚያም የእያንዳንዱን ፒክስል 3D ቦታ እንጠቀማለን ይህም RGB እሴቶችን ለማግኘት አውታረ መረቡን እንጠይቅበታለን። ይህም የ3D ቅርጽን ይበልጥ የሚያሳይ ውጤት፣ FID-3D ብለን እንጠራዋለን። ለግምገማ መለኪያዎች ተጨማሪ ዝርዝሮች በአባሪ B.3 ውስጥ ይገኛሉ። መለኪያዎች 5 10 43 57 7 8 68 28 57 7 8 i ii የቁጥር ውጤቶችን በሠንጠረዥ 9 እና የጥራት ምሳሌዎችን በስእል 3 እና ስእል 4 እናቀርባለን። ተጨማሪ ውጤቶች በማሟያ ቪዲዮ ውስጥ ይገኛሉ። OccNet [ ] በማሰልጠኛ ጊዜ የ3D ክትትልን ከሚጠቀም ጋር ሲነጻጸር፣ GET3D በሁለቱም ልዩነት (COV) እና ጥራት (MMD) ረገድ የተሻለ አፈጻጸም ያሳያል፣ እና የኛ የተፈጠሩ ቅርጾች ተጨማሪ የጂኦሜትሪ ዝርዝሮች አሏቸው። የሙከራ ውጤቶች 43 PointFlow [ ] በCD ላይ ባለው MMD ረገድ GET3Dን ይበልጣል፣ GET3D ደግሞ በLFG ላይ ባለው MMD የተሻለ ነው። ይህ የሆነው PointFlow በቀጥታ በነጥብ ቦታዎች ላይ ስለሚሰራ፣ ይህም ለCD እንደሚደግፍ እንገምታለን። GET3D ከ3D-አስተዋይ የምስል ሲንተሲስ ዘዴዎች ጋር ሲነፃፀር በጥሩ ሁኔታ ይሰራል። በሁሉም ዳታሴቶች ላይ በሁሉም መለኪያዎች PiGAN [ ] እና GRAF [ ] ላይ గణనీయ መሻሻል እናሳያለን። የተፈጠሩት ቅርጾችም ተጨማሪ ዝርዝር ጂኦሜትሪ እና ሸካራማ ግራፊክስ ይይዛሉ። ከቅርብ ጊዜው ስራ EG3D [ ] ጋር ሲነፃፀር። በ2D ምስሎች ላይ (FID-ori) ተመሳሳይ አፈጻጸም እናገኛለን፣ ነገር ግን በ3D ቅርጽ ሲንተሲስ ረገድ FID-3D ላይ గణనీయ መሻሻል እናሳያለን፣ ይህም በዋናው 3D ጂኦሜትሪ እና ሸካራማ ግራፊክስ ላይ ያለንን የሞዴል ውጤታማነት ያሳያል። 68 7 57 8 ሸካራማ ሜሾችን ስለሚፈጥር፣ ቅርጾቻችንን ወደ ብሌንደር (Blender) ኤክስፖርት ማድረግ እንችላለን። በስእል 1 እና ስእል 5 የመቅረጽ ውጤቶችን እናሳይዛለን። GET3D ተለዋዋጭ እና ከፍተኛ ጥራት ያለው ጂኦሜትሪ እና ቶፖሎጂ፣ በጣም ቀጭን መዋቅሮች (ሞተር ብስክሌቶች)፣ እንዲሁም በመኪናዎች፣ እንስሳት እና ቤቶች ላይ ውስብስብ ሸካራማ ግራፊክስ ያላቸውን ቅርጾች መፍጠር ይችላል። 1 GET3D ለማረም ጠቃሚ ሊሆን የሚችል የቅርጽ ማመጣጠንንም ይፈቅዳል። በስእል 6 የGET3Dን ድብቅ ቦታ እንቃኛለን፣ እ where we interpolate the latent codes to generate each shape from left to right. GET3D ከአንድ ቅርጽ ወደ ሌላ ለስላሳ እና ትርጉም ያለው ሽግግር መፍጠር ይችላል። ድብቅ ኮዶችን ወደ የዘፈቀደ አቅጣጫ በመቀየር የአካባቢውን ድብቅ ቦታ மேலும் እንቃኛለን። GET3D በአካባቢያዊ የድብቅ ቦታ አርትዖት ላይ አዲስ እና የተለያዩ ቅርጾችን ይፈጥራል (ስእል 7)። የቅርጽ ማመጣጠን (Shape Interpolation) 4.2 አብላሽኖች (Ablations) ሞዴላችንን በሁለት መንገዶች እናቀምሳለን፡ ከድምጽ ንዑስ-ክፍል (volume subdivision) ጋር እና ያለሱ፣ በተለያዩ የምስል ጥራቶች ማሰልጠን። ተጨማሪ አብላሽኖች በአባሪ C.3 ውስጥ ይገኛሉ። 1) 2) በሠንጠረዥ 9 እንደሚታየው፣ የድምጽ ንዑስ-ክፍል ቀጭን መዋቅሮች (ለምሳሌ፣ ሞተር ብስክሌቶች) ባሏቸው ክፍሎች ላይ አፈጻጸምን గణనీయ ያሻሽላል፣ በሌሎች ክፍሎች ደግሞ ምንም መሻሻል የለም። የመጀመሪያው የቴትራሄድራል ጥራት ለወንበሮች እና መኪናዎች ዝርዝር ጂኦሜትሪ ለመያዝ በቂ እንደሆነ እንገምታለን፣ ስለዚህ ንዑስ-ክፍል ተጨማሪ መሻሻልን አይሰጥም። የድምጽ ንዑስ-ክፍል አብላሽን የተለያዩ የምስል ጥራቶችን አብላሽን በሠንጠረዥ 3 ላይ የማሰልጠኛ ምስል ጥራትን ውጤት እናቀምሳለን። እንደተጠበቀው፣ የጨመረው የምስል ጥራት FID እና የቅርጽ ጥራት ረገድ አፈጻጸምን ያሻሽላል፣ ምክንያቱም አውታረ መረቡ ተጨማሪ ዝርዝሮችን ማየት ይችላል፣ ይህም ብዙ ጊዜ ዝቅተኛ ጥራት ባላቸው ምስሎች ላይ አይገኝም። ይህ በተለይ ለድብቅ-ተኮር ዘዴዎች ለመጠቀም አስቸጋሪ የሆኑ ከፍተኛ የምስል ጥራቶችን በማሰልጠን አስፈላጊነትን ያረጋግጣል። 4.3 አፕሊኬሽኖች 4.3.1 ለዕይታ-ማሰሪያ የመብራት ውጤቶች የቁስ (Material) መፍጠር GET3D በዘመናዊ የግራፊክስ ሞተሮች ውስጥ በቀጥታ ሊውሉ የሚችሉ የገጽ ቁሶችን ለመፍጠርም በቀላሉ ሊሰፋ ይችላል። በተለይም፣ በብዛት ጥቅም ላይ የሚውለውን የዲስኒ BRDF [ , ] ተከትለን፣ ቁሶችን በመሠረት ቀለም (R3), ብረታማነት (metallic) (R) እና ሸካራነት (roughness) (R) ባህሪያት እንገልጻለን። በዚህ ምክንያት፣ የሸካራማ ግራፊክስ አመንጪያችንን ከRGB ብቻ ይልቅ ባለ 5-ቻናል የሚያንጸባርቅ መስክ (reflectance field) ለማውጣት እንደገና እንጠቀማለን። ለቁሶች ተለዋዋጭ ሪንደርንግ ለማመቻቸት፣ ቀልጣፋ የኳስ ጋውሲያን (spherical Gaussian - SG) ላይ የተመሰረተ የዘገየ ሪንደርንግ ቧንቧ መስመር (deferred rendering pipeline) [ ] እንጠቀማለን። በተለይም፣ የሚያንጸባርቅ መስክን ወደ G-buffer ራስተር እናደርጋለን፣ እና ከእውነተኛው ዓለም የውጪ HDR ፓኖራማዎች ስብስብ { } ∈ R32×7 የሆነ HDR ምስልን በዘፈቀደ እንወስዳለን፣ ይህም ለእያንዳንዱ ፓኖራማ 32 SG ሎብ (lobes) በማስማማት የተገኘ ነው። SG ሪንደርር [ ] ከእይታ-ማሰሪያ የመብራት ውጤቶች ጋር የRGB ምስልን ለመቅረጽ ካሜራ *c* ን ይጠቀማል፣ ይህም በማሰልጠን ጊዜ ወደ ተቃዋቂው እናስገባዋለን። ማሳሰቢያ፣ GET3D በማሰልጠኛ ጊዜ የቁስ ክትትል አይፈልግም እና የተከፋፈሉ ቁሶችን ያለ ክትትል ይማራል። 6 32 12 LSG K 12 በስእል 8 ላይ የተፈጠሩ የገጽ ቁሶች የጥራት ውጤቶችን እናቀርባለን። ከክትትል ነጻ ቢሆንም፣ GET3D አስደሳች የቁስ መከፋፈልን ያገኛል፣ ለምሳሌ፣ መስኮቶቹ የመኪናው አካል ይበልጥ የሚያብረቀርቅ እንዲሆን አነስተኛ የሸካራነት እሴት ይዘው በትክክል ይገመታሉ፣ እና የመኪናው አካል ይበልጥ ዲኤሌክትሪክ (dielectric) ሆኖ ይገመታል mientras መስኮቱ ይበልጥ ብረታማ (metallic) ነው። የተፈጠሩት ቁሶች ውስብስብ የብሩህነት ውጤቶችን በተለያዩ የመብራት ሁኔታዎች ውስጥ በሚያስችሉን ተጨባጭ ዳግም ማብራት ውጤቶችን እንድናገኝ ያስችሉናል። 4.3.2 በጽሑፍ የሚመራ 3D ውርስ እንደ የምስል GANs ሁሉ፣ GET3D በCLIP [ ] መመሪያ ስር ቅድመ-የሰለጠነ ሞዴልን በማስተካከል የጽሑፍ-መመሪያ 3D ይዘት ውርስንም ይደግፋል። ማሳሰቢያ፣ የመጨረሻው የውርስ ውጤታችን ሸካራማ 3D ሜሽ ነው። ለዚህም፣ styleGAN-NADA [ ] ውስጥ ያለውን ባለሁለት-አመንጪ ንድፍ እንከተላለን፣ ይህም ሊሰለጥ የሚችል ቅጂ እና የማይንቀሳቀስ ቅጂ የቅድመ-የሰለጠነ አመንጪ ጥቅም ላይ ይውላሉ። በማመቻቸት ጊዜ እና ሁለቱም ከ16 የዘፈቀደ የካሜራ እይታዎች ምስሎችን ይፈጥራሉ። ለጽሑፍ ጥያቄ፣ 500 የጫጫታ ቬክተር ጥንዶችን 1 እና 2 እንወስዳለን። ለእያንዳንዱ ናሙና፣ ን መለኪያዎች ወደ አቅጣጫዊ CLIP ኪሳራ [ ] (ምንጭ የጽሑፍ መለያዎች ለተዛማጅ ምድቦች "መኪና", "እንስሳ" እና "ቤት" ናቸው) ለመቀነስ እና ዝቅተኛ ኪሳራ ያላቸውን ናሙናዎች ለመምረጥ እናመቻቻለን። ይህን ሂደት ለማፋጠን፣ በመጀመሪያ ለ500 ናሙናዎች አጭር የኦፕቲማይዜሽን እርምጃዎችን እናከናውናለን፣ ከዚያም ዝቅተኛ ኪሳራ ያላቸውን ምርጥ 50 ናሙናዎችን እንመርጣለን፣ እና ለ300 እርምጃዎች ኦፕቲማይዜሽን እናከናውናለን። ውጤቶቹ እና ከSOTA የጽሑፍ-መመሪያ ሜሽ ስታይልንግ ዘዴ Text2Mesh [ ] ጋር ንፅፅር በስእል 9 ቀርቧል። ማሳሰቢያ፣ [68] ለዘዴው የቅርጽ ሜሽ እንደ ግብአት ይፈልጋል። ከቀዘቀዘው አመንጪ የተፈጠሩትን ሜሾቻችንን ለእሱ እንደ ግብአት ሜሾች እናቀርባለን። የገጽ ዝርዝሮችን በከፍታ መፈናቀል (vertex displacements) ለመፍጠር፣ ሜሽ ከፍታዎች ጥቅጥቅ ያሉ መሆን ስላለባቸው፣ እያንዳንዱ ሜሽ በአማካይ 50k-150k ከፍታ እንዲኖረው ለማድረግ በmid-point subdivision ግብአት ሜሾችን மேலும் እናስፋፋለን። 56 21 Gt Gf Gt Gf z z Gt 21 44 5 መደምደሚያ GET3Dን አስተዋውቀናል፣ እሱም ማንኛውንም ቶፖሎጂ ያላቸውን ከፍተኛ ጥራት ያላቸውን 3D ሸካራማ ግራፊክስ ሜሾችን መፍጠር የሚችል አዲስ 3D አመንጪ ሞዴል። GET3D የሚሰለጥነው ባለ 2D ምስሎችን ብቻ እንደ ክትትል በመጠቀም ነው። በበርካታ ምድቦች ላይ ከቀደምት የላቁ ዘዴዎች ጋር ሲነጻጸር የ3D ቅርጾችን በመፍጠር గణనీయ መሻሻሎችን በሙከራ አሳይተናል። ይህ ስራ ወደ AI በመጠቀም የ3D ይዘት ፈጠራን ዲሞክራሲያዊ ለማድረግ አንድ እርምጃ እንድንወስድ ተስፋ እናደርጋለን። GET3D በተግባር ጠቃሚ የሆነ 3D ሸካራማ ግራፊክስ ቅርጾች አመንጪ ሞዴልን ወደፊት గణనీይ እርምጃ ቢወስድም፣ አሁንም አንዳንድ ገደቦች አሉት። በተለይም፣ በማሰልጠኛ ጊዜ አሁንም በ2D ሲልሆውቶች እና በካሜራ ስርጭት እውቀት ላይ እንመካለን። በዚህ ምክንያት፣ GET3D በአሁኑ ጊዜ በሰው ሰራሽ ዳታ ላይ ብቻ ተገምግሟል። ተስፋ ሰጪ እድል የነጥብ መከፋፈል (instance segmentation) እና የካሜራ ቦታ ግምትን በመጠቀም ይህንን ችግር ለማቃለል እና GET3D ን ወደ እውነተኛው ዓለም ዳታ ለማስፋት ያገለግላል። GET3D እንዲሁ በምድብ ይሰለጥናል፤ ወደፊት ለበርካታ ምድቦች ማስፋፋት፣ በምድብ መካከል ያለውን ልዩነት በተሻለ ሁኔታ እንድንወክል ይረዳናል። ገደቦች ለዘመናዊ የግራፊክስ ሞተሮች በቀላሉ ሊገቡ የሚችሉ 3D ሸካራማ ግራፊክስ ሜሾችን የሚፈጥር አዲስ 3D አመንጪ ሞዴልን አቅርበናል። ሞዴላችን ማንኛውንም ቶፖሎጂ፣ ከፍተኛ ጥራት ያላቸውን ሸካራማ ግራፊክስ እና የበለጸጉ የጂኦሜትሪ ዝርዝሮች ያላቸውን ቅርጾች መፍጠር ይችላል፣ ይህም AIን ለ3D ይዘት ፈጠራ ዲሞክራሲያዊ ለማድረግ መንገድ ይከፍታል። እንደ ሁሉም ማሽን መማሪያ ሞዴሎች፣ GET3D እንዲሁ በማሰልጠኛ ዳታ ውስጥ በሚገቡ አድልዎዎች (biases) ሊጠቃ ይችላል። ስለዚህ፣ ለምሳሌ፣ የ3D የሰውን አካል ከመፍጠር ጋር በተያያዘ በሚሰነዘሩ ስሜት ቀስቃሽ አፕሊኬሽኖች ሲያጋጥሙ ከፍተኛ ጥንቃቄ መደረግ አለበት፣ ምክንያ ሰፊ ተጽእኖ
