කර්තෘවරු: Jun Gao, NVIDIA, University of Toronto, Vector Institute (jung@nvidia.com) Tianchang Shen, NVIDIA, University of Toronto, Vector Institute (frshen@nvidia.com) Zian Wang, NVIDIA, University of Toronto, Vector Institute (zianw@nvidia.com) Wenzheng Chen, NVIDIA, University of Toronto, Vector Institute (wenzchen@nvidia.com) Kangxue Yin, NVIDIA (kangxuey@nvidia.com) Daiqing Li, NVIDIA (daiqingl@nvidia.com) Or Litany, NVIDIA (olitany@nvidia.com) Zan Gojcic, NVIDIA (zgojcic@nvidia.com) Sanja Fidler, NVIDIA, University of Toronto, Vector Institute (sfidler@nvidia.com) සාරාංශය බොහෝ කර්මාන්ත සඳහා දැවැන්ත 3D අතථ්ය ලෝක ආකෘතිකරණය කරා ගමන් කරන විට, 3D අන්තර්ගතයේ ප්රමාණය, ගුණාත්මකභාවය සහ විවිධත්වය අනුව පරිමාණය කළ හැකි අන්තර්ගත නිර්මාණ මෙවලම් සඳහා වන අවශ්යතාවය පැහැදිලි වෙමින් පවතී. අපගේ කාර්යයේදී, 3D ජනන මාදිලි 3D රෙන්ඩරින් එන්ජින් විසින් සෘජුව පරිභෝජනය කළ හැකි, එනම් පහළ-ප්රවාහ යෙදුම්වල වහාම භාවිතා කළ හැකි, ටෙක්ස්චර්ඩ් 3D මැෂ් (textured meshes) සංස්ලේෂණය කිරීමට අපේක්ෂා කෙරේ. 3D ජනන ආකෘතිකරණය පිළිබඳ පෙර කටයුතු වලදී, ජ්යාමිතික විස්තර අඩුවීම, ඒවා නිපදවිය හැකි මැෂ් ටොපොලොජි (mesh topology) වලට සීමා වීම, සාමාන්යයෙන් ටෙක්ස්චර්ස් (textures) වලට සහාය නොදීම, නැතහොත් සංස්ලේෂණ ක්රියාවලියේදී ස්නායු රෙන්ඩරර් (neural renderers) භාවිතා කිරීම සිදු විය, මේ හේතුවෙන් ඒවා සාමාන්ය 3D මෘදුකාංගවල භාවිතා කිරීම සංකීර්ණ වේ. මෙම කාර්යයේදී, අපි GET3D හඳුන්වා දෙන්නෙමු, එය enerative model that directly generates xplicit extured meshes with complex topology, rich geometric details, and high fidelity textures වේ. අපි 2D රූප එකතුවකින් අපගේ මාදිලි පුහුණු කිරීම සඳහා, වෙනස් කළ හැකි මතුපිට ආකෘතිකරණය (differentiable surface modeling), වෙනස් කළ හැකි රෙන්ඩරින් (differentiable rendering) සහ 2D ජනන විරුද්ධ ජාල (2D Generative Adversarial Networks) වල මෑතකාලීන සාර්ථකත්වයන් උපයෝගී කරගනිමු. GET3D විසින් මෝටර් රථ, පුටු, සතුන්, යතුරුපැදි සහ මිනිස් චරිත, ගොඩනැගිලි දක්වා, උසස් තත්ත්වයේ 3D ටෙක්ස්චර්ඩ් මැෂ් (textured meshes) නිපදවීමට සමත් වේ, පෙර ක්රමවේදයන්ට සාපේක්ෂව සැලකිය යුතු දියුණුවක් අත්කර ගනිමින්. අපගේ ව්යාපෘති පිටුව: G E T 3D https://nv-tlabs.github.io/GET3D 1 හැඳින්වීම විවිධ, උසස් තත්ත්වයේ 3D අන්තර්ගතය ගේම්, රොබෝ විද්යාව, ගෘහ නිර්මාණ ශිල්පය සහ සමාජ වේදිකා ඇතුළු විවිධ කර්මාන්ත සඳහා වඩ වඩාත් වැදගත් වෙමින් පවතී. කෙසේ වෙතත්, 3D වත්කම් අතින් නිර්මාණය කිරීම ඉතා කාලය ගතවන අතර විශේෂිත තාක්ෂණික දැනුමක් as well as කලාත්මක ආකෘතිකරණ කුසලතා අවශ්ය වේ. ප්රධාන අභියෝගයන්ගෙන් එකක් නම් පරිමාණය - Turbosquid [ ] හෝ Sketchfab [ ] වැනි 3D වෙළඳපොළවල්වල 3D මාදිලි සොයා ගත හැකි වුවද, එකිනෙකට වෙනස් පෙනුමක් ඇති චරිත සමූහයක්, ගේමක් හෝ චිත්රපටයක් පිරවීම සඳහා බොහෝ 3D මාදිලි නිර්මාණය කිරීමට තවමත් සැලකිය යුතු කලාකරු කාලයක් ගත වේ. 4 3 අන්තර්ගත නිර්මාණ ක්රියාවලියට පහසුකම් සැලසීමට සහ එය විවිධ (නවක) පරිශීලකයින් සඳහා ප්රවේශ විය හැකි කිරීමට, උසස් තත්ත්වයේ සහ විවිධ 3D වත්කම් නිපදවිය හැකි ජනන 3D ජාල (generative 3D networks) මෑතකදී පර්යේෂණයේ සක්රිය ක්ෂේත්රයක් බවට පත්ව ඇත [ , , , , , , , , , , ]. කෙසේ වෙතත්, දැනට පවතින යථාර්ථවාදී යෙදුම් සඳහා ප්රායෝගිකව ප්රයෝජනවත් වීමට, 3D ජනන මාදිලි වලට මේ අනුව අවශ්යතා සපුරාලිය යුතුය: ඒවාට සවිස්තරාත්මක ජ්යාමිතිය සහ අත්තනෝමතික ටොපොලොජි (arbitrary topology) සහිත හැඩතල නිපදවීමේ ධාරිතාව තිබිය යුතුය, ප්රතිදානය ටෙක්ස්චර්ඩ් මැෂ් (textured mesh) එකක් විය යුතුය, එය Blender [ ] සහ Maya [ ] වැනි සම්මත ග්රැෆික්ස් මෘදුකාංග පැකේජ මගින් භාවිතා කරන ප්රාථමික නිරූපණයකි, සහ ඒවා 2D රූප සඳහා අධීක්ෂණයෙන් ප්රයෝජන ලබා ගත හැකි විය යුතුය, මන්ද ඒවා අනුරූප 3D හැඩතල වලට වඩා පුළුල්ව පවතී. 5 14 43 46 53 68 75 60 59 69 23 (a) (b) 15 1 (c) 3D ජනන ආකෘතිකරණය පිළිබඳ පෙර කටයුතු ඉහත අවශ්යතාවල උප-කට්ටල කෙරෙහි අවධානය යොමු කර ඇත, නමුත් මේ දක්වා කිසිදු ක්රමයක් ඒවා සියල්ලම සපුරාලන්නේ නැත (Tab. ). උදාහරණයක් ලෙස, 3D ලක්ෂ්ය වලාකුළු (point clouds) නිපදවන ක්රම [ , 68, 75] සාමාන්යයෙන් ටෙක්ස්චර්ස් නිපදවන්නේ නැති අතර ඒවා පසු-ප්රොසෙසිං (post-processing) වලදී මැෂ් (mesh) බවට පරිවර්තනය කළ යුතුය. 1 5 වොක්සෙල් (voxels) නිපදවන ක්රම බොහෝ විට ජ්යාමිතික විස්තර අඩුවීම සහ ටෙක්ස්චර් (texture) නිපදවීම සිදු නොවේ [ , , , ]. ස්නායු ක්ෂේත්ර (neural fields) මත පදනම් වූ ජනන මාදිලි [ , ] ජ්යාමිතිය නිස්සාරණය කිරීම කෙරෙහි අවධානය යොමු කරයි නමුත් ටෙක්ස්චර් (texture) නොසලකයි. මේවායින් බොහෝමයකට අනුරූප 3D අධීක්ෂණයද අවශ්ය වේ. අවසාන වශයෙන්, ටෙක්ස්චර්ඩ් 3D මැෂ් (textured 3D meshes) සෘජුව නිපදවන ක්රම [ , ] සාමාන්යයෙන් පෙර-නිර්වචනය කරන ලද හැඩතල සැකිලි (shape templates) අවශ්ය වන අතර සංකීර්ණ ටොපොලොජි (complex topology) සහ විචල්ය ජෙනස් (variable genus) සහිත හැඩතල නිපදවීමට නොහැකි වේ. 66 20 27 40 43 14 54 53 මෑතකදී, ස්නායු පරිමා රෙන්ඩරින් (neural volume rendering) [ ] සහ 2D ජනන විරුද්ධ ජාල (2D Generative Adversarial Networks) [ , , , , ] වල වේගවත් ප්රගතිය 3D-අවබෝධක රූප සංස්ලේෂණය (3D-aware image synthesis) නැගීමකට හේතු වී ඇත [ , , , , , ]. කෙසේ වෙතත්, මෙම කාර්යයේ මාර්ගය ස්නායු රෙන්ඩරින් (neural rendering) භාවිතා කරමින් බහු-දර්ශන අනුකූල රූප සංස්ලේෂණය කිරීම අරමුණු කරයි, නමුත් අර්ථවත් 3D හැඩතල නිපදවිය හැකි බවට සහතිකයක් නොවේ. මාර්චින්ඝ් කූප (marching cube) ඇල්ගොරිතමය [ ] භාවිතා කර අනුරූප ස්නායු ක්ෂේත්ර නිරූපණයෙන් මැෂ් (mesh) එකක් ලබා ගත හැකි වුවද, අනුරූප ටෙක්ස්චර් (texture) නිස්සාරණය කිරීම සංකීර්ණ නොවේ. 45 34 35 33 29 52 7 57 8 49 51 25 39 මෙම කාර්යයේදී, ප්රායෝගිකව ප්රයෝජනවත් 3D ජනන මාදිලි (3D generative model) සඳහා වන සියලුම අවශ්යතා සපුරාලීමට අරමුණු කරන නව්ය ප්රවේශයක් අපි හඳුන්වා දෙන්නෙමු. විශේෂයෙන්, අපි GET3D, enerative model for 3D shapes that directly outputs xplicit extured meshes with high geometric and texture detail and arbitrary mesh topology යෝජනා කරමු. අපගේ ප්රවේශයේ හදවතේ, වෙනස් කළ හැකි මතුපිට නිස්සාරණ ක්රමයක් [ ] සහ වෙනස් කළ හැකි රෙන්ඩරින් (differentiable rendering) ශිල්පය [ , ] භාවිතා කරන ජනන ක්රියාවලියක් ඇත. පෙර ගණය අපට අත්තනෝමතික ටොපොලොජි (arbitrary topology) සහිත ටෙක්ස්චර්ඩ් 3D මැෂ් (textured 3D meshes) සෘජුව ප්රශස්ත කිරීමට සහ නිපදවීමට ඉඩ සලසයි, දෙවැන්න අපට 2D රූප සමඟ අපගේ මාදිලි පුහුණු කිරීමට ඉඩ සලසයි, එබැවින් 2D රූප සංස්ලේෂණය සඳහා සංවර්ධනය කරන ලද බලවත් සහ පරිණත විරුද්ධවාදීන් (discriminators) උපයෝගී කර ගනී. අපගේ මාදිලි මැෂ් (mesh) සෘජුව නිපදවන අතර ඉහළ කාර්යක්ෂම (වෙනස් කළ හැකි) ග්රැෆික්ස් රෙන්ඩරර් (graphics renderer) භාවිතා කරන බැවින්, අපට රූප සමඟ පුහුණු කිරීමට අපගේ මාදිලි පරිමාණය කළ හැකිය. G E T 3D explicit 60 47 37 1024 × 1024 දක්වා විභේදනය (resolution), උසස් තත්ත්වයේ ජ්යාමිතික සහ ටෙක්ස්චර් (texture) විස්තර ඉගෙන ගැනීමට අපට ඉඩ සලසයි. ShapeNet [ ], Turbosquid [ ] සහ Renderpeople [ ] වෙතින් මෝටර් රථ, පුටු, යතුරුපැදි, මිනිස් චරිත සහ ගොඩනැගිලි වැනි සංකීර්ණ ජ්යාමිතිය සහිත බහුවිධ කාණ්ඩවල කොන්දේසි රහිත 3D හැඩතල ජනනය කිරීම සඳහා අපි රාජ්ය-ය-කලා කාර්ය සාධනය ප්රදර්ශනය කරමු. GET3D ද ඉතා නම්යශීලී වන අතර, වෙනත් කාර්යයන් සඳහා පහසුවෙන් අනුගත විය හැකිය, ඒවා ඇතුළුව: දියුණු වෙනස් කළ හැකි රෙන්ඩරින් (advanced differentiable rendering) [ ] using decomposed material and view-dependent lighting effects, without supervision, CLIP [ ] embedding using text-guided 3D shape generation. 9 4 2 (a) 12 (b) 56 2 අදාළ කාර්යය අපි ජ්යාමිතිය සහ පෙනුම සඳහා 3D ජනන මාදිලි වල මෑතකාලීන ප්රගතිය, as well as 3D-aware generative image synthesis සමාලෝචනය කරමු. මෑත වසරවලදී, 2D ජනන මාදිලි උසස් විභේදනය රූප සංස්ලේෂණය (high-resolution image synthesis) වලදී ඡායා රූප තත්ත්වයට ළඟා වී ඇත [ , , , , , , ]. මෙම ප්රගතිය 3D අන්තර්ගත ජනනය කිරීමේ පර්යේෂණයට ද පෙළඹවීමක් කර ඇත. මුල් ප්රවේශයන් 2D CNN ජනකයන් 3D වොක්සෙල් ග්රිඩ් (3D voxel grids) වෙත සෘජුව දිගු කිරීම අරමුණු කළ අතර [ , , , , ], නමුත් 3D සම්ම්පන්නතාවයේ (3D convolutions) ඉහළ මතක භාරය සහ ගණනය කිරීමේ සංකීර්ණතාවය ඉහළ විභේදනයේදී ජනන ක්රියාවලියට බාධාවක් විය. විකල්පයක් ලෙස, අනෙකුත් කටයුතු ලක්ෂ්ය වලාකුළු (point cloud) [ , , , ], ගුප්ත (implicit) [ , ], or octree [ ] නිරූපණයන් ගවේෂණය කර ඇත. කෙසේ වෙතත්, මෙම කටයුතු ප්රධාන වශයෙන් ජ්යාමිතිය නිපදවීම කෙරෙහි අවධානය යොමු කරන අතර පෙනුම නොසලකයි. ඒවායේ ප්රතිදාන නිරූපණයන් සම්මත ග්රැෆික්ස් එන්ජින් (graphics engines) සමඟ අනුකූල වන පරිදි පසු-ප්රොසෙසිං (post-processing) කළ යුතුය. 3D ජනන මාදිලි 34 35 33 52 29 19 16 66 20 27 40 62 5 68 75 46 43 14 30 අපේ කාර්යයට වඩාත් සමාන ලෙස, Textured3DGAN [ , ] සහ DIBR [ ] ටෙක්ස්චර්ඩ් 3D මැෂ් (textured 3D meshes) නිපදවයි, නමුත් ඒවා සැකිලි මැෂ් (template mesh) වල විකෘතියක් ලෙස ජනනය කිරීම සකස් කරයි, එය සංකීර්ණ ටොපොලොජි (complex topology) හෝ විචල්ය ජෙනස් (varying genus) සහිත හැඩතල නිපදවීමෙන් ඒවා වළක්වයි, අපගේ ක්රමවේදය කළ හැකි දේ. PolyGen [ ] සහ SurfGen [ ] අත්තනෝමතික ටොපොලොජි (arbitrary topology) සහිත මැෂ් (meshes) නිපදවිය හැකිය, නමුත් ටෙක්ස්චර් (textures) සංස්ලේෂණය නොකරයි. 54 53 11 48 41 ස්නායු පරිමා රෙන්ඩරින් (neural volume rendering) [ ] සහ ගුප්ත නිරූපණයන් (implicit representations) [ , ] හි සාර්ථකත්වයෙන් පෙළඹී, මෑතකාලීන කටයුතු 3D-අවබෝධක රූප සංස්ලේෂණය (3D-aware image synthesis) ගැටලුව tackled කිරීම ආරම්භ කර ඇත [ , , , , , , , , , ]. කෙසේ වෙතත්, ස්නායු පරිමා රෙන්ඩරින් ජාල (neural volume rendering networks) සාමාන්යයෙන් විමසීමට මන්දගාමී වේ, දිගු පුහුණු කාලයකට [ , ] හේතු වේ, සහ සීමිත විභේදනය (resolution) සහිත රූප නිපදවයි. GIRAFFE [ ] සහ StyleNerf [ ] අඩු විභේදනයකින් (lower resolution) ස්නායු රෙන්ඩරින් (neural rendering) සිදු කිරීමෙන් පුහුණු සහ රෙන්ඩරින් කාර්යක්ෂමතාවය වැඩි දියුණු කරයි, පසුව ප්රතිඵල 2D CNN සමඟ ඉහළට නංවයි. කෙසේ වෙතත්, කාර්ය සාධන ලාභය බහු-දර්ශන අනුකූලතාවය (multi-view consistency) අඩු වීමෙන් පැමිණේ. ද්විත්ව විරුද්ධවාදී (dual discriminator) එකක් භාවිතා කිරීමෙන්, EG3D [ ] මෙම ගැටලුව අර්ධ වශයෙන් සමනය කළ හැකිය. කෙසේ වෙතත්, ස්නායු රෙන්ඩරින් මත පදනම් වූ ක්රම වලින් ටෙක්ස්චර්ඩ් මතුපිටක් (textured surface) නිස්සාරණය කිරීම සංකීර්ණ නොවේ. ඊට වෙනස්ව, GET3D විසින් සෘජුව ටෙක්ස්චර්ඩ් 3D මැෂ් (textured 3D meshes) නිපදවන අතර ඒවා සම්මත ග්රැෆික්ස් එන්ජින්වල (graphics engines) පහසුවෙන් භාවිතා කළ හැකිය. 3D-Aware Generative Image Synthesis 45 43 14 7 57 49 26 25 76 8 51 58 67 7 57 49 25 8 3 ක්රමවේදය අපි දැන් ටෙක්ස්චර්ඩ් 3D හැඩතල සංස්ලේෂණය කිරීම සඳහා අපගේ GET3D රාමුව ඉදිරිපත් කරමු. අපගේ ජනන ක්රියාවලිය කොටස් දෙකකට බෙදා ඇත: ජ්යාමිතික ශාඛාව (geometry branch), එය අත්තනෝමතික ටොපොලොජි (arbitrary topology) සහිත මතුපිට මැෂ් (surface mesh) එකක් වෙනස් කළ හැකි ලෙස නිපදවයි, සහ ටෙක්ස්චර් ශාඛාව (texture branch) එය මතුපිට ලක්ෂ්යවල (surface points) වර්ණ නිපදවීමට විමසිය හැකි ටෙක්ස්චර් ක්ෂේත්රයක් (texture field) නිපදවයි. දෙවැන්න අනෙකුත් මතුපිට ගුණාංග සඳහා, උදාහරණයක් ලෙස ද්රව්ය (materials) (Sec. ) සඳහා ද දිගු කළ හැකිය. පුහුණු කිරීමේදී, 2D උසස් විභේදනය (high-resolution) රූපවලට නිපදවීමට කාර්යක්ෂම වෙනස් කළ හැකි රේස්ටරයිසර් (rasterizer) භාවිතා වේ. සමස්ත ක්රියාවලිය වෙනස් කළ හැකි අතර, රූප වලින් (වස්තුවක උනන්දුව පෙන්නුම් කරන වෙස් මුහුණු සමඟ) විරුද්ධවාදී පුහුණුව (adversarial training) සඳහා ඉඩ සලසයි, 2D විරුද්ධවාදී (discriminator) වෙතින් ශ්රේණි (gradients) යන දෙකම ජනක ශාඛා (generator branches) වෙත ප්රචාරණය කරයි. අපගේ මාදිලි රූපය හි නිදර්ශනය කර ඇත. පහත දැක්වෙන පරිදි, අපි මුලින්ම අපගේ 3D ජනකය (generator) Sec හි හඳුන්වා දෙන්නෙමු, ඉන්පසු Sec හි වෙනස් කළ හැකි රෙන්ඩරින් (differentiable rendering) සහ අලාභ ශ්රිත (loss functions) වෙත යන්නෙමු. 4.3.1 2 3.1 3.2 3.1 3D ටෙක්ස්චර්ඩ් මැෂ් (3D Textured Meshes) වල ජනන මාදිලි අපි ∈ N (0*,* ) සිට නියැදියක් ∈ N (0*,* ) සිට මැෂ් එකකට ටෙක්ස්චර් එකක් සහිත 3D ජනකය = ( ) ඉගෙන ගැනීමට අරමුණු කරමු. z I z I M E M, E G z එම ජ්යාමිතියට විවිධ ටෙක්ස්චර්ස් (textures) තිබිය හැකි අතර, එකම ටෙක්ස්චර් (texture) විවිධ ජ්යාමිතිය සඳහා යෙදිය හැකි බැවින්, අපි අහඹු ආදාන දෛශික (input vectors) 1 ∈ R512 සහ 2 ∈ R512 නියැදි කරමු. StyleGAN [ , , ] අනුගමනය කරමින්, අපි 1 සහ 2 අතරමැදි ගුප්ත දෛශික (latent vectors) 1 = geo( 1) සහ 2 = tex( 2) වෙතට මා නොවන නාලිකාමය ජනක (non-linear mapping networks) geo සහ tex භාවිතා කරමු, ඒවා 3D හැඩතල සහ ටෙක්ස්චර් (texture) වල ජනනය පාලනය කරන නිපදවීමට තවදුරටත් භාවිතා කරයි. අපි Sec. හි ජ්යාමිතිය සඳහා ජනකය, සහ Sec. හි ටෙක්ස්චර් ජනකය විධිමත් ලෙස හඳුන්වා දෙන්නෙමු. z z 34 35 33 z z w f z w f z f f style 3.1.1 3.1.2 3.1.1 ජ්යාමිති ජනකය අපි DMTet [ ] ඒකාබද්ධ කිරීම සඳහා අපගේ ජ්යාමිති ජනකය (geometry generator) නිර්මාණය කරමු, එය මෑතකදී යෝජනා කරන ලද වෙනස් කළ හැකි මතුපිට නිරූපණයකි (differentiable surface representation). DMTet විසින් ජ්යාමිතිය විකෘති කළ හැකි ටෙට්රාහෙඩ්රල් ග්රිඩ් (deformable tetrahedral grid) [ , ] මත අර්ථ දක්වා ඇති සංඥා දුර ක්ෂේත්රයක් (signed distance field - SDF) ලෙස නිරූපණය කරයි, එයින් මතුපිට මාර්චින් ටෙට්රාහෙඩ්රා (marching tetrahedra) [ ] හරහා වෙනස් කළ හැකි ලෙස නැවත ලබා ගත හැකිය. ග්රිඩ් එකේ ශීර්ෂ (vertices) චලනය කිරීමෙන් එය විකෘති කිරීම මඟින් එහි විභේදනය (resolution) හොඳින් භාවිතා කරයි. මතුපිට නිස්සාරණය සඳහා DMTet අනුගමනය කිරීමෙන්, අපට අත්තනෝමතික ටොපොලොජි (arbitrary topology) සහිත නිශ්චිත මැෂ් (explicit meshes) නිපදවිය හැකිය. අපි ඊළඟට DMTet හි සංක්ෂිප්ත සාරාංශයක් සපයමු, වැඩිදුර විස්තර සඳහා මුල් පත්රයට යොමු කරමු. 60 22 24 17 යනුවෙන් වස්තුව පිහිටා ඇති සම්පූර්ණ 3D අවකාශය (full 3D space) ලෙස සලකමු, එහිදී යනු ටෙට්රාහෙඩ්රල් ග්රිඩ් හි ශීර්ෂ (vertices) වේ. සෑම ටෙට්රාහෙඩ්රොන් ∈ යනු හතරක් ශීර්ෂ { } මගින් අර්ථ දක්වා ඇත, ∈ {1*, . . . , K*}, එහිදී යනු මුළු ටෙට්රාහෙඩ්රොන් සංඛ්යාව වන අතර, ∈ ∈ R3. එහි 3D ඛණ්ඩාංක වලට අමතරව, සෑම ශීර්ෂයක් විසින් SDF අගය ∈ R සහ ශීර්ෂයේ එහි මුල් කැනොනික ඛණ්ඩාංක (canonical coordinate) වලින් විකෘතිය ∆ ∈ R3 අඩංගු වේ. මෙම නිරූපණය මඟින් වෙනස් කළ හැකි මාර්චින් ටෙට්රාහෙඩ්රා (differentiable marching tetrahedra) [ ] හරහා නිශ්චිත මැෂ් (explicit mesh) නැවත ලබා ගැනීමට ඉඩ සලසයි, එහිදී අවකාශයේ අඛණ්ඩ SDF අගයන් ඒවායේ අගය බැලරිසෙන්ට්රික් අනුමානය (barycentric interpolation) මගින් ගණනය කෙරේ. විකෘති කළ ශීර්ෂ ′ = + ∆ . VT , T VT T Tk T v ak , v bk , v ck , v dk k K v ik VT , v ik i v i si v i 60 si v v i v i අපි 1 ∈ R512 සිට සෑම ශීර්ෂයක් හි SDF අගයන් සහ විකෘති කිරීම් දක්වා, කොන්දේසිගත 3D සම්ම්පන්න (convolutional) සහ සම්පූර්ණ සම්බන්ධිත ස්ථර (fully connected layers) මාලාවක් හරහා නියෝජනය කරමු. විශේෂයෙන්, අපි මුලින්ම 1 මත කොන්දේසිගත කළ විශේෂාංග පරිමාව (feature volume) නිපදවීමට 3D සම්ම්පන්න ස්ථර (3D convolutional layers) භාවිතා කරමු. ඉන්පසු අපි trilinear interpolation භාවිතා කරමින් ශීර්ෂයක් ∈ හි විශේෂාංගය විමසා, එය SDF අගය සහ විකෘතිය ∆ නිපදවන MLPs වෙත යොමු කරමු. ඉහළ විභේදනය (high-resolution) ආකෘතිකරණය අවශ්ය අවස්ථාවලදී (උදා. රෝදවල සිහින් ව්යුහයන් සහිත යතුරුපැදි), අපි [ ] අනුව පරිමා උප-අංශකරණය (volume subdivision) ද භාවිතා කරමු. ජාල ගෘහ නිර්මාණ ශිල්පය w v i w v i VT si v i 60 සියලුම ශීර්ෂයන් සඳහා සහ ∆ ලබා ගැනීමෙන් පසු, නිශ්චිත මැෂ් (explicit mesh) නිස්සාරණය කිරීමට අපි වෙනස් කළ හැකි මාර්චින් ටෙට්රාහෙඩ්රා (differentiable marching tetrahedra) ඇල්ගොරිතමය භාවිතා කරමු. මාර්චින් ටෙට්රාහෙඩ්රා (marching tetrahedra) සෑම ටෙට්රාහෙඩ්රොන් තුළ ඇති මතුපිට ටොපොලොජි (surface topology) හි ලකුණු (signs) මත පදනම්ව තීරණය කරයි. විශේෂයෙන්, හි ලකුණ හි ලකුණට වෙනස් වූ විට ( යනු ටෙට්රාහෙඩ්රොන් වල දාරයේ ශීර්ෂ වල දර්ශක) මැෂ් මුහුණක් නිස්සාරණය කෙරේ, සහ එම මුහුණේ ශීර්ෂ රේඛීය අනුමානය (linear interpolation) ලෙස mi,j = v 0 i sj−v 0 j si sj−si ලෙස තීරණය වේ. සටහන් කර ගන්න, ඉහත සමීකරණය si 6= sj වන විට පමණක් ඇගයීමට ලක් කෙරේ, එබැවින් එය වෙනස් කළ හැකි අතර, mi,j හි ශ්රේණි (gradients) SDF අගයන් si සහ විකෘති කිරීම් ∆vi වෙත ආපසු ප්රචාරණය කළ හැකිය. මෙම නිරූපණය සමඟ, si හි විවිධ ලකුණු අනාවැකි (predicting) කිරීමෙන් අත්තනෝමතික ටොපොලොජි (arbitrary topology) සහිත හැඩතල පහසුවෙන් නිපදවිය හැකිය. වෙනස් කළ හැකි මැෂ් නිස්සාරණය si v i si si sj i, j m i,j 3.1.2 ටෙක්ස්චර් ජනකය නිපදවන ලද මැෂ් (mesh) එකකට අනුකූල වන ටෙක්ස්චර් සිතියමක්
