```html ஆசிரியர்கள்: ஜுன் காவ், என்விடியா, டொராண்டோ பல்கலைக்கழகம், வெக்டர் இன்ஸ்டிடியூட் (jung@nvidia.com) டியான்சாங் ஷென், என்விடியா, டொராண்டோ பல்கலைக்கழகம், வெக்டர் இன்ஸ்டிடியூட் (frshen@nvidia.com) ஜியான் வாங், என்விடியா, டொராண்டோ பல்கலைக்கழகம், வெக்டர் இன்ஸ்டிடியூட் (zianw@nvidia.com) வென்செங் சென், என்விடியா, டொராண்டோ பல்கலைக்கழகம், வெக்டர் இன்ஸ்டிடியூட் (wenzchen@nvidia.com) காங்க்ஸ்யூ யின், என்விடியா (kangxuey@nvidia.com) டைகிங் லி, என்விடியா (daiqingl@nvidia.com) ஆர் லிட்டானி, என்விடியா (olitany@nvidia.com) ஜான் கோஜ்சிக், என்விடியா (zgojcic@nvidia.com) சஞ்சா ஃபிட்லர், என்விடியா, டொராண்டோ பல்கலைக்கழகம், வெக்டர் இன்ஸ்டிடியூட் (sfidler@nvidia.com) சுருக்கம் பல தொழில்துறைகள் பாரிய 3D மெய்நிகர் உலகங்களை மாதிரியாக்குவதை நோக்கி நகரும்போது, 3D உள்ளடக்கத்தின் அளவு, தரம் மற்றும் பன்முகத்தன்மை ஆகியவற்றில் அளவிடக்கூடிய உள்ளடக்க உருவாக்க கருவிகளின் தேவை தெளிவாகிறது. எங்கள் வேலையில், 3D ரெண்டரிங் இயந்திரங்களால் நேரடியாக உட்கொள்ளக்கூடிய, எனவே கீழ்-நிலை பயன்பாடுகளில் உடனடியாகப் பயன்படுத்தக்கூடிய, உரைப்பொதிந்த மெஷ்களை தொகுக்கும் செயல்திறன் மிக்க 3D உருவாக்கும் மாதிரிகளைப் பயிற்றுவிப்பதை நோக்கமாகக் கொண்டுள்ளோம். 3D உருவாக்கும் மாதிரியாக்கம் குறித்த முந்தைய படைப்புகளில் வடிவியல் விவரங்கள் இல்லை, அவை உருவாக்கக்கூடிய மெஷ் டோபாலஜியில் வரையறுக்கப்பட்டுள்ளன, பொதுவாக உரைகளை ஆதரிப்பதில்லை, அல்லது உருவாக்கும் செயல்பாட்டில் நரம்பியல் ரெண்டரர்களைப் பயன்படுத்துகின்றன, இது பொதுவான 3D மென்பொருளில் அவற்றின் பயன்பாட்டைச் சிக்கலாக்குகிறது. இந்த வேலையில், GET3D ஐ அறிமுகப்படுத்துகிறோம், இது enerative model தட் டைரக்ட்லி ஜெனரேட்ஸ் xplicit extured meshes சிக்கலான டோபாலஜி, பணக்கார வடிவியல் விவரங்கள் மற்றும் உயர் நம்பகத்தன்மை உரைகளுடன். 2D பட தொகுப்புகளிலிருந்து எங்கள் மாதிரியைப் பயிற்றுவிக்க, வேறுபட்ட மேற்பரப்பு மாதிரியாக்கம், வேறுபட்ட ரெண்டரிங் மற்றும் 2D ஜெனரேட்டிவ் அட்வரசரியல் நெட்வொர்க்குகளில் சமீபத்திய வெற்றியை நாங்கள் பாலமாகப் பயன்படுத்துகிறோம். GET3D ஆனது கார்கள், நாற்காலிகள், விலங்குகள், மோட்டார் சைக்கிள்கள் மற்றும் மனித கதாபாத்திரங்கள் முதல் கட்டிடங்கள் வரை உயர்தர 3D உரைப்பொதிந்த மெஷ்களை உருவாக்க முடியும், முந்தைய முறைகளை விட கணிசமான முன்னேற்றங்களை அடைகிறது. எங்கள் திட்ட பக்கம்: G E T 3D https://nv-tlabs.github.io/GET3D 1 அறிமுகம் கேமிங், ரோபாட்டிக்ஸ், கட்டிடக்கலை மற்றும் சமூக தளங்கள் உட்பட பல தொழில்களுக்கு பன்முக, உயர்தர 3D உள்ளடக்கம் பெருகிய முறையில் முக்கியமானது. இருப்பினும், 3D சொத்துக்களை கைமுறையாக உருவாக்குவது மிகவும் நேரத்தை எடுத்துக்கொள்ளும் மற்றும் குறிப்பிட்ட தொழில்நுட்ப அறிவு மற்றும் கலை மாதிரியாக்க திறன்கள் தேவைப்படுகிறது. முக்கிய சவால்களில் ஒன்று அளவு - டர்போஸ்க்விட் [ ] அல்லது ஸ்கெட்ச்ஃபேப் [ ] போன்ற 3D சந்தைகளில் 3D மாதிரிகளைக் கண்டறிந்தாலும், ஒரு விளையாட்டை அல்லது திரைப்படத்தை பலவிதமான தோற்றமளிக்கும் 3D மாதிரிகளுடன் நிரப்ப பல 3D மாதிரிகளை உருவாக்குவது இன்னும் குறிப்பிடத்தக்க கலைஞரின் நேரத்தை எடுக்கும். 4 3 உள்ளடக்க உருவாக்க செயல்முறையை எளிதாக்குவதற்கும், அதை பல்வேறு (புதிய) பயனர்களுக்கு அணுகக்கூடியதாக மாற்றுவதற்கும், உயர்தர மற்றும் பன்முக 3D சொத்துக்களை உருவாக்கக்கூடிய உருவாக்கும் 3D நெட்வொர்க்குகள் சமீபத்தில் ஆராய்ச்சியின் ஒரு செயலில் உள்ள பகுதியாக மாறியுள்ளன [ , , , , , , , , , , ]. இருப்பினும், தற்போதைய நிஜ உலக பயன்பாடுகளுக்கு நடைமுறையில் பயனுள்ளதாக இருக்க, 3D உருவாக்கும் மாதிரிகள் பின்வரும் தேவைகளை பூர்த்தி செய்ய வேண்டும்: அவை விரிவான வடிவியல் மற்றும் தன்னிச்சையான டோபாலஜி கொண்ட வடிவங்களை உருவாக்கும் திறனைக் கொண்டிருக்க வேண்டும், வெளியீடு ஒரு உரைப்பொதிந்த மெஷ் ஆக இருக்க வேண்டும், இது பிளெண்டர் [ ] மற்றும் மாயா [ ] போன்ற நிலையான கிராபிக்ஸ் மென்பொருள் தொகுப்புகளால் பயன்படுத்தப்படும் முதன்மை பிரதிநிதித்துவம் ஆகும், மற்றும் நாங்கள் 2D படங்களைப் மேற்பார்வைக்கு பயன்படுத்தலாம், ஏனெனில் அவை வெளிப்படையான 3D வடிவங்களை விட பரவலாகக் கிடைக்கின்றன. 5 14 43 46 53 68 75 60 59 69 23 (a) (b) 15 1 (c) 3D உருவாக்கும் மாதிரியாக்கம் குறித்த முந்தைய பணி மேலே உள்ள தேவைகளின் துணைக்குழுக்களில் கவனம் செலுத்தியுள்ளது, ஆனால் இதுவரை எந்த முறையும் அனைத்தையும் பூர்த்தி செய்யவில்லை (அட்டவணை. ). உதாரணமாக, 3D புள்ளி கிளவுட்களை உருவாக்கும் முறைகள் [ , 68, 75] பொதுவாக உரைகளை உருவாக்குவதில்லை மற்றும் பிந்தைய செயலாக்கத்தில் மெஷ் ஆக மாற்றப்பட வேண்டும். 1 5 Voxel-களை உருவாக்கும் முறைகளில் பெரும்பாலும் வடிவியல் விவரங்கள் இல்லை மற்றும் உரையை உருவாக்குவதில்லை [ , , , ]. நரம்பியல் புலங்களை அடிப்படையாகக் கொண்ட உருவாக்கும் மாதிரிகள் [ , ] வடிவியலைப் பிரித்தெடுப்பதில் கவனம் செலுத்துகின்றன, ஆனால் உரையை புறக்கணிக்கின்றன. இவற்றில் பெரும்பாலானவை வெளிப்படையான 3D மேற்பார்வையையும் கோருகின்றன. இறுதியாக, உரைப்பொதிந்த 3D மெஷ்களை நேரடியாக வெளியிடும் முறைகள் [ , ] பொதுவாக முன்னரே வரையறுக்கப்பட்ட வடிவ வார்ப்புருக்களைக் கோருகின்றன மற்றும் சிக்கலான டோபாலஜி அல்லது மாறுபடும் இனக்கலவையுடன் கூடிய வடிவங்களை உருவாக்க முடியாது. 66 20 27 40 43 14 54 53 சமீபத்தில், நரம்பியல் கன அளவை ரெண்டரிங் [ ] மற்றும் 2D ஜெனரேட்டிவ் அட்வரசரியல் நெட்வொர்க்குகள் (GANs) [ , , , , ] ஆகியவற்றில் ஏற்பட்ட விரைவான முன்னேற்றம் 3D-விழிப்புணர்வு பட தொகுப்பின் எழுச்சிக்கு வழிவகுத்தது [ , , , , , ]. இருப்பினும், இந்தப் பணி தொகுப்பு செயல்பாட்டில் நரம்பியல் ரெண்டரிங்கைப் பயன்படுத்தி பல-காட்சி நிலைத்தன்மையுள்ள படங்களைத் தொகுப்பதை நோக்கமாகக் கொண்டுள்ளது மற்றும் அர்த்தமுள்ள 3D வடிவங்களை உருவாக்க முடியும் என்பதற்கு உத்தரவாதம் அளிக்காது. நரம்பியல் புல பிரதிநிதித்துவத்திலிருந்து மார்ச்சிங் க்யூப் அல்காரிதம் [ ] ஐப் பயன்படுத்தி மெஷ் பெறப்பட்டாலும், அதனுடன் தொடர்புடைய உரையை பிரித்தெடுப்பது சிக்கலானது. 45 34 35 33 29 52 7 57 8 49 51 25 39 இந்த வேலையில், நடைமுறையில் பயனுள்ள 3D உருவாக்கும் மாதிரியின் அனைத்து தேவைகளையும் பூர்த்தி செய்வதை நோக்கமாகக் கொண்ட ஒரு புதுமையான அணுகுமுறையை நாங்கள் அறிமுகப்படுத்துகிறோம். குறிப்பாக, GET3D ஐ நாங்கள் முன்மொழிகிறோம், இது enerative model தட் டைரக்ட்லி ஜெனரேட்ஸ் xplicit extured meshes உயர் வடிவியல் மற்றும் உரை விவரங்கள் மற்றும் தன்னிச்சையான மெஷ் டோபாலஜியுடன். எங்கள் அணுகுமுறையின் மையத்தில் வேறுபடுத்தக்கூடிய *வெளிப்படையான* மேற்பரப்பு பிரித்தெடுக்கும் முறை [ ] மற்றும் வேறுபடுத்தக்கூடிய ரெண்டரிங் நுட்பம் [ , ] ஆகியவற்றை ஒரு உருவாக்கும் செயல்முறை பயன்படுத்துகிறது. முந்தையது, தன்னிச்சையான டோபாலஜியுடன் வெளிப்படையான உரைப்பொதிந்த மெஷ்களை நேரடியாக மேம்படுத்தவும் வெளியீடு செய்யவும் எங்களை அனுமதிக்கிறது, அதேசமயம் பிந்தையது, 2D படங்களுடன் எங்கள் மாதிரியைப் பயிற்றுவிக்க அனுமதிக்கிறது, இதன் மூலம் 2D பட தொகுப்புக்கு உருவாக்கப்பட்ட சக்திவாய்ந்த மற்றும் முதிர்ந்த பிரித்தெடுத்தல் முறைகளைப் பயன்படுத்துகிறது. எங்கள் மாதிரி நேரடியாக மெஷ்களை உருவாக்குவதாலும், மிகவும் திறமையான (வேறுபடுத்தக்கூடிய) கிராபிக்ஸ் ரெண்டரரைப் பயன்படுத்துவதாலும், எங்கள் மாதிரியை 1024 × 1024 வரை பட தெளிவுத்திறனுடன் பயிற்றுவிக்க நாங்கள் எளிதாக அளவிட முடியும், இது உயர்தர வடிவியல் மற்றும் உரை விவரங்களைக் கற்றுக்கொள்ள அனுமதிக்கிறது. G E T 3D 60 47 37 ShapeNet [ ], Turbosquid [ ] மற்றும் Renderpeople [ ] ஆகியவற்றிலிருந்து கார்கள், நாற்காலிகள், விலங்குகள், மோட்டார் சைக்கிள்கள் மற்றும் மனித கதாபாத்திரங்கள் முதல் கட்டிடங்கள் வரை பல வகைகளில் நிபந்தனையற்ற 3D வடிவ உருவாக்கத்திற்கு நாங்கள் அதிநவீன செயல்திறனை நிரூபிக்கிறோம். வெளிப்படையான மெஷ் வெளியீட்டு பிரதிநிதித்துவத்துடன், GET3D மற்ற பணிகளுக்கும் மிகவும் நெகிழ்வானது, இதில்: மேம்பட்ட வேறுபடுத்தக்கூடிய ரெண்டரிங்கைப் பயன்படுத்தி சிதைக்கப்பட்ட பொருள் மற்றும் காட்சி-சார்ந்த ஒளி விளைவுகளை உருவாக்க கற்றுக்கொள்வது [ ], மேற்பார்வை இல்லாமல், CLIP [ ] உட்பொதிவைப் பயன்படுத்தி உரை-வழி 3D வடிவ உருவாக்கம். 9 4 2 (a) 12 (b) 56 2 தொடர்புடைய வேலை வடிவியல் மற்றும் தோற்றத்திற்கான 3D உருவாக்கும் மாதிரிகள், அத்துடன் 3D-விழிப்புணர்வு உருவாக்கும் பட தொகுப்பு ஆகியவற்றில் சமீபத்திய முன்னேற்றங்களை நாங்கள் மதிப்பாய்வு செய்கிறோம். சமீபத்திய ஆண்டுகளில், 2D உருவாக்கும் மாதிரிகள் உயர்-தெளிவுத்திறன் பட தொகுப்பில் ஒளி-யதார்த்தமான தரத்தை அடைந்துள்ளன [ , , , , , , ]. இந்த முன்னேற்றம் 3D உள்ளடக்க உருவாக்கத்திலும் ஆராய்ச்சியைத் தூண்டியுள்ளது. ஆரம்பகால அணுகுமுறைகள் 2D CNN ஜெனரேட்டர்களை 3D வோக்சல் கட்டங்களுக்கு நேரடியாக நீட்டிக்க முயன்றன [ , , , , ], ஆனால் 3D கன்வல்யூஷன்களின் அதிக நினைவகப் பயன்பாடு மற்றும் கணக்கீட்டு சிக்கலானது உயர் தெளிவுத்திறனில் உருவாக்கும் செயல்முறையைத் தடுக்கிறது. மாற்றாக, மற்ற படைப்புகள் புள்ளி கிளவுட் [ , , , ], மறைநிலை [ , ], அல்லது ஆக்ட்ரீ [ ] பிரதிநிதித்துவங்களை ஆராய்ந்துள்ளன. இருப்பினும், இந்த படைப்புகள் முதன்மையாக வடிவியலை உருவாக்குவதில் கவனம் செலுத்துகின்றன மற்றும் தோற்றத்தை புறக்கணிக்கின்றன. அவற்றின் வெளியீட்டு பிரதிநிதித்துவங்களும் நிலையான கிராபிக்ஸ் இயந்திரங்களுடன் இணக்கமாக இருக்க பிந்தைய செயலாக்கம் தேவைப்படுகிறது. 3D உருவாக்கும் மாதிரிகள் 34 35 33 52 29 19 16 66 20 27 40 62 5 68 75 46 43 14 30 எங்கள் வேலைக்கு மிகவும் ஒத்த, டெக்ஸ்டர்ட்3டிங்கன் [ , ] மற்றும் டிஐபிஆர் [ ] உரைப்பொதிந்த 3D மெஷ்களை உருவாக்குகின்றன, ஆனால் அவை வார்ப்புரு மெஷின் உருமாற்றமாக உருவாக்கத்தை உருவாக்குகின்றன, இது சிக்கலான டோபாலஜி அல்லது மாறுபடும் இனக்கலவை கொண்ட வடிவங்களை உருவாக்குவதைத் தடுக்கிறது, எங்கள் முறை செய்ய முடியும். பாலிஜென் [ ] மற்றும் சர்ஃப்ஜென் [ ] தன்னிச்சையான டோபாலஜியுடன் மெஷ்களை உருவாக்க முடியும், ஆனால் உரைகளை தொகுக்காது. 54 53 11 48 41 நரம்பியல் கன அளவை ரெண்டரிங் [ ] மற்றும் மறைநிலை பிரதிநிதித்துவங்கள் [ , ] ஆகியவற்றில் ஏற்பட்ட வெற்றியால் ஈர்க்கப்பட்டு, சமீபத்திய படைப்புகள் 3D-விழிப்புணர்வு பட தொகுப்பு சிக்கலைத் தீர்க்கத் தொடங்கின [ , , , , , , , , , ]. இருப்பினும், நரம்பியல் கன அளவை ரெண்டரிங் நெட்வொர்க்குகள் பொதுவாக வினவ மெதுவாக இருக்கும், இது நீண்ட பயிற்சி நேரங்களுக்கு வழிவகுக்கிறது [ , ], மற்றும் வரையறுக்கப்பட்ட தெளிவுத்திறன் கொண்ட படங்களை உருவாக்குகிறது. GIRAFFE [ ] மற்றும் ஸ்டைல்நெர்ஃப் [ ] நரம்பியல் ரெண்டரிங்கை குறைந்த தெளிவுத்திறனில் செய்வதன் மூலமும், பின்னர் 2D CNN மூலம் முடிவுகளை மேம்படுத்துவதன் மூலமும் பயிற்சி மற்றும் ரெண்டரிங் செயல்திறனை மேம்படுத்துகின்றன. இருப்பினும், செயல்திறன் ஆதாயம் குறைந்த பல-காட்சி நிலைத்தன்மையின் விலையில் வருகிறது. இரட்டை பிரித்தெடுப்பைப் பயன்படுத்துவதன் மூலம், EG3D [ ] இந்தப் பிரச்சனையை ஓரளவு தணிக்க முடியும். ஆயினும்கூட, நரம்பியல் ரெண்டரிங்கை அடிப்படையாகக் கொண்ட முறைகளிலிருந்து உரைப்பொதிந்த மேற்பரப்பை பிரித்தெடுப்பது ஒரு சிக்கலான முயற்சியாகும். இதற்கு மாறாக, GET3D ஆனது நிலையான கிராபிக்ஸ் இயந்திரங்களில் உடனடியாகப் பயன்படுத்தக்கூடிய உரைப்பொதிந்த 3D மெஷ்களை நேரடியாக வெளியிடுகிறது. 3D-விழிப்புணர்வு உருவாக்கும் பட தொகுப்பு 45 43 14 7 57 49 26 25 76 8 51 58 67 7 57 49 25 8 3 முறை இப்போது நாங்கள் உரைப்பொதிந்த 3D வடிவங்களைத் தொகுப்பதற்கான எங்கள் GET3D கட்டமைப்பை வழங்குகிறோம். எங்கள் உருவாக்கும் செயல்முறை இரண்டு பகுதிகளாகப் பிரிக்கப்பட்டுள்ளது: வடிவியல் கிளை, இது தன்னிச்சையான டோபாலஜியின் மேற்பரப்பு மெஷை வேறுபடுத்தக்கூடியதாக வெளியிடுகிறது, மற்றும் உரை கிளை, இது மேற்பரப்பு புள்ளிகளில் வினவப்பட்டு வண்ணங்களை உருவாக்கக்கூடிய ஒரு உரை புலத்தை உருவாக்குகிறது. பிந்தையது மற்ற மேற்பரப்பு பண்புகளுக்கு, உதாரணமாக, பொருட்கள் (பிரிவு. ) நீட்டிக்கப்படலாம். பயிற்சி செய்யும் போது, 2D உயர்-தெளிவுத்திறன் படங்களை ரெண்டர் செய்ய ஒரு திறமையான வேறுபடுத்தக்கூடிய ராஸ்டரைசர் பயன்படுத்தப்படுகிறது. முழு செயல்முறையும் வேறுபடுத்தக்கூடியது, இது 2D பிரித்தெடுப்பிலிருந்து சரிவுகளைப் பரப்புவதன் மூலம் படங்களிலிருந்து (ஒரு பொருளின் ஆர்வமுள்ள ஒரு பொருளைக் குறிக்கும் முகமூடிகளுடன்) எதிரெதிர் பயிற்சிக்கு அனுமதிக்கிறது. எங்கள் மாதிரி படத்தில் விளக்கப்பட்டுள்ளது. . பின்வருவனவற்றில், எங்கள் 3D ஜெனரேட்டரை முதலில் பிரிவு. இல் அறிமுகப்படுத்துகிறோம், பின்னர் பிரிவு. இல் உள்ள வேறுபடுத்தக்கூடிய ரெண்டரிங் மற்றும் இழப்பு செயல்பாடுகளுக்குச் செல்கிறோம். 4.3.1 2 3.1 3.2 3.1 3D உரைப்பொதிந்த மெஷ்களின் உருவாக்கும் மாதிரி ஒரு காஸியன் விநியோகத்திலிருந்து ஒரு மாதிரியை ஒரு மெஷ் உடன் ஒரு உரை ஆக மாற்றும் ஒரு 3D ஜெனரேட்டர் = ( ) ஐ கற்றுக்கொள்ள நாங்கள் நோக்கமாகக் கொண்டுள்ளோம் M E M, E G z ∈ N (0*,* ) ஒரு மெஷ் ஆக உரை உடன். z I M E ஒரே வடிவியல் வெவ்வேறு உரைகளைக் கொண்டிருக்கலாம், மேலும் ஒரே உரை வெவ்வேறு வடிவியல்களுக்குப் பயன்படுத்தப்படலாம் என்பதால், இரண்டு சீரற்ற உள்ளீட்டு வெக்டர்களை 1 ∈ R512 மற்றும் 2 ∈ R512 மாதிரி எடுக்கிறோம். ஸ்டைல்கான் [ , , ] ஐத் தொடர்ந்து, நேரியல் அல்லாத மேப்பிங் நெட்வொர்க்குகள் geo மற்றும் tex ஐப் பயன்படுத்தி 1 மற்றும் 2 ஐ இடைநிலை மறைநிலை வெக்டர்களாக 1 = geo( 1) மற்றும் 2 = tex( 2) வரைபடம் செய்கிறோம், அவை 3D வடிவங்கள் மற்றும் உரையின் உருவாக்கத்தைக் கட்டுப்படுத்தும் *பாணிகளை* உருவாக்க மேலும் பயன்படுத்தப்படுகின்றன. முறையே. நாங்கள் பிரிவு. இல் வடிவியல் ஜெனரேட்டரை முறையாக அறிமுகப்படுத்துகிறோம், மேலும் பிரிவு. இல் உரை ஜெனரேட்டரை அறிமுகப்படுத்துகிறோம். z z 34 35 33 f f z z w f z w f z 3.1.1 3.1.2 3.1.1 வடிவியல் ஜெனரேட்டர் DMTet [ ] ஐ உள்ளடக்கிய ஒரு வடிவியல் ஜெனரேட்டரை நாங்கள் வடிவமைக்கிறோம், இது சமீபத்தில் முன்மொழியப்பட்ட வேறுபடுத்தக்கூடிய மேற்பரப்பு பிரதிநிதித்துவம் ஆகும். DMTet, ஒரு சிதைக்கக்கூடிய டெட்ராஹீட்ரல் கட்டத்தில் [( , )] வரையறுக்கப்பட்ட ஒரு கையொப்பமிடப்பட்ட தூர புலத்தை (SDF) வடிவியலாக பிரதிநிதித்துவப்படுத்துகிறது, இதிலிருந்து மார்ச்சிங் டெட்ராஹீட்ரா [ ] மூலம் வேறுபடுத்தக்கூடியதாக மேற்பரப்பை மீட்டெடுக்க முடியும். அதன் உச்சிகளை நகர்த்துவதன் மூலம் கட்டத்தை சிதைப்பது அதன் தெளிவுத்திறனின் சிறந்த பயன்பாட்டிற்கு வழிவகுக்கிறது. மேற்பரப்பு பிரித்தெடுப்பிற்கு DMTet ஐப் பயன்படுத்துவதன் மூலம், தன்னிச்சையான டோபாலஜி மற்றும் இனக்கலவையுடன் கூடிய வெளிப்படையான மெஷ்களை நாங்கள் உருவாக்க முடியும். அடுத்ததாக DMTet இன் சுருக்கமான சுருக்கத்தை நாங்கள் வழங்குகிறோம் மற்றும் மேலும் விவரங்களுக்கு அசல் ஆய்வுக் கட்டுரைக்கு வாசகரை மேற்கோள் காட்டுகிறோம். 60 22 24 17 இல் உள்ள உச்சிகள் டெட்ராஹீட்ரல் கட்டத்தில் ( ) முழு 3D இடத்தையும் குறிக்கட்டும், அங்கு ∈ நான்கு உச்சிகளால் வரையறுக்கப்படுகிறது {**v** **v** **v** **v** }, ∈ {1*, . . . , K*}, இங்கு மொத்த டெட்ராஹீட்ரன்களின் எண்ணிக்கை, மற்றும் **v** ∈ **v** ∈ R3. அதன் 3D ஆயத்தொலைவுகளுக்கு கூடுதலாக, ஒவ்வொரு உச்சி **v** ஆனது SDF மதிப்பு ∈ R மற்றும் ஆரம்ப நியமன ஆயத்தொலைவிலிருந்து உச்சியின் சிதைவு ∆**v** ∈ R3 ஐக் கொண்டுள்ளது. இந்த பிரதிநிதித்துவம் வேறுபடுத்தக்கூடிய மார்ச்சிங் டெட்ராஹீட்ரா [ ] மூலம் வெளிப்படையான மெஷைப் பெற அனுமதிக்கிறது, அங்கு தொடர்ச்சியான வெளியில் SDF மதிப்புகள் சிதைந்த உச்சிகளில் **v**′ = **v** + ∆**v** இன் அவற்றின் மதிப்பு இன் பாரிசென்ட்ரிக் இடைக்கணிப்பால் கணக்கிடப்படுகின்றன. VT T VT , T Tk T ak , bk , ck , dk k K ik VT , ik i si i 60 i i si 3D கன்வல்யூஷனல் மற்றும் முழுமையாக இணைக்கப்பட்ட அடுக்குகளின் தொடர் மூலம் 512 ∈ R512 ஐ ஒவ்வொரு உச்சி **v** க்கான SDF மதிப்புகள் மற்றும் சிதைவுகளுக்கு நாங்கள் வரைபடம் செய்கிறோம். குறிப்பாக, நாங்கள் முதலில் 3D கன்வல்யூஷனல் லேயர்களைப் பயன்படுத்தி **w1 இல் நிபந்தனைக்குட்படுத்தப்பட்ட ஒரு ஃபீச்சர் வால்யூமை உருவாக்குகிறோம். பின்னர் நாங்கள் பாரிசென்ட்ரிக் இடைக்கணிப்பைப் பயன்படுத்தி ஒவ்வொரு உச்சி **v** ∈ இல் ஃபீச்சரை வினவுகிறோம், மேலும் SDF மதிப்பு மற்றும் சிதைவு ∆**v** ஐ வெளியிடும் MLP களுக்கு அதை உள்ளிடுகிறோம். உயர் தெளிவுத்திறனில் மாதிரியாக்கம் தேவைப்படும் சந்தர்ப்பங்களில் (எ.கா., சக்கரங்களில் மெல்லிய கட்டமைப்புகளைக் கொண்ட மோட்டார் சைக்கிள்), நாங்கள் மேலும் [ ] ஐப் பின்பற்றி கன அளவு துணைப்பிரிவைப் பயன்படுத்துகிறோம். நெட்வொர்க் கட்டமைப்பு i i VT si i 60 அனைத்து உச்சிகளுக்கும் மற்றும் ∆**v** ஐப் பெற்ற பிறகு, வெளிப்படையான மெஷைப் பிரித்தெடுக்க வேறுபடுத்தக்கூடிய மார்ச்சிங் டெட்ராஹீட்ரா அல்காரிதத்தைப் பயன்படுத்துகிறோம். மார்ச்சிங் டெட்ராஹீட்ரா, இன் குறிகளின் அடிப்படையில் ஒவ்வொரு டெட்ராஹீட்ரனுக்குள் உள்ள மேற்பரப்பு டோபாலஜியை தீர்மானிக்கிறது. குறிப்பாக, ஒரு மெஷ் முகம் இன் குறி / = இன் குறி, அங்கு டெட்ராஹீட்ரனின் விளிம்பில் உள்ள உச்சிகளின் குறியீடுகளைக் குறிக்கிறது, மற்றும் அந்த முகத்தின் உச்சிகள் **m** ஒரு நேரியல் இடைக்கணிப்பாக mi,j = v 0 i sj−v 0 j si sj−si என தீர்மானிக்கப்படும்போது பிரித்தெடுக்கப்படுகிறது. மேலே உள்ள சமன்பாடு si 6= sj என இருக்கும்போது மட்டுமே மதிப்பிடப்படுகிறது, எனவே இது வேறுபடுத்தக்கூடியது, மேலும் mi,j இன் சரிவு SDF மதிப்புகள் si மற்றும் சிதைவுகள் ∆vi இல் பின்னோக்கி பரப்பப்படலாம். இந்த பிரதிநிதித்துவத்துடன், si இன் வெவ்வேறு குறிகளை கணிப்பதன் மூலம் தன்னிச்சையான டோபாலஜி கொண்ட வடிவங்களை எளிதாக உருவாக்க முடியும். வேறுபடுத்தக்கூடிய மெஷ் பிரித்தெடுத்தல் si i si si sj i, j i,j 3.1.2 உரை ஜெனரேட்டர் வெளியீட்டு மெஷுடன் இணக்கமான ஒரு உரை வரைபடத்தை நேரடியாக உருவாக்குவது எளிதானது அல்ல, ஏனெனில் உருவாக்கப்பட்ட வடிவம் தன்னிச்சையான இனக்கலவை மற்றும் டோபாலஜியைக் கொண்டிருக்கலாம். எனவே, உரைப்புலமாக உரையை நாங்கள் அளவுருவாக்குகிறோம் [ ]. 50 குறிப்பாக, ஒரு மேற்பரப்பு புள்ளியின் 3D இருப்பிடம் **p** ∈ R3, **w2 இன் நிபந்தனையுடன், அந்த இருப்பிடத்தில் உள்ள RGB நிறத்திற்கு **c** ∈ R3 வரைபடமாக்கும் ஒரு செயல்பாடு மூலம் உரைப்புலத்தை நாங்கள் மாதிரியாக்குகிறோம். உரைப்புலம் வடிவியலைப் பொறுத்தது என்பதால், இந்த வரைபடத்தை வடிவியல் மறைநிலை குறியீடு **w1 க்கு கூடுதலாக நிபந்தனைக்குட்படுத்துகிறோம், இதனால் **c** = (**p*,* **w1 ⊕ **w2), இங்கு ⊕ இணைப்பைக் குறிக்கிறது. ft ft 3D பொருட்களை மறுகட்டமைப்பதில் [ ] மற்றும் 3D-விழிப்புணர்வு படங்களை [ ] உருவாக்குவதில் திறமையான மற்றும் வெளிப்படையான ஒரு ட்ரை-பிளேன் பிரதிநிதித்துவத்தைப் பயன்படுத்தி எங்கள் உரைப்புலத்தை நாங்கள் பிரதிநிதித்துவப்படுத்துகிறோம். குறிப்பாக, நாங்கள் [ , ] ஐப் பின்பற்றி, மறைநிலை குறியீடு **w1 ⊕ **w2 ஐ × × ( × 3) அளவுள்ள மூன்று அச்சு-சமமான செங்குத்து ஃபீச்சர் பிளேன்களுக்கு வரைபடமாக்க ஒரு நிபந்தனைக்குட்பட்ட 2D கன்வல்யூஷனல் நியூரல் நெட்வொர்க்கைப் பயன்படுத்துகிறோம், இங்கு = 256 என்பது இடஞ்சார்ந்த தெளிவுத்திறனைக் குறிக்கிறது மற்றும் = 32 என்பது சேனல்களின் எண்ணிக்கையைக் குறிக்கிறது. நெட்வொர்க் கட்டமைப்பு 55 8 8 35 N N C N C ஃபீச்சர் பிளேன்களைக் கொடுத்தால், மேற்பரப்பு புள்ளி p இன் ஃபீச்சர் வெக்டர் f t ∈ R 32 ஆனது f t = P e ρ(πe(p)) என மீட்டெடுக்கப்படுகிறது, அங்கு πe(p) என்பது ஃபீச்சர் பிளேனுக்கு p இன் ப்ரோஜெக்ஷன் மற்றும் ρ(·) ஃபீச்சர்களின் இருபடி இடைக்கணிப்பைக் குறிக்கிறது. கூடுதல் முழுமையாக இணைக்கப்பட்ட அடுக்கு பின்னர் தொகுக்கப்பட்ட ஃபீச்சர் வெக்டர் f t ஐ RGB நிறம் c க்கு வரைபடமாக்கப் பயன்படுகிறது. 3D-விழிப்புணர்வு பட தொகுப்பு [8, 25, 7, 57] இல் உள்ள பிற படைப்புகளிலிருந்து வேறுபட்டது, இது ஒரு நரம்பியல் புல பிரதிநிதித்துவத்தையும் பயன்படுத்துகிறது, நாங்கள் மேற்பரப்பு புள்ளிகளின் இருப்பிடங்களில் (அடர்த்தியான மாதிரிக்கு மாறாக) மட்டுமே உரைப்புலத்தை மாதிரி எடுக்க வேண்டும். இது உயர்-தெளிவுத்திறன் படங்களை ரெண்டரிங் செய்வதற்கான கணக்கீட்டு சிக்கலைக் கணிசமாகக் குறைக்கிறது மற்றும் கட்டமைப்பு மூலம் பல-காட்சி நிலைத்தன்மையுள்ள படங்களை உருவாக்கும் என்பதற்கு உத்தரவாதம் அளிக்கிறது. 3.2 வேறுபடுத்தக்கூடிய ரெண்டரிங் மற்றும் பயிற்சி பயிற்சியின் போது எங்கள் மாதிரியை மேற்பார்வையிட, வேறுபடுத்தக்கூடிய ரெண்டரரைப் பயன்படுத்தி பல-காட்சி 3D பொருள் மறுகட்டமைப்பைச் செய்யும் Nvdiffrec [ ] இலிருந்து நாங்கள் உத்வேகம் பெறுகிறோம். குறிப்பாக, வேறுபடுத்தக்கூடிய ரெண்டரர் [ ] ஐப் பயன்படுத்தி பிரித்தெடுக்கப்பட்ட 3D மெஷ் மற்றும் உரைப்புலத்தை 2D படங்களாக ரெண்டர் செய்கிறோம், மேலும் 2D பிரித்தெடுப்பைப் பயன்படுத்தி எங்கள் நெட்வொர்க்கை மேற்பார்வை செய்கிறோம், இது படத்தை ஒரு உண்மையான பொருள் அல்லது உருவாக்கப்பட்ட பொருளிலிருந்து ரெண்டர் செய்யப்பட்டதாக வேறுபடுத்த முயற்சி செய்கிறது. 47 37 தரவுத்தொகுப்பில் உள்ள படங்களுக்குப் பயன்படுத்தப்பட்ட கேமரா விநியோகம் C அறியப்பட்டதாக நாங்கள் கருதுகிறோம். உருவாக்கப்பட்ட வடிவங்களை ரெண்டர் செய்ய, C இலிருந்து ஒரு கேமராவை சீரற்றமாக மாதிரி எடுக்கிறோம், மேலும் 2D உருவம் மற்றும் மெஷ் மேற்பரப்பில் தொடர்புடைய 3D புள்ளியின் ஆயத்தொலைவுகளைக் கொண்ட ஒரு படத்தை உருவாக்க மிகவும் மேம்படுத்தப்பட்ட வேறுபடுத்தக்கூடிய ராஸ்டரைசர் Nvdiffrast [ ] ஐப் பயன்படுத்துகிறோம். இந்த ஆயத்தொலைவுகள் RGB மதிப்புகளைப் பெற உரைப்புலத்தை வினவ மேலும் பயன்படுத்தப்படுகின்றன. நாங்கள் நேரடியாக பிரித்தெடுக்கப்பட்ட மெஷில் செயல்படுவதால், நாங்கள் உயர் தெளிவுத்திறன் படங்களை அதிக செயல்திறனுடன் ரெண்டர் செய்ய முடியும், இது எங்கள் மாதிரியை 1024×1024 வரை பட தெளிவுத்திறனுடன் பயிற்றுவிக்க அனுமதிக்கிறது. வேறுபடுத்தக்கூடிய ரெண்டரிங் c 37 நாங்கள் ஒரு எதிரெதிர் நோக்கத்தைப் பயன்படுத்தி எங்கள் மாதிரியைப் பயிற்றுவிக்கிறோம். நாங்கள் ஸ்டைல்கான் [ ] இலிருந்து பிரித்தெடுப்பாளர் கட்டமைப்பை ஏற்றுக்கொள்கிறோம், மேலும் R1 ஒழுங்குமுறைப்படுத்தலுடன் [ ] அதே இரண்டும்-கால புதுப்பிப்பு விதி GAN நோக்கத்தைப் பயன்படுத்துகிறோம். RGB படங்கள் மற்றும் உருவங்கள் இரண்டிற்கும் செயல்படும் ஒற்றை பிரித்தெடுப்பைப் பயன்படுத்துவதை விட, ஒவ்வொன்றும் RGB படங்கள் மற்றும் உருவங்களுக்கு என இரண்டு தனித்தனி பிரித்தெடுப்பாளர்களாகப் பயன்படுத்துவது சிறந்த முடிவுகளைத் தருகிறது என்பதை நாங்கள் அனுபவப்பூர்வமாகக் கண்டறிகிறோம். என்பது பிரித்தெடுப்பாளர் எனக் குறிக்கட்டும், அங்கு என்பது ஒரு RGB படம் அல்லது ஒரு உருவம் ஆகும். எதிரெதிர் நோக்கம் பின்னர் பின்வருமாறு வரையறுக்கப்படுகிறது: பிரித்தெடுப்பாளர் & நோக்கம் 34 42 Dx x இங்கு ( ) ஆனது ( ) = − log(1 +exp(− )) என வரையறுக்கப்படுகிறது, என்பது உண்மையான படங்களின் விநியோகம், என்பது ரெண்டரிங்கைக் குறிக்கிறது, மற்றும் என்பது ஒரு ஹைப்பர் அளவுரு ஆகும். வேறுபடுத்தக்கூடியது என்பதால், சரிவுகள் 2D படங்களிலிருந்து எங்கள் 3D ஜெனரேட்டர்களுக்கு பின்னோக்கி பரப்பப்படலாம். g u g u u px R λ R எந்தக் காட்சிகளிலும் காணப்படாத உள் மிதக்கும் முகங்களை அகற்ற, அண்டை உச்சிகளின் SDF மதிப்புகளுக்கு இடையே வரையறுக்கப்பட்ட ஒரு குறுக்கு-என்ட்ரோபி இழப்புடன் நாங்கள் வடிவியல் ஜெனரேட்டரை மேலும் ஒழுங்குபடுத்துகிறோம் [ ]: ஒழுங்குமுறைப்படுத்தல் 47 இங்கு என்பது பைனரி குறுக்கு-என்ட்ரோபி இழப்பைக் குறிக்கிறது மற்றும் என்பது சிக்மாய்டு செயல்பாட்டைக் குறிக்கிறது. சமன்பாடு இல் உள்ள கூட்டுத்தொகை டெட்ராஹீட்ரல் கட்டத்தில் உள்ள தனித்துவமான விளிம்புகளின் தொகுப்பு S மீது வரையறுக்கப்படுகிறது, இதற்கு sign( ) /= sign( ). H σ 2 e si sj ஒட்டுமொத்த இழப்பு செயல்
