ஆசிரியர்கள்: ஜுன் காவ், என்விடியா, டொராண்டோ பல்கலைக்கழகம், வெக்டர் இன்ஸ்டிடியூட் (jung@nvidia.com) டியான்சாங் ஷென், என்விடியா, டொராண்டோ பல்கலைக்கழகம், வெக்டர் இன்ஸ்டிடியூட் (frshen@nvidia.com) ஜியான் வாங், என்விடியா, டொராண்டோ பல்கலைக்கழகம், வெக்டர் இன்ஸ்டிடியூட் (zianw@nvidia.com) வென்ஜெங் சென், என்விடியா, டொராண்டோ பல்கலைக்கழகம், வெக்டர் இன்ஸ்டிடியூட் (wenzchen@nvidia.com) காங்க்ஸு யின், என்விடியா (kangxuey@nvidia.com) டைக்கிங் லி, என்விடியா (daiqingl@nvidia.com) ஆர் லிட்டானி, என்விடியா (olitany@nvidia.com) ஸான் கோஜ்சிக், என்விடியா (zgojcic@nvidia.com) சான்ஜா ஃபிட்லர், என்விடியா, டொராண்டோ பல்கலைக்கழகம், வெக்டர் இன்ஸ்டிடியூட் (sfidler@nvidia.com) சுருக்கம் பல தொழில்துறைகள் மிகப்பெரிய 3D மெய்நிகர் உலகங்களை மாதிரியாக்குவதை நோக்கி நகர்வதால், 3D உள்ளடக்கத்தின் அளவு, தரம் மற்றும் பன்முகத்தன்மை ஆகியவற்றில் அளவிடக்கூடிய உள்ளடக்க உருவாக்கக் கருவிகளுக்கான தேவை வெளிப்படையாகத் தெரிகிறது. எங்கள் பணியில், 3D ரெண்டரிங் என்ஜின்களால் நேரடியாகப் பயன்படுத்தக்கூடிய, அதாவது கீழ்நிலை பயன்பாடுகளில் உடனடியாகப் பயன்படுத்தக்கூடிய, டெக்ஸ்ச்சர் செய்யப்பட்ட மெஷ்களை ஒருங்கிணைக்கும் செயல்திறன் மிக்க 3D உருவாக்கும் மாதிரிகளுக்குப் பயிற்சி அளிப்பதை நோக்கமாகக் கொண்டுள்ளோம். 3D உருவாக்கும் மாதிரிகள் பற்றிய முந்தைய படைப்புகளில் வடிவியல் விவரங்கள் குறைவாக உள்ளன, அவை உருவாக்கக்கூடிய மெஷ் டோபாலஜியில் வரையறுக்கப்பட்டுள்ளன, பொதுவாக டெக்ஸ்ச்சர்களை ஆதரிப்பதில்லை, அல்லது உருவாக்கும் செயல்பாட்டில் நியூரல் ரெண்டரர்களைப் பயன்படுத்துகின்றன, இது பொதுவான 3D மென்பொருட்களில் அவற்றின் பயன்பாட்டை எளிதாக்குவதில்லை. இந்த வேலையில், GET3D ஐ அறிமுகப்படுத்துகிறோம், இது சிக்கலான டோபாலஜி, செழுமையான வடிவியல் விவரங்கள் மற்றும் உயர் நம்பகத்தன்மை கொண்ட டெக்ஸ்ச்சர்களுடன் கூடிய, enerative model that directly generates xplicit extured meshes ஆகும். 2D படத் தொகுப்புகளிலிருந்து எங்கள் மாதிரியைப் பயிற்றுவிக்க, வேறுபடுத்தக்கூடிய மேற்பரப்பு மாதிரியாக்கம், வேறுபடுத்தக்கூடிய ரெண்டரிங் மற்றும் 2D ஜெனரேட்டிவ் அட்வர்சரியல் நெட்வொர்க்குகளில் சமீபத்திய வெற்றிகளை நாங்கள் இணைக்கிறோம். GET3D கார்கள், நாற்காலிகள், விலங்குகள், மோட்டார் சைக்கிள்கள் மற்றும் மனித கதாபாத்திரங்கள் முதல் கட்டிடங்கள் வரை உயர்தர 3D டெக்ஸ்ச்சர் செய்யப்பட்ட மெஷ்களை உருவாக்க முடியும், இது முந்தைய முறைகளை விட குறிப்பிடத்தக்க முன்னேற்றங்களை அடைகிறது. எங்கள் திட்டப் பக்கம்: G E T 3D https://nv-tlabs.github.io/GET3D 1 அறிமுகம் கேமிங், ரோபோட்டிக்ஸ், கட்டிடக்கலை மற்றும் சமூக தளங்கள் உட்பட பல தொழில்களுக்கு பன்முகப்படுத்தப்பட்ட, உயர்தர 3D உள்ளடக்கம் பெருகிய முறையில் முக்கியத்துவம் பெறுகிறது. இருப்பினும், 3D சொத்துக்களை கைமுறையாக உருவாக்குவது மிகவும் நேரத்தை எடுத்துக்கொள்ளும் மற்றும் குறிப்பிட்ட தொழில்நுட்ப அறிவு மற்றும் கலை மாதிரியாக்கத் திறன்கள் தேவைப்படுகிறது. முக்கிய சவால்களில் ஒன்று அளவிடுதல் – டர்போஸ்க்விட் [ ] அல்லது ஸ்கெட்ச்ஃபேப் [ ] போன்ற 3D சந்தைகளில் 3D மாடல்களைக் கண்டறிய முடிந்தாலும், பல 3D மாடல்களை உருவாக்க, உதாரணமாக, ஒரு விளையாட்டை அல்லது திரைப்படத்தை ஒவ்வொருவரும் வித்தியாசமாகத் தோற்றமளிக்கும் கதாபாத்திரங்களின் கூட்டத்துடன் நிரப்ப, கணிசமான கலைஞரின் நேரம் எடுக்கும். 4 3 உள்ளடக்க உருவாக்க செயல்முறையை எளிதாக்கவும், பல்வேறு (புதிய) பயனர்களுக்கு அதை அணுகக்கூடியதாக மாற்றவும், உயர்தர மற்றும் பன்முகப்படுத்தப்பட்ட 3D சொத்துக்களை உருவாக்கக்கூடிய 3D ஜெனரேட்டிவ் நெட்வொர்க்குகள் சமீபத்தில் ஆராய்ச்சியின் ஒரு செயலில் உள்ள பகுதியாக மாறியுள்ளன [ , , , , , , , , , , ]. இருப்பினும், தற்போதைய நிஜ உலக பயன்பாடுகளுக்கு நடைமுறையில் பயனுள்ளதாக இருக்க, 3D உருவாக்கும் மாதிரிகள் பின்வரும் தேவைகளை நிறைவேற்ற வேண்டும்: அவை விரிவான வடிவியல் மற்றும் தன்னிச்சையான டோபாலஜி கொண்ட வடிவங்களை உருவாக்கும் திறனைக் கொண்டிருக்க வேண்டும், வெளியீடு ஒரு டெக்ஸ்ச்சர் செய்யப்பட்ட மெஷ் ஆக இருக்க வேண்டும், இது பிளெண்டர் [ ] மற்றும் மாயா [ ] போன்ற நிலையான கிராபிக்ஸ் மென்பொருள் தொகுப்புகளால் பயன்படுத்தப்படும் ஒரு முதன்மைப் பிரதிநிதித்துவம் ஆகும், மற்றும் நாங்கள் 2D படங்களைப் மேற்பார்வைக்கு பயன்படுத்த முடியும், ஏனெனில் அவை வெளிப்படையான 3D வடிவங்களை விட பரவலாகக் கிடைக்கின்றன. 5 14 43 46 53 68 75 60 59 69 23 (a) (b) 15 1 (c) 3D உருவாக்கும் மாதிரிகள் பற்றிய முந்தைய படைப்புகள் மேலே உள்ள தேவைகளின் துணைக்குழுக்களில் கவனம் செலுத்தியுள்ளன, ஆனால் இன்றுவரை எந்த முறையும் அனைத்தையும் பூர்த்தி செய்யவில்லை (அட்டவணை. ). உதாரணமாக, 3D புள்ளி மேகங்களை உருவாக்கும் முறைகள் [ , 68, 75] பொதுவாக டெக்ஸ்ச்சர்களை உருவாக்குவதில்லை மற்றும் பிந்தைய செயலாக்கத்தில் மெஷ் ஆக மாற்றப்பட வேண்டும். 1 5 வோக்செல்களை உருவாக்கும் முறைகள் பெரும்பாலும் வடிவியல் விவரங்கள் இல்லாமல் இருக்கும் மற்றும் டெக்ஸ்ச்சரை உருவாக்குவதில்லை [ , , , ]. நியூரல் ஃபீல்ட்ஸ் அடிப்படையிலான உருவாக்கும் மாதிரிகள் [ , ] வடிவியலைப் பிரித்தெடுப்பதில் கவனம் செலுத்துகின்றன ஆனால் டெக்ஸ்ச்சரைப் புறக்கணிக்கின்றன. இவற்றில் பெரும்பாலானவை வெளிப்படையான 3D மேற்பார்வையும் தேவை. இறுதியாக, டெக்ஸ்ச்சர் செய்யப்பட்ட 3D மெஷ்களை நேரடியாக வெளியிடும் முறைகள் [ , ] பொதுவாக முன்-வரையறுக்கப்பட்ட வடிவ வார்ப்புருக்கள் தேவை மற்றும் சிக்கலான டோபாலஜி அல்லது மாறக்கூடிய பேரினம் கொண்ட வடிவங்களை உருவாக்க முடியாது. 66 20 27 40 43 14 54 53 சமீபத்தில், நியூரல் வால்யூம் ரெண்டரிங் [ ] மற்றும் 2D ஜெனரேட்டிவ் அட்வர்சரியல் நெட்வொர்க்குகள் (GANs) [ , , , , ] ஆகியவற்றில் ஏற்பட்ட விரைவான முன்னேற்றம் 3D-விழிப்புணர்வு படத் தொகுப்பின் எழுச்சிக்கு வழிவகுத்தது [ , , , , , ]. இருப்பினும், இந்தப் பணியானது நியூரல் ரெண்டரிங் முறையை உருவாக்குவதில் பல-காட்சி நிலைத்தன்மையுடைய படங்களை உருவாக்குவதை நோக்கமாகக் கொண்டுள்ளது மற்றும் அர்த்தமுள்ள 3D வடிவங்களை உருவாக்க முடியும் என்பதற்கு உத்தரவாதம் அளிக்காது. மார்ச்சிங் க்யூப்ஸ் வழிமுறை [ ] மூலம் அடிப்படையான நியூரல் ஃபீல்ட் பிரதிநிதித்துவத்திலிருந்து ஒரு மெஷ் ஐப் பிரித்தெடுக்க முடிந்தாலும், அதனுடன் தொடர்புடைய டெக்ஸ்ச்சரைப் பிரித்தெடுப்பது எளிதல்ல. 45 34 35 33 29 52 7 57 8 49 51 25 39 இந்த வேலையில், நடைமுறையில் பயனுள்ள 3D உருவாக்கும் மாதிரியின் அனைத்து தேவைகளையும் பூர்த்தி செய்யும் ஒரு புதிய அணுகுமுறையை நாங்கள் அறிமுகப்படுத்துகிறோம். குறிப்பாக, நாங்கள் GET3D ஐ முன்மொழிகிறோம், இது உயர் வடிவியல் மற்றும் டெக்ஸ்ச்சர் விவரங்கள் மற்றும் தன்னிச்சையான மெஷ் டோபாலஜி கொண்ட வெளிப்படையான டெக்ஸ்ச்சர் செய்யப்பட்ட 3D மெஷ்களை நேரடியாக வெளியிடும் 3D வடிவங்களுக்கான ஒரு உருவாக்கும் மாதிரி ஆகும். எங்கள் அணுகுமுறையின் மையத்தில் வேறுபடுத்தக்கூடிய மேற்பரப்பு பிரித்தெடுக்கும் முறை [ ] மற்றும் வேறுபடுத்தக்கூடிய ரெண்டரிங் நுட்பம் [ , ] ஆகியவற்றைப் பயன்படுத்தும் ஒரு உருவாக்கும் செயல்முறை உள்ளது. முந்தையது, தன்னிச்சையான டோபாலஜி கொண்ட வெளிப்படையான டெக்ஸ்ச்சர் செய்யப்பட்ட 3D மெஷ்களை நேரடியாக மேம்படுத்தவும் வெளியீடு செய்யவும் எங்களை அனுமதிக்கிறது, பிந்தையது, 2D படங்களுடன் எங்கள் மாதிரியைப் பயிற்றுவிக்க எங்களை அனுமதிக்கிறது, இதனால் 2D படத் தொகுப்பிற்காக உருவாக்கப்பட்ட சக்திவாய்ந்த மற்றும் முதிர்ந்த டிஸ்கிரிமினேட்டர்களைப் பயன்படுத்திக் கொள்கிறோம். எங்கள் மாதிரி நேரடியாக மெஷ்களை உருவாக்குவதால் மற்றும் உயர் செயல்திறன் கொண்ட (வேறுபடுத்தக்கூடிய) கிராபிக்ஸ் ரெண்டரரைப் பயன்படுத்துவதால், 1024 × 1024 வரை உயர் தெளிவுத்திறன் கொண்ட படங்களுடன் எங்கள் மாதிரியைப் பயிற்றுவிக்க நாங்கள் எளிதாக அளவிட முடியும், இது உயர்தர வடிவியல் மற்றும் டெக்ஸ்ச்சர் விவரங்களைக் கற்க எங்களை அனுமதிக்கிறது. வெளிப்படையான 60 47 37 ShapeNet [ ], Turbosquid [ ] மற்றும் Renderpeople [ ] ஆகியவற்றிலிருந்து கார்கள், நாற்காலிகள், விலங்குகள், மோட்டார் சைக்கிள்கள் மற்றும் மனித கதாபாத்திரங்கள் முதல் கட்டிடங்கள் வரை சிக்கலான வடிவியல் கொண்ட பல வகைகளில், நாங்கள் அதிநவீன செயல்திறனை வெளிப்படுத்துகிறோம். வெளிப்படையான மெஷ் வெளியீட்டுப் பிரதிநிதித்துவத்துடன், GET3D மற்ற பணிகளுக்கும் எளிதாக மாற்றியமைக்க முடியும், அவற்றுள்: மேம்பட்ட வேறுபடுத்தக்கூடிய ரெண்டரிங் [ ] ஐப் பயன்படுத்தி, மேற்பார்வை இல்லாமல், சிதைந்த பொருள் மற்றும் காட்சி-சார்ந்த விளக்கு விளைவுகளை உருவாக்கக் கற்றுக்கொள்வது, CLIP [ ] உட்பொதிப்பைப் பயன்படுத்தி உரை-வழிகாட்டுதலில் 3D வடிவத்தை உருவாக்குதல். 9 4 2 (a) 12 (b) 56 2 தொடர்புடைய வேலை வடிவியல் மற்றும் தோற்றத்திற்கான 3D உருவாக்கும் மாதிரிகள், அத்துடன் 3D-விழிப்புணர்வு உருவாக்கும் படத் தொகுப்பில் சமீபத்திய முன்னேற்றங்களை நாங்கள் மதிப்பாய்வு செய்கிறோம். சமீபத்திய ஆண்டுகளில், 2D உருவாக்கும் மாதிரிகள் உயர்தர படத் தொகுப்பில் ஒளி-யதார்த்தமான தரத்தை அடைந்துள்ளன [ , , , , , , ]. இந்த முன்னேற்றம் 3D உள்ளடக்க உருவாக்கத்திலும் ஆராய்ச்சியைத் தூண்டியுள்ளது. ஆரம்பகால அணுகுமுறைகள் 2D CNN ஜெனரேட்டர்களை 3D வோக்செல் கட்டங்களுக்கு நேரடியாக நீட்டிப்பதை நோக்கமாகக் கொண்டிருந்தன [ , , , , ], ஆனால் 3D கன்வல்யூஷன்களின் உயர் நினைவகப் பதிப்பு மற்றும் கணக்கீட்டு சிக்கலானது உயர் தெளிவுத்திறனில் உருவாக்கும் செயல்முறையைத் தடுக்கிறது. ஒரு மாற்றாக, பிற படைப்புகள் புள்ளி மேகம் [ , , , ], மறைமுகமான [ , ], அல்லது ஆக்டரீ [ ] பிரதிநிதித்துவங்களை ஆராய்ந்தன. இருப்பினும், இந்தப் படைப்புகள் முக்கியமாக வடிவியலை உருவாக்குவதில் கவனம் செலுத்துகின்றன மற்றும் தோற்றத்தைப் புறக்கணிக்கின்றன. அவற்றின் வெளியீட்டுப் பிரதிநிதித்துவங்களும் நிலையான கிராபிக்ஸ் என்ஜின்களுடன் இணக்கமாக இருக்க பிந்தைய செயலாக்கம் தேவை. 3D உருவாக்கும் மாதிரிகள் 34 35 33 52 29 19 16 66 20 27 40 62 5 68 75 46 43 14 30 எங்கள் வேலைக்கு மிகவும் ஒத்த, டெக்ஸ்ச்சர் செய்யப்பட்ட 3D மெஷ்களை உருவாக்கும் Textured3DGAN [ , ] மற்றும் DIBR [ ], ஆனால் அவை ஒரு வார்ப்புரு மெஷ் இன் சிதைவாக உருவாக்கத்தை உருவாக்குகின்றன, இது சிக்கலான டோபாலஜி அல்லது மாறுபடும் பேரினம் கொண்ட வடிவங்களை உருவாக்குவதைத் தடுக்கிறது, இது எங்கள் முறையால் செய்ய முடியும். PolyGen [ ] மற்றும் SurfGen [ ] தன்னிச்சையான டோபாலஜி கொண்ட மெஷ்களை உருவாக்க முடியும், ஆனால் டெக்ஸ்ச்சர்களை உருவாக்காது. 54 53 11 48 41 நியூரல் வால்யூம் ரெண்டரிங் [ ] மற்றும் மறைமுகமான பிரதிநிதித்துவங்கள் [ , ] ஆகியவற்றின் வெற்றிகளால் ஈர்க்கப்பட்டு, சமீபத்திய படைப்புகள் 3D-விழிப்புணர்வு படத் தொகுப்பு சிக்கலைத் தீர்க்கத் தொடங்கின [ , , , , , , , , , ]. இருப்பினும், நியூரல் வால்யூம் ரெண்டரிங் நெட்வொர்க்குகள் பொதுவாக வினவ அதிக நேரம் எடுக்கும், இது நீண்ட பயிற்சி நேரங்களுக்கு [ , ] வழிவகுக்கிறது, மேலும் வரையறுக்கப்பட்ட தெளிவுத்திறன் கொண்ட படங்களை உருவாக்குகிறது. GIRAFFE [ ] மற்றும் StyleNerf [ ] ஆகியவை நியூரல் ரெண்டரிங்கை குறைந்த தெளிவுத்திறனில் செய்வதன் மூலம் பயிற்சி மற்றும் ரெண்டரிங் திறனை மேம்படுத்துகின்றன, பின்னர் முடிவுகளை 2D CNN மூலம் மேம்படுத்துகின்றன. இருப்பினும், செயல்திறன் அதிகரிப்பு குறைக்கப்பட்ட பல-காட்சி நிலைத்தன்மைக்கு செலவில் வருகிறது. இரட்டை டிஸ்கிரிமினேட்டரைப் பயன்படுத்துவதன் மூலம், EG3D [ ] இந்தப் பிரச்சனையை ஓரளவு குறைக்க முடியும். இருப்பினும், நியூரல் ரெண்டரிங் அடிப்படையிலான முறைகளிலிருந்து ஒரு டெக்ஸ்ச்சர் செய்யப்பட்ட மேற்பரப்பைப் பிரித்தெடுப்பது ஒரு எளிதான முயற்சி. மாறாக, GET3D நேரடியாக டெக்ஸ்ச்சர் செய்யப்பட்ட 3D மெஷ்களை வெளியிடுகிறது, அவை நிலையான கிராபிக்ஸ் என்ஜின்களில் உடனடியாகப் பயன்படுத்தப்படலாம். 3D-விழிப்புணர்வு உருவாக்கும் படத் தொகுப்பு 45 43 14 7 57 49 26 25 76 8 51 58 67 7 57 49 25 8 3 முறை நாங்கள் இப்போது டெக்ஸ்ச்சர் செய்யப்பட்ட 3D வடிவங்களை உருவாக்குவதற்கான எங்கள் GET3D கட்டமைப்பை வழங்குகிறோம். எங்கள் உருவாக்கும் செயல்முறை இரண்டு பகுதிகளாகப் பிரிக்கப்பட்டுள்ளது: ஒரு வடிவியல் கிளை, இது தன்னிச்சையான டோபாலஜி கொண்ட ஒரு மேற்பரப்பு மெஷ்ஷை வேறுபடுத்தக்கூடிய வகையில் வெளியிடுகிறது, மற்றும் ஒரு டெக்ஸ்ச்சர் கிளை, இது மேற்பரப்பு புள்ளிகளில் வினவப்பட்டு வண்ணங்களை உருவாக்கக்கூடிய ஒரு டெக்ஸ்ச்சர் புலத்தை உருவாக்குகிறது. பிந்தையது மற்ற மேற்பரப்பு பண்புகளுக்கு நீட்டிக்கப்படலாம், உதாரணமாக, பொருட்கள் (பிரிவு ). பயிற்சியின் போது, வேறுபடுத்தக்கூடிய ராஸ்டரைசர், உருவாக்கப்பட்ட டெக்ஸ்ச்சர் செய்யப்பட்ட மெஷ்ஷை 2D உயர்-தெளிவுத்திறன் படங்களாக ரெண்டர் செய்யப் பயன்படுத்தப்படுகிறது. முழு செயல்முறையும் வேறுபடுத்தக்கூடியது, இது 2D டிஸ்கிரிமினேட்டரிலிருந்து இரண்டு ஜெனரேட்டர் கிளைகளுக்கும் கிரேடியண்ட்களைப் பரப்புவதன் மூலம் படங்களிலிருந்து (ஒரு பொருளைக் குறிக்கும் முகமூடிகளுடன்) எதிர்ப்பைப் பயிற்றுவிக்க அனுமதிக்கிறது. எங்கள் மாதிரி படம் இல் விளக்கப்பட்டுள்ளது. பின்வருவனவற்றில், முதலில் எங்கள் 3D ஜெனரேட்டரை பிரிவு இல் அறிமுகப்படுத்துகிறோம், பின்னர் வேறுபடுத்தக்கூடிய ரெண்டரிங் மற்றும் இழப்பு செயல்பாடுகளை பிரிவு இல் தொடர்கிறோம். 4.3.1 2 3.1 3.2 3.1 3D டெக்ஸ்ச்சர் செய்யப்பட்ட மெஷ்களின் உருவாக்கும் மாதிரி ஒரு காஸியன் விநியோகத்திலிருந்து ஒரு மாதிரியை [ , , ] மாற்ற ஒரு 3D ஜெனரேட்டர் = ( ) ஐக் கற்க நாங்கள் நோக்கமாகக் கொண்டுள்ளோம். 34 35 33 M, E G z ∈ N (0*,* ) ஒரு மெஷ் க்கு டெக்ஸ்ச்சர் உடன். z I M E ஒரே வடிவியல் வெவ்வேறு டெக்ஸ்ச்சர்களைக் கொண்டிருக்கலாம், மேலும் ஒரே டெக்ஸ்ச்சரை வெவ்வேறு வடிவங்களுக்குப் பயன்படுத்தலாம் என்பதால், நாங்கள் இரண்டு சீரற்ற உள்ளீட்டு திசையன்களை 1 ∈ R512 மற்றும் 2 ∈ R512 ஐ மாதிரி எடுக்கிறோம். StyleGAN [ , , ] ஐப் பின்பற்றி, பின்னர் நாங்கள் நேரியல் அல்லாத மேப்பிங் நெட்வொர்க்குகளை geo மற்றும் tex ஐப் பயன்படுத்தி 1 மற்றும் 2 ஐ இடைநிலை மறைக்கப்பட்ட திசையன்களாக 1 = geo( 1) மற்றும் 2 = tex( 2) மாற்றுகிறோம், அவை மேலும் 3D வடிவங்கள் மற்றும் டெக்ஸ்ச்சர் உருவாக்கத்தைக் கட்டுப்படுத்தும் உருவாக்கப் பயன்படுத்தப்படுகின்றன. நாங்கள் முறைப்படி வடிவியல் ஜெனரேட்டரை பிரிவு இல் மற்றும் டெக்ஸ்ச்சர் ஜெனரேட்டரை பிரிவு இல் அறிமுகப்படுத்துகிறோம். z z 34 35 33 f f z z w f z w f z ஸ்டைல்களை 3.1.1 3.1.2 3.1.1 வடிவியல் ஜெனரேட்டர் நாங்கள் எங்கள் வடிவியல் ஜெனரேட்டரை DMTet [ ] ஐ இணைக்கும் வகையில் வடிவமைத்துள்ளோம், இது சமீபத்தில் முன்மொழியப்பட்ட வேறுபடுத்தக்கூடிய மேற்பரப்புப் பிரதிநிதித்துவம் ஆகும். DMTet, டெட்டராஹெட்ரல் கட்டத்தில் [ , ] வரையறுக்கப்பட்ட ஒரு கையொப்பமிடப்பட்ட தூர புலத்தைப் (SDF) பயன்படுத்தி வடிவியலைப் பிரதிநிதித்துவப்படுத்துகிறது, இதிலிருந்து மார்ச்சிங் டெட்ராஹெட்ரா [ ] மூலம் வேறுபடுத்தக்கூடிய வகையில் மேற்பரப்பை மீட்டெடுக்க முடியும். கட்டத்தை அதன் உச்சிப் புள்ளிகளை நகர்த்துவதன் மூலம் சிதைப்பது அதன் தெளிவுத்திறனின் சிறந்த பயன்பாட்டை ஏற்படுத்துகிறது. மேற்பரப்புப் பிரித்தெடுப்புக்கு DMTet ஐப் பின்பற்றுவதன் மூலம், தன்னிச்சையான டோபாலஜி மற்றும் பேரினம் கொண்ட வெளிப்படையான மெஷ்களை உருவாக்க முடியும். பின்வரும் சுருக்கத்தை நாங்கள் DMTet க்கு வழங்குகிறோம் மற்றும் மேலதிக விவரங்களுக்கு அசல் கட்டுரையைப் பார்க்கிறோம். 60 22 24 17 டெட்டராஹெட்ரல் கட்டத்தில் இல் உள்ள அனைத்து 3D இடங்களையும் குறிக்கட்டும், இதில் என்பது இன் உச்சிப் புள்ளிகள். ஒவ்வொரு டெட்ராஹெட்ரன் ∈ நான்கு உச்சிப் புள்ளிகளால் { } வரையறுக்கப்படுகிறது, இதில் ∈ {1*, . . . , K*}, என்பது டெட்ராஹெட்ரன்களின் மொத்த எண்ணிக்கை, மற்றும் ∈ ∈ R3. அதன் 3D ஆயத்தொலைவுகளுக்கு கூடுதலாக, ஒவ்வொரு உச்சிப் புள்ளி ஆனது SDF மதிப்பு ∈ R மற்றும் அதன் ஆரம்ப நியதி ஆயத்தொலைவுகளிலிருந்து உச்சிப் புள்ளியின் சிதைவு ∆ ∈ R3 ஆகியவற்றைக் கொண்டுள்ளது. இந்தப் பிரதிநிதித்துவம் மார்ச்சிங் டெட்ராஹெட்ரா [ ] ஐ வேறுபடுத்தக்கூடிய வகையில் பிரித்தெடுப்பதை அனுமதிக்கிறது, இதில் தொடர்ச்சியான வெளியில் SDF மதிப்புகள் அதன் மதிப்பு இன் பாரிசென்ட்ரிக் இடைக்கணிப்பால் கணக்கிடப்படுகின்றன, இது சிதைக்கப்பட்ட உச்சிப் புள்ளிகளில் ′ = + ∆ . VT T VT T Tk T v ak , v bk , v ck , v dk k K v ik VT , v ik i v i si v i 60 si v v i v i 1 ∈ R512 ஐ ஒவ்வொரு உச்சிப் புள்ளி இல் உள்ள SDF மதிப்புகள் மற்றும் சிதைவுகளுக்கு நிபந்தனைக்குட்பட்ட 3D கன்வல்யூஷனல் மற்றும் முழுமையாக இணைக்கப்பட்ட அடுக்குகளின் தொடர் வழியாக மாற்றுகிறோம். குறிப்பாக, நாங்கள் முதலில் 1 இல் நிபந்தனைக்குட்பட்ட ஒரு அம்ச தொகுதியை உருவாக்க 3D கன்வல்யூஷனல் அடுக்குகளைப் பயன்படுத்துகிறோம். பின்னர் நாங்கள் trilinear இடைக்கணிப்பைப் பயன்படுத்தி ஒவ்வொரு உச்சிப் புள்ளி ∈ இல் அம்சத்தை வினவி, SDF மதிப்பு மற்றும் சிதைவு ∆ ஐ வெளியிடும் MLPs இல் அதைச் செலுத்துகிறோம். உயர்-தெளிவுத்திறனில் மாதிரியாக்கம் தேவைப்படும் சந்தர்ப்பங்களில் (எ.கா. சக்கரங்களில் மெல்லிய கட்டமைப்புகள் கொண்ட மோட்டார் சைக்கிள்), நாங்கள் மேலும் [ ] ஐப் பின்பற்றி வால்யூம் துணைப்பிரிவைப் பயன்படுத்துகிறோம். வலைப்பின்னல் கட்டமைப்பு w v i w v i VT si v i 60 அனைத்து உச்சிப் புள்ளிகளுக்கும் மற்றும் ∆ ஐப் பெற்ற பிறகு, வெளிப்படையான மெஷ்ஷைப் பிரித்தெடுக்க வேறுபடுத்தக்கூடிய மார்ச்சிங் டெட்ராஹெட்ரா வழிமுறையைப் பயன்படுத்துகிறோம். மார்ச்சிங் டெட்ராஹெட்ரா, இன் அறிகுறிகளை அடிப்படையாகக் கொண்டு ஒவ்வொரு டெட்ராஹெட்ரனுக்குள்ளும் உள்ள மேற்பரப்பு டோபாலஜியைத் தீர்மானிக்கிறது. குறிப்பாக, டெட்ராஹெட்ரனின் விளிம்பில் உள்ள உச்சிப் புள்ளிகளின் குறியீடுகளைக் குறிக்கிறது, மற்றும் அந்த முகத்தின் உச்சிப் புள்ளிகள் நேரியல் இடைக்கணிப்பாக mi,j = v 0 i sj−v 0 j si sj−si என வரையறுக்கப்படுகின்றன. வேறுபடுத்தக்கூடிய மெஷ் பிரித்தெடுத்தல் si v i si i, j m i,j Note that the above equation is only evaluated when si 6= sj , thus it is differentiable, and the gradient from mi,j can be back-propagated into the SDF values si and deformations ∆vi . With this representation, the shapes with arbitrary topology can easily be generated by predicting different signs of si . 3.1.2 டெக்ஸ்ச்சர் ஜெனரேட்டர் வெளியீட்டு மெஷ்ஷுடன் இணக்கமான ஒரு டெக்ஸ்ச்சர் வரைபடத்தை நேரடியாக உருவாக்குவது எளிதல்ல, ஏனெனில் உருவாக்கப்பட்ட வடிவம் ஒரு தன்னிச்சையான பேரினம் மற்றும் டோபாலஜியைக் கொண்டிருக்கலாம். எனவே, நாங்கள் டெக்ஸ்ச்சரை ஒரு டெக்ஸ்ச்சர் புலமாக [ ] அளவுருவாக்குகிறோம். 50 குறிப்பாக, நாங்கள் டெக்ஸ்ச்சர் புலத்தை என்ற செயல்பாட்டின் மூலம் மாதிரியாக்குகிறோம், இது ஒரு மேற்பரப்புப் புள்ளியின் 3D இருப்பிடத்தை ∈ R3, 2 இல் நிபந்தனைக்குட்பட்டது, அந்த இருப்பிடத்தில் உள்ள RGB நிறத்திற்கு ∈ R3 மாற்றுகிறது. டெக்ஸ்ச்சர் புலம் வடிவியலைப் பொறுத்தது என்பதால், இந்த மேப்பிங்கை வடிவியல் மறைக்கப்பட்ட குறியீடு 1 இல் நிபந்தனைக்குட்படுத்துகிறோம், இதனால் = ( *,* 1 ⊕ 2), இங்கு ⊕ என்பது இணைப்பைக் குறிக்கிறது. ft p w c w c ft p w w நாங்கள் எங்கள் டெக்ஸ்ச்சர் புலத்தை ஒரு ட்ரை-பிளேன் பிரதிநிதித்துவத்தைப் பயன்படுத்தி மாதிரியாக்குகிறோம், இது 3D பொருள்களை [ ] மறுகட்டமைப்பதிலும் 3D-விழிப்புணர்வு படங்களை [ ] உருவாக்குவதிலும் திறம்பட மற்றும் வெளிப்படையாக உள்ளது. குறிப்பாக, நாங்கள் [ , ] ஐப் பின்பற்றுகிறோம் மற்றும் 3 சீரற்ற-அச்சு-சீராக்கப்பட்ட செங்குத்தான அம்ச தளங்களுக்கு 1 ⊕ 2 ஐ மாற்ற ஒரு நிபந்தனைக்குட்பட்ட 2D கன்வல்யூஷனல் நியூரல் நெட்வொர்க்கைப் பயன்படுத்துகிறோம், அவற்றின் அளவு × × ( × 3) ஆகும், இங்கு = 256 என்பது இடஞ்சார்ந்த தெளிவுத்திறனைக் குறிக்கிறது மற்றும் = 32 என்பது சேனல்களின் எண்ணிக்கையைக் குறிக்கிறது. வலைப்பின்னல் கட்டமைப்பு 55 8 8 35 w w N N C N C அம்ச தளங்களைக் கொடுத்தால், மேற்பரப்புப் புள்ளி p இன் அம்ச திசையன் ft ∈ R 32 ஐ ft = P e ρ(πe(p)) என மீட்டெடுக்கலாம், இங்கு πe(p) என்பது p இன் புள்ளிக்கு அம்ச தளத்திற்கு e இன் வீழ்ப்பு மற்றும் ρ(·) என்பது அம்சங்களின் இருபடி இடைக்கணிப்பைக் குறிக்கிறது. பின்னர் ஒரு கூடுதல் முழுமையாக இணைக்கப்பட்ட அடுக்கு, ஒருங்கிணைந்த அம்ச திசையன் ft ஐ RGB நிறத்திற்கு c க்கு மாற்றப் பயன்படுத்தப்படுகிறது. 3D-விழிப்புணர்வு படத் தொகுப்பு இல் உள்ள பிற படைப்புகளிலிருந்து வேறுபட்டது, இங்கு நாம் நியூரல் ஃபீல்ட் பிரதிநிதித்துவத்தையும் பயன்படுத்துகிறோம், மேற்பரப்புப் புள்ளிகளின் இருப்பிடங்களில் மட்டுமே டெக்ஸ்ச்சர் புலத்தை மாதிரி எடுக்க வேண்டும் (ஒரு கதிர் வழியாக அடர்த்தியான மாதிரிகளுக்கு மாறாக). இது உயர்-தெளிவுத்திறன் படங்களை ரெண்டர் செய்வதற்கான கணக்கீட்டுச் சிக்கலைக் கணிசமாகக் குறைக்கிறது மற்றும் உருவாக்கத்தால் பல-காட்சி நிலைத்தன்மையுடைய படங்களை உருவாக்குவதை உறுதி செய்கிறது. 3.2 வேறுபடுத்தக்கூடிய ரெண்டரிங் மற்றும் பயிற்சி பயிற்சியின் போது எங்கள் மாதிரியை மேற்பார்வையிட, வேறுபடுத்தக்கூடிய ரெண்டரரைப் பயன்படுத்தி பல-காட்சி 3D பொருள் மறுகட்டமைப்பைச் செய்யும் Nvdiffrec [ ] இலிருந்து நாங்கள் உத்வேகம் பெறுகிறோம். குறிப்பாக, வேறுபடுத்தக்கூடிய ரெண்டரர் [ ] ஐப் பயன்படுத்தி பிரித்தெடுக்கப்பட்ட 3D மெஷ்ஷையும் டெக்ஸ்ச்சர் புலத்தையும் 2D படங்களாக ரெண்டர் செய்கிறோம், மேலும் 2D டிஸ்கிரிமினேட்டர் மூலம் எங்கள் நெட்வொர்க்கை மேற்பார்வையிடுகிறோம், இது படத்தை உண்மையான பொருளாகவோ அல்லது உருவாக்கப்பட்ட பொருளிலிருந்து ரெண்டர் செய்யப்பட்டதாகவோ வேறுபடுத்த முயற்சிக்கிறது. 47 37 தரவுத்தொகுப்பில் உள்ள படங்களை எடுக்கப் பயன்படுத்தப்பட்ட கேமரா விநியோகம் C அறியப்படுகிறது என்று நாங்கள் கருதுகிறோம். உருவாக்கப்பட்ட வடிவங்களை ரெண்டர் செய்ய, C இலிருந்து ஒரு கேமராவை சீரற்ற முறையில் மாதிரி எடுத்து, வேறுபடுத்தக்கூடிய ராஸ்டரைசர் Nvdiffrast [ ] ஐப் பயன்படுத்தி 3D மெஷ்ஷை 2D சில்ஹவுட்டாகவும், ஒவ்வொரு பிக்சலும் மெஷ்ஷின் மேற்பரப்பில் தொடர்புடைய 3D புள்ளியின் ஆயத்தொலைவுகளைக் கொண்டிருக்கும் படமாகவும் ரெண்டர் செய்கிறோம். இந்த ஆயத்தொலைவுகள் டெக்ஸ்ச்சர் புலத்தை வினவி RGB மதிப்புகளைப் பெற மேலும் பயன்படுத்தப்படுகின்றன. பிரித்தெடுக்கப்பட்ட மெஷ்ஷில் நேரடியாகச் செயல்படுவதால், உயர் தெளிவுத்திறன் படங்களை உயர் செயல்திறனுடன் ரெண்டர் செய்ய முடியும், இது எங்கள் மாதிரியை 1024×1024 வரை உயர் தெளிவுத்திறன் படங்களுடன் பயிற்றுவிக்க அனுமதிக்கிறது. வேறுபடுத்தக்கூடிய ரெண்டரிங் c 37 நாங்கள் ஒரு எதிர்ப்புக் கூர்மையைப் பயன்படுத்தி எங்கள் மாதிரியைப் பயிற்றுவிக்கிறோம். StyleGAN [ ] இலிருந்து டிஸ்கிரிமினேட்டர் கட்டமைப்பை நாங்கள் ஏற்றுக்கொள்கிறோம், மேலும் R1 ஒழுங்குபடுத்தலுடன் [ ] அதே நேரியல் அல்லாத திருப்தி GAN நோக்கத்தைப் பயன்படுத்துகிறோம். RGB படங்கள் மற்றும் சில்ஹவுட்டுகள் இரண்டையும் இயக்கும் ஒற்றை டிஸ்கிரிமினேட்டரை விட, RGB படங்கள் மற்றும் சில்ஹவுட்டுகளுக்கு இரண்டு தனித்தனி டிஸ்கிரிமினேட்டர்களைப் பயன்படுத்துவது சிறந்த முடிவுகளைத் தருகிறது என்பதை நாங்கள் அனுபவப்பூர்வமாகக் கண்டறிந்துள்ளோம். என்பது டிஸ்கிரிமினேட்டர் என்று குறிக்கட்டும், அங்கு என்பது RGB படமாகவோ அல்லது சில்ஹவுட்டாகவோ இருக்கலாம். எதிர்ப்புக் கூர்மை பின்னர் பின்வருமாறு வரையறுக்கப்படுகிறது: டிஸ்கிரிமினேட்டர் & நோக்கம் 34 42 Dx x இங்கு ( ) = − log(1 +exp(− )) என வரையறுக்கப்படுகிறது, என்பது உண்மையான படங்களின் விநியோகம், என்பது ரெண்டரிங், மற்றும் ஒரு ஹைப்பர் அளவுரு. g u u px R λ எந்தப் பார்வையிலும் காணப்படாத உள் மிதக்கும் முகங்களை அகற்ற, நாங்கள் மேலும் SDF மதிப்புகளின் குறுக்கு-என்ட்ரோபி இழப்பைப் பயன்படுத்தி வடிவியல் ஜெனரேட்டரை ஒழுங்குபடுத்துகிறோம். ஒழுங்குபடுத்தல் இங்கு என்பது பைனரி குறுக்கு-என்ட்ரோபி இழப்பு மற்றும் என்பது ச H σ
