```html مصنفین: جن گاؤ، NVIDIA، یونیورسٹی آف ٹورنٹو، ویکٹر انسٹی ٹیوٹ (jung@nvidia.com) تیانچینگ شین، NVIDIA، یونیورسٹی آف ٹورنٹو، ویکٹر انسٹی ٹیوٹ (frshen@nvidia.com) زیان وانگ، NVIDIA، یونیورسٹی آف ٹورنٹو، ویکٹر انسٹی ٹیوٹ (zianw@nvidia.com) وینزینگ چن، NVIDIA، یونیورسٹی آف ٹورنٹو، ویکٹر انسٹی ٹیوٹ (wenzchen@nvidia.com) کانگ زوئے ین، NVIDIA (kangxuey@nvidia.com) دائی کنگ لی، NVIDIA (daiqingl@nvidia.com) اور لیتھنی، NVIDIA (olitany@nvidia.com) زان گوجیک، NVIDIA (zgojcic@nvidia.com) سانجا فیڈلر، NVIDIA، یونیورسٹی آف ٹورنٹو، ویکٹر انسٹی ٹیوٹ (sfidler@nvidia.com) خلاصہ چونکہ متعدد صنعتیں وسیع 3D ورچول دنیاؤں کے ماڈلنگ کی طرف بڑھ رہی ہیں، اس لیے 3D مواد کی مقدار، معیار اور تنوع کے لحاظ سے 3D مواد تخلیق کے ایسے ٹولز کی ضرورت واضح ہوتی جا رہی ہے جنہیں پیمانہ کیا جا سکے۔ ہمارے کام میں، ہم کارکرد 3D جنریٹو ماڈلز کو تربیت دینے کا ارادہ رکھتے ہیں جو ٹیسچرڈ میشز کو سننائیز کرتے ہیں جنہیں براہ راست 3D رینڈرنگ انجن استعمال کر سکتے ہیں، اس طرح وہ فوری طور پر استعمال کے قابل ہو سکتے ہیں۔ 3D جنریٹو ماڈلنگ پر پچھلے کاموں میں یا تو جیومیٹرک تفصیلات کی کمی ہے، یا وہ ان میش ٹوپولوجیز میں محدود ہیں جنہیں وہ تیار کر سکتے ہیں، عام طور پر ٹیسچرز کو سپورٹ نہیں کرتے، یا ترکیب کے عمل میں نیورل رینڈررز کا استعمال کرتے ہیں، جو عام 3D سافٹ ویئر میں ان کے استعمال کو غیر معمولی بناتا ہے۔ اس کام میں، ہم GET3D متعارف کراتے ہیں، جو کہ ایک enerative ماڈل ہے جو xplicit extured میشز کو پیچیدہ ٹوپولوجی، بھرپور جیومیٹرک تفصیلات، اور اعلیٰ وفاداری والے ٹیسچرز کے ساتھ براہ راست تیار کرتا ہے۔ ہم 2D تصویری مجموعوں سے ہمارے ماڈل کو تربیت دینے کے لیے ڈفرنشئل سطح ماڈلنگ، ڈفرنشئل رینڈرنگ، اور 2D جنریٹو ایڈورسرئیل نیٹ ورکس (GANs) میں حالیہ کامیابیوں کا فائدہ اٹھاتے ہیں۔ GET3D اعلیٰ معیار کے 3D ٹیسچرڈ میشز تیار کرنے کی صلاحیت رکھتا ہے، جو کاروں، کرسیوں، جانوروں، موٹرسائیکلوں اور انسانی کرداروں سے لے کر عمارتوں تک پھیلے ہوئے ہیں، اور پچھلے طریقوں کے مقابلے میں نمایاں بہتری حاصل کرتے ہیں۔ ہمارے پروجیکٹ کا صفحہ: G E T 3D https://nv-tlabs.github.io/GET3D 1 تعارف متنوع، اعلیٰ معیار کے 3D مواد بہت سی صنعتوں کے لیے، بشمول گیمنگ، روبوٹکس، فن تعمیر، اور سماجی پلیٹ فارمز کے لیے تیزی سے اہم ہوتے جا رہے ہیں۔ تاہم، 3D اثاثوں کی دستی تخلیق بہت وقت طلب ہے اور اس کے لیے مخصوص تکنیکی علم کے ساتھ ساتھ فنکارانہ ماڈلنگ کی مہارتوں کی ضرورت ہوتی ہے۔ اہم چیلنجوں میں سے ایک پیمانہ ہے – جبکہ 3D مارکیٹ پلیسز جیسے کہ Turbosquid [ ] یا Sketchfab [ ] پر 3D ماڈلز دستیاب ہو سکتے ہیں، بہت سے 3D ماڈلز بنانا، مثال کے طور پر، گیم یا فلم کو مختلف نظر آنے والے کرداروں کے ہجوم سے بھرنے کے لیے، اب بھی نمایاں فنکار کے وقت کی ضرورت ہے۔ 4 3 مواد تخلیق کے عمل کو آسان بنانے اور اسے مختلف (نئے) صارفین کے لیے قابل رسائی بنانے کے لیے، 3D جنریٹو نیٹ ورکس جو اعلیٰ معیار اور متنوع 3D اثاثے تیار کر سکتے ہیں، حال ہی میں تحقیق کا ایک فعال شعبہ بن چکے ہیں [ , , , , , , , , , , ]۔ تاہم، موجودہ حقیقی دنیا کی ایپلی کیشنز کے لیے عملی طور پر مفید ہونے کے لیے، 3D جنریٹو ماڈلز کو مثالی طور پر مندرجہ ذیل ضروریات کو پورا کرنا چاہیے: ان میں تفصیلی جیومیٹری اور من مانی ٹوپولوجی کے ساتھ شکلیں تیار کرنے کی صلاحیت ہونی چاہیے، آؤٹ پٹ ایک ٹیسچرڈ میش ہونا چاہیے، جو کہ معیاری گرافکس سافٹ ویئر پیکجز جیسے کہ Blender [ ] اور Maya [ ] کے ذریعے استعمال کی جانے والی بنیادی نمائندگی ہے، اور ہمیں نگرانی کے لیے 2D تصاویر کا فائدہ اٹھانے کے قابل ہونا چاہیے، کیونکہ وہ واضح 3D شکلوں سے زیادہ وسیع پیمانے پر دستیاب ہیں۔ 5 14 43 46 53 68 75 60 59 69 23 (a) (b) 15 1 (c) 3D جنریٹو ماڈلنگ پر پچھلے کاموں نے مندرجہ بالا ضروریات کے ذیلی سیٹوں پر توجہ مرکوز کی ہے، لیکن آج تک کوئی بھی طریقہ ان سب کو پورا نہیں کرتا (ٹیب۔ )۔ مثال کے طور پر، 3D پوائنٹ کلاؤڈز [ , 68, 75] تیار کرنے والے طریقے عام طور پر ٹیسچرز تیار نہیں کرتے اور پوسٹ پروسیسنگ میں میش میں تبدیل کرنے کی ضرورت ہوتی ہے۔ 1 5 ووکسیل تیار کرنے والے طریقے اکثر جیومیٹرک تفصیلات میں کمی رکھتے ہیں اور ٹیسچر تیار نہیں کرتے [ , , , ]۔ نیورل فیلڈز [ , ] پر مبنی جنریٹو ماڈلز جیومیٹری نکالنے پر توجہ مرکوز کرتے ہیں لیکن ٹیسچر کو نظر انداز کرتے ہیں۔ ان میں سے زیادہ تر کو واضح 3D نگرانی کی بھی ضرورت ہوتی ہے۔ آخر میں، وہ طریقے جو براہ راست ٹیسچرڈ 3D میشز [ , ] تیار کرتے ہیں، عام طور پر پہلے سے متعین شکل کے ٹیمپلیٹس کی ضرورت ہوتی ہے اور وہ پیچیدہ ٹوپولوجی یا متغیر جینس والی شکلیں تیار نہیں کر سکتے۔ 66 20 27 40 43 14 54 53 حال ہی میں، نیورل والیم رینڈرنگ [ ] اور 2D جنریٹو ایڈورسرئیل نیٹ ورکس (GANs) [ , , , , ] میں تیزی سے پیش رفت نے 3D-aware امیج سنتیسس [ , , , , , ] کے عروج کو جنم دیا ہے۔ تاہم، اس کام کا مقصد نیورل رینڈرنگ کو سنتیسس کے عمل میں استعمال کرتے ہوئے ملٹی ویو مستقل امیجز کی سنتیسس کرنا ہے اور یہ ضمانت نہیں دیتا کہ بامعنی 3D شکلیں تیار کی جا سکتی ہیں۔ اگرچہ مارچنگ کیوب الگورتھم [ ] کا استعمال کرتے ہوئے بنیادی نیورل فیلڈ نمائندگی سے ایک میش ممکنہ طور پر حاصل کیا جا سکتا ہے، لیکن متعلقہ ٹیسچر کو نکالنا غیر معمولی ہے۔ 45 34 35 33 29 52 7 57 8 49 51 25 39 اس کام میں، ہم ایک نیا طریقہ متعارف کراتے ہیں جس کا مقصد عملی طور پر مفید 3D جنریٹو ماڈل کی تمام ضروریات کو پورا کرنا ہے۔ خاص طور پر، ہم GET3D پیش کرتے ہیں، جو 3D شکلوں کے لیے ایک enerative ماڈل ہے جو براہ راست xplicit extured میشز کو اعلیٰ جیومیٹرک اور ٹیسچر تفصیلات اور من مانی میش ٹوپولوجی کے ساتھ آؤٹ پٹ کرتا ہے۔ ہمارے طریقہ کار کے دل میں ایک جنریٹو عمل ہے جو ایک ڈفرنشئل سطح نکالنے کے طریقہ کار [ ] اور ایک ڈفرنشئل رینڈرنگ تکنیک [ , ] کا استعمال کرتا ہے۔ سابقہ ہمیں من مانی ٹوپولوجی کے ساتھ ٹیسچرڈ 3D میشز کو براہ راست آپٹیمائز اور آؤٹ پٹ کرنے کی اجازت دیتا ہے، جبکہ مؤخر الذکر ہمیں 2D امیجز کے ساتھ اپنے ماڈل کو تربیت دینے کی اجازت دیتا ہے، اس طرح 2D امیج سنتیسس کے لیے تیار کردہ طاقتور اور پختہ ڈسکریمینیٹرز کا فائدہ اٹھاتا ہے۔ چونکہ ہمارا ماڈل براہ راست میشز تیار کرتا ہے اور ایک انتہائی موثر (ڈفرنشئل) گرافکس رینڈرر استعمال کرتا ہے، ہم آسانی سے اپنے ماڈل کو امیج ریزولوشن 1024 × 1024 تک تربیت کے لیے بڑھا سکتے ہیں، جس سے ہم اعلیٰ معیار کی جیومیٹرک اور ٹیسچر کی تفصیلات سیکھ سکتے ہیں۔ G E T 3D explicit 60 47 37 ہم ShapeNet [ ], Turbosquid [ ] اور Renderpeople [ ] سے کاروں، کرسیوں، جانوروں، انسانی کرداروں اور عمارتوں جیسی پیچیدہ جیومیٹری والی متعدد کیٹیگریز پر غیر مشروط 3D شکل کی نسل کے لیے جدید ترین کارکردگی کا مظاہرہ کرتے ہیں۔ میش کو آؤٹ پٹ نمائندگی کے طور پر واضح کرنے کے ساتھ، GET3D بھی بہت لچکدار ہے اور اسے آسانی سے دیگر کاموں کے لیے استعمال کیا جا سکتا ہے، بشمول: نگرانی کے بغیر، جدید ڈفرنشئل رینڈرنگ [ ] کا استعمال کرتے ہوئے مخصوص مواد اور ویو-ڈیپینڈنٹ لائٹنگ اثرات کو تیار کرنے کے لیے سیکھنا، CLIP [ ] ایمبیڈنگ کا استعمال کرتے ہوئے ٹیکسٹ-گائیڈڈ 3D شکل کی نسل۔ 9 4 2 (a) 12 (b) 56 2 متعلقہ کام ہم جیومیٹری اور ظاہری شکل کے لیے 3D جنریٹو ماڈلز میں حالیہ پیش رفت، نیز 3D-aware جنریٹو امیج سنتیسس کا جائزہ لیتے ہیں۔ حالیہ برسوں میں، 2D جنریٹو ماڈلز نے اعلیٰ ریزولوشن امیج سنتیسس [ , , , , , , ] میں فوٹورئیلسٹک معیار حاصل کیا ہے۔ اس پیش رفت نے 3D مواد کی نسل میں تحقیق کو بھی متاثر کیا ہے۔ ابتدائی طریقوں کا مقصد 2D CNN جنریٹرز کو 3D ووکسیل گرڈز [ , , , , ] تک براہ راست بڑھانا تھا، لیکن 3D کنولوشنز کے اعلیٰ میموری فٹ پرنٹ اور کمپیوٹیشنل پیچیدگی اعلیٰ ریزولوشن پر نسل کے عمل میں رکاوٹ ڈالتی ہیں۔ متبادل کے طور پر، دیگر کاموں نے پوائنٹ کلاؤڈ [ , , , ], امپلیسٹ [ , ], یا اوکٹری [ ] نمائندگیوں کی چھان بین کی ہے۔ تاہم، یہ کام بنیادی طور پر جیومیٹری تیار کرنے پر توجہ مرکوز کرتے ہیں اور ظاہری شکل کو نظر انداز کرتے ہیں۔ ان کی آؤٹ پٹ نمائندگیوں کو بھی معیاری گرافکس انجنوں کے ساتھ ہم آہنگ بنانے کے لیے پوسٹ پروسیس کرنے کی ضرورت ہے۔ 3D جنریٹو ماڈلز 34 35 33 52 29 19 16 66 20 27 40 62 5 68 75 46 43 14 30 ہمارے کام سے زیادہ مماثلت رکھتے ہوئے، Textured3DGAN [ , ] اور DIBR [ ] ٹیسچرڈ 3D میشز تیار کرتے ہیں، لیکن وہ نسل کو ایک ٹیمپلیٹ میش کی خرابی کے طور پر تیار کرتے ہیں، جو انہیں پیچیدہ ٹوپولوجی یا مختلف جینس والی شکلیں تیار کرنے سے روکتا ہے، جو ہمارا طریقہ کار کر سکتا ہے۔ PolyGen [ ] اور SurfGen [ ] من مانی ٹوپولوجی والے میشز تیار کر سکتے ہیں، لیکن وہ ٹیسچرز تیار نہیں کرتے۔ 54 53 11 48 41 نیورل والیم رینڈرنگ [ ] اور امپلیسٹ نمائندگیوں [ , ] میں کامیابی سے متاثر ہو کر، حالیہ کاموں نے 3D-aware امیج سنتیسس [ , , , , , , , , , ] کے مسئلے کو حل کرنا شروع کر دیا ہے۔ تاہم، نیورل والیم رینڈرنگ نیٹ ورکس عام طور پر سوال کرنے میں سست ہوتے ہیں، جس سے طویل تربیتی اوقات [ , ] ہوتے ہیں، اور محدود ریزولوشن کی تصاویر تیار کرتے ہیں۔ GIRAFFE [ ] اور StyleNerf [ ] کم ریزولوشن پر نیورل رینڈرنگ کرکے تربیتی اور رینڈرنگ کی کارکردگی کو بہتر بناتے ہیں اور پھر نتائج کو 2D CNN کے ساتھ اپ سکیل کرتے ہیں۔ تاہم، کارکردگی کا فائدہ کم ملٹی ویو مستقل کے خرچ پر آتا ہے۔ دو ڈسکریمینیٹر کا استعمال کرتے ہوئے، EG3D [ ] اس مسئلے کو جزوی طور پر کم کر سکتا ہے۔ بہر حال، نیورل رینڈرنگ پر مبنی طریقوں سے ایک ٹیسچرڈ سطح نکالنا ایک غیر معمولی کوشش ہے۔ اس کے برعکس، GET3D براہ راست ٹیسچرڈ 3D میشز تیار کرتا ہے جو معیاری گرافکس انجنوں میں آسانی سے استعمال کیے جا سکتے ہیں۔ 3D-Aware جنریٹو امیج سنتیسس 45 43 14 7 57 49 26 25 76 8 51 58 67 7 57 49 25 8 3 طریقہ ہم اب ٹیسچرڈ 3D شکلوں کی سنتیسس کے لیے اپنے GET3D فریم ورک کو پیش کرتے ہیں۔ ہمارا جنریشن عمل دو حصوں میں تقسیم ہے: ایک جیومیٹری برانچ، جو من مانی ٹوپولوجی کی ایک سطح میش کو ڈفرنشئلی آؤٹ پٹ کرتی ہے، اور ایک ٹیسچر برانچ جو ایک ٹیسچر فیلڈ تیار کرتی ہے جسے رنگ پیدا کرنے کے لیے سطحی نکات پر سوال کیا جا سکتا ہے۔ مؤخر الذکر کو دیگر سطحی خصوصیات جیسے کہ مثال کے طور پر مواد (سیکشن ) کے لیے بڑھایا جا سکتا ہے۔ تربیت کے دوران، 2D اعلیٰ ریزولوشن والی تصاویر میں نکالی گئی ٹیسچرڈ میش کو رینڈر کرنے کے لیے ایک موثر ڈفرنشئل راؤنڈر کا استعمال کیا جاتا ہے۔ پورا عمل ڈفرنشئل ہے، جو 2D ڈسکریمینیٹر سے جنریٹر کی دونوں برانچوں تک گریڈیئنٹس کو پھیلا کر 2D امیجز (ماسکس جو دلچسپی کی شے کی نشاندہی کرتے ہیں) سے ایڈورسرئیل ٹریننگ کی اجازت دیتا ہے۔ ہمارا ماڈل فِگ میں دکھایا گیا ہے۔ ۔ مندرجہ ذیل میں، ہم پہلے سیکشن میں اپنا 3D جنریٹر متعارف کراتے ہیں ، اس سے پہلے کہ ہم سیکشن میں ڈفرنشئل رینڈرنگ اور لاس فنکشنز پر آگے بڑھیں۔ 4.3.1 2 3.1 3.2 3.1 3D ٹیسچرڈ میشز کا جنریٹو ماڈل ہم ایک 3D جنریٹر = ( ) سیکھنے کا ارادہ رکھتے ہیں تاکہ گوسیئن ڈسٹری بیوشن سے ایک نمونہ میپ کیا جا سکے۔ M, E G z ∈ N (0*,* ) میش تک ٹیسچر کے ساتھ۔ z I M E چونکہ ایک ہی جیومیٹری میں مختلف ٹیسچرز ہو سکتے ہیں، اور ایک ہی ٹیسچر کو مختلف جیومیٹری پر لاگو کیا جا سکتا ہے، ہم دو بے ترتیب ان پٹ ویکٹر 1 ∈ R512 اور 2 ∈ R512 نمونہ بناتے ہیں۔ StyleGAN [ , , ] کے بعد، ہم غیر لکیری میپنگ نیٹ ورکس geo اور tex کا استعمال کرتے ہوئے 1 اور 2 کو درمیانی لیٹنٹ ویکٹرز 1 = geo( 1) اور 2 = tex( 2) میں میپ کرتے ہیں جو کہ 3D شکلوں اور ٹیسچر کی نسل کو کنٹرول کرنے والے پیدا کرنے کے لیے مزید استعمال ہوتے ہیں۔ ہم سیکشن میں جیومیٹری کے لیے جنریٹر، اور سیکشن میں ٹیسچر جنریٹر کو باضابطہ طور پر متعارف کراتے ہیں۔ z z 34 35 33 f f z z w f z w f z اسٹائلز 3.1.1 3.1.2 3.1.1 جیومیٹری جنریٹر ہم اپنے جیومیٹری جنریٹر کو DMTet [ ] کو شامل کرنے کے لیے ڈیزائن کرتے ہیں، جو کہ حال ہی میں تجویز کردہ ڈفرنشئل سطح کی نمائندگی ہے۔ DMTet جیومیٹری کو ڈیفارمیبل ٹیٹراہیڈرل گرڈ [ , ] پر ڈیفائن کیے گئے سائنڈ ڈسٹنس فیلڈ (SDF) کے طور پر نمائندگی کرتا ہے، جس سے مارچنگ ٹیٹرا ہیڈرا [ ] کے ذریعے سطح کو ڈفرنشئلی حاصل کیا جا سکتا ہے۔ گرڈ کو اس کے ورٹیسس کو منتقل کرکے ڈیفارم کرنے سے اس کی ریزولوشن کا بہتر استعمال ہوتا ہے۔ سطح نکالنے کے لیے DMTet کو اپنانے سے، ہم من مانی ٹوپولوجی اور جینس کے ساتھ واضح میش تیار کر سکتے ہیں۔ ہم آگے DMTet کا مختصر خلاصہ فراہم کرتے ہیں اور مزید تفصیلات کے لیے قارئین کو اصل مقالے کی طرف اشارہ کرتے ہیں۔ 60 22 24 17 مان لیں کہ ( ) مکمل 3D جگہ کو ظاہر کرتا ہے جس میں آبجیکٹ موجود ہے، جہاں ٹیٹرا ہیڈرل گرڈ میں ورٹیسس ہیں. ہر ٹیٹرا ہیڈران ∈ چار ورٹیسس { } کا استعمال کرتے ہوئے ڈیفائن کیا گیا ہے, ∈ {1*, . . . , K*} کے ساتھ، جہاں کل ٹیٹرا ہیڈرا کی تعداد ہے، اور ∈ ∈ R3. اس کی 3D کوآرڈینیٹس کے علاوہ، ہر ورٹیکس میں SDF قدر ∈ R اور ورٹیکس کا ورچوئل کوآرڈینیٹ ∆ ∈ R3 شامل ہے. یہ نمائندگی ڈیفارمیبل مارچنگ ٹیٹرا ہیڈرا [ ] کے ذریعے واضح میش حاصل کرنے کی اجازت دیتی ہے، جہاں مسلسل جگہ میں SDF قدریں ڈیفارمڈ ورٹیسس ′ = + ∆ پر ان کی قدر کی بیریسنٹرک انٹرپولیشن سے حاصل کی جاتی ہیں۔ VT , T VT T Tk T v ak , v bk , v ck , v dk k K v ik VT , v ik i v i si v i 60 v v i v i si ہم 1 ∈ R512 کو ہر ورٹیکس پر SDF قدروں اور ڈیفارمیشن میں کنڈیشنل 3D کنولوشنل اور مکمل طور پر کنیکٹڈ لیئرز کے ذریعے میپ کرتے ہیں۔ خاص طور پر، ہم پہلے 1 کے لحاظ سے کنڈیشن کی گئی فیچر والیوم تیار کرنے کے لیے 3D کنولوشنل لیئرز استعمال کرتے ہیں۔ پھر ہم بیلی نیئر انٹرپولیشن کا استعمال کرتے ہوئے ہر ورٹیکس ∈ پر فیچر کو کوئری کرتے ہیں اور اسے ایم ایل پیز میں فیڈ کرتے ہیں جو SDF قدر اور ڈیفارمیشن ∆ آؤٹ پٹ کرتے ہیں۔ ان صورتوں میں جہاں اعلیٰ ریزولوشن پر ماڈلنگ کی ضرورت ہوتی ہے (مثال کے طور پر، پہیوں میں پتلی ڈھانچے والی موٹر سائیکل)، ہم [ ] کے بعد والیوم سب ڈویژن کا بھی استعمال کرتے ہیں۔ نیٹ ورک آرکیٹیکچر w v i w v i VT si v i 60 تمام ورٹیسس کے لیے اور ∆ حاصل کرنے کے بعد، ہم واضح میش کو نکالنے کے لیے ڈفرنشئل مارچنگ ٹیٹرا ہیڈرا الگورتھم استعمال کرتے ہیں۔ مارچنگ ٹیٹرا ہیڈرا ہر ٹیٹرا ہیڈران میں سطح کی ٹوپولوجی کو کے نشانات کی بنیاد پر متعین کرتا ہے۔ خاص طور پر، جب sign( ) /= sign( ) ہوتا ہے، تو ایک میش چہرہ نکالا جاتا ہے، جہاں ٹیٹرا ہیڈران کے کنارے میں ورٹیسس کی انڈیکس کی نشاندہی کرتے ہیں، اور اس چہرے کے ورٹیسس کو لکیری انٹرپولیشن کے طور پر mi,j = v 0 i sj−v 0 j si sj−si سے متعین کیا جاتا ہے۔ نوٹ کریں کہ مذکورہ بالا مساوات صرف اس وقت حل کی جاتی ہے جب si 6= sj ، اس لیے یہ ڈفرنشئل ہے، اور mi,j کا گریڈیئنٹ SDF قدروں si اور ڈیفارمیشن ∆vi میں بیک پروپیگیٹ کیا جا سکتا ہے۔ اس نمائندگی کے ساتھ، si کے مختلف نشانات کی پیش گوئی کر کے من مانی ٹوپولوجی والی شکلیں آسانی سے تیار کی جا سکتی ہیں۔ ڈفرنشئل میش ایکسٹریشن si v i si si sj i, j m i,j 3.1.2 ٹیسچر جنریٹر نکالی گئی میش کے مطابق ایک ٹیسچر میپ کو براہ راست تیار کرنا غیر معمولی ہے، کیونکہ تیار شدہ شکل میں من مانی جینس اور ٹوپولوجی ہو سکتی ہے۔ ہم اس طرح ٹیسچر کو ایک ٹیسچر فیلڈ [ ] کے طور پر پیرامیٹرائز کرتے ہیں۔ 50 خاص طور پر، ہم ٹیسچر فیلڈ کو ایک فنکشن کے ساتھ ماڈل کرتے ہیں جو ایک سطحی نقطہ ∈ R3 کی 3D لوکیشن، 2 کے لحاظ سے کنڈیشن کی گئی، اس لوکیشن پر RGB کلر ∈ R3 میں میپ کرتی ہے۔ چونکہ ٹیسچر فیلڈ جیومیٹری پر منحصر ہے، ہم اس میپنگ کو جیومیٹری لیٹنٹ کوڈ 1 پر بھی کنڈیشن کرتے ہیں، تاکہ = ( *,* 1 ⊕ 2) ہو، جہاں ⊕ کنکیٹ نیشن کو ظاہر کرتا ہے۔ ft p w c w c ft p w w ہم اپنے ٹیسچر فیلڈ کو ٹرائی-پلین نمائندگی کا استعمال کرتے ہوئے ماڈل کرتے ہیں، جو 3D آبجیکٹس [ ] کو دوبارہ بنانے اور 3D-aware امیجز [ ] تیار کرنے کے لیے موثر اور اظہار کن ہے۔ خاص طور پر، ہم [ , ] کی پیروی کرتے ہیں اور 1 ⊕ 2 کو × × ( × 3) کے سائز کے تین ایکسس-الائنڈ اورتھوگونل فیچر پلینز میں میپ کرنے کے لیے کنڈیشنل 2D کنولوشنل نیورل نیٹ ورک استعمال کرتے ہیں، جہاں = 256 اسپیشل ریزولوشن کو ظاہر کرتا ہے اور = 32 چینلز کی تعداد ہے۔ نیٹ ورک آرکیٹیکچر 55 8 8 35 w w N N C N C فیچر پلینز کو دیکھتے ہوئے، ایک سطحی نقطہ p کی فیچر ویکٹر f t ∈ R 32 کو f t = P e ρ(πe(p)) کے طور پر حاصل کیا جا سکتا ہے، جہاں πe(p) نقطہ p کا فیچر پلین e پر پروجیکشن ہے اور ρ(·) فیچرز کی بیلی نیئر انٹرپولیشن کو ظاہر کرتا ہے۔ اس کے بعد ایک اضافی مکمل طور پر کنیکٹڈ لیئر کو ایگریگیٹڈ فیچر ویکٹر f t کو RGB کلر c میں میپ کرنے کے لیے استعمال کیا جاتا ہے۔ نوٹ کریں کہ، 3D-aware امیج سنتیسس [8, 25, 7, 57] پر دیگر کاموں کے برعکس جو نیورل فیلڈ نمائندگی کا بھی استعمال کرتے ہیں، ہمیں صرف سطح کے نکات کی لوکیشنز پر ٹیسچر فیلڈ سے نمونے لینے کی ضرورت ہے (شعاع کے ساتھ گہرے نمونوں کے برخلاف)۔ یہ اعلیٰ ریزولوشن امیجز کو رینڈر کرنے کے لیے کمپیوٹیشنل پیچیدگی کو بہت کم کرتا ہے اور تعمیر کے لحاظ سے ملٹی ویو مستقل امیجز تیار کرنے کی ضمانت دیتا ہے۔ 3.2 ڈفرنشئل رینڈرنگ اور تربیت اپنے ماڈل کو تربیت کے دوران سپروائز کرنے کے لیے، ہم Nvdiffrec [ ] سے متاثر ہوتے ہیں جو ڈفرنشئل رینڈرر کا استعمال کرتے ہوئے ملٹی ویو 3D آبجیکٹ کی بحالی کا مظاہرہ کرتا ہے۔ خاص طور پر، ہم نکالی گئی 3D میش اور ٹیسچر فیلڈ کو ایک ڈفرنشئل رینڈرر [ ] کا استعمال کرتے ہوئے 2D امیجز میں رینڈر کرتے ہیں، اور اپنے نیٹ ورک کو 2D ڈسکریمینیٹر کے ساتھ سپروائز کرتے ہیں، جو تصویر کو حقیقی آبجیکٹ یا تیار شدہ آبجیکٹ سے رینڈر کردہ امیج سے ممتاز کرنے کی کوشش کرتا ہے۔ 47 37 ہم فرض کرتے ہیں کہ کیمرہ ڈسٹری بیوشن C جو ڈیٹا سیٹ میں امیجز حاصل کرنے کے لیے استعمال کیا گیا تھا، معلوم ہے۔ تیار شدہ شکلوں کو رینڈر کرنے کے لیے، ہم C سے بے ترتیب طور پر ایک کیمرہ کا نمونہ لیتے ہیں، اور 3D میش کو 2D سلہو aesthetic اور ایک ایسی امیج میں رینڈر کرنے کے لیے ایک انتہائی بہتر ڈفرنشئل راؤنڈر Nvdiffrast [ ] کا استعمال کرتے ہیں جہاں ہر پکسل میش سطح پر متعلقہ 3D پوائنٹ کے کوآرڈینیٹس پر مشتمل ہوتا ہے۔ ان کوآرڈینیٹس کا استعمال مزید ٹیسچر فیلڈ کو کوئری کرنے کے لیے RGB ویلیوز حاصل کرنے کے لیے کیا جاتا ہے۔ چونکہ ہم نکالی گئی میش پر براہ راست کام کرتے ہیں، ہم اعلیٰ کارکردگی کے ساتھ اعلیٰ ریزولوشن امیجز رینڈر کر سکتے ہیں، جس سے ہمارے ماڈل کو 1024×1024 تک اعلیٰ امیج ریزولوشن کے ساتھ تربیت کی اجازت ملتی ہے۔ ڈفرنشئل رینڈرنگ c 37 ہم اپنے ماڈل کو ایک ایڈورسرئیل آبجیکٹو کے ساتھ تربیت دیتے ہیں۔ ہم StyleGAN [ ] سے ڈسکریمینیٹر آرکیٹیکچر کو اپناتے ہیں، اور R1 ریگولرائزیشن [ ] کے ساتھ وہی نان-سیچوریٹنگ GAN آبجیکٹو استعمال کرتے ہیں۔ ہم تجرباتی طور پر پاتے ہیں کہ دو الگ ڈسکریمینیٹرز کا استعمال، ایک RGB امیجز کے لیے اور دوسرا سلہو aesthetic کے لیے، دونوں پر کام کرنے والے ایک ہی ڈسکریمینیٹر سے بہتر نتائج دیتا ہے۔ فرض کریں ڈسکریمینیٹر کو ظاہر کرتا ہے، جہاں یا تو RGB امیج یا سلہو aesthetic ہو سکتا ہے۔ اس کے بعد ایڈورسرئیل آبجیکٹو کو اس طرح ڈیفائن کیا جاتا ہے: ڈسکریمینیٹر & آبجیکٹو 34 42 Dx x
