```html مصنفین: جون گاو، NVIDIA، یونیورسٹی آف ٹورنٹو، ویکٹر انسٹی ٹیوٹ (jung@nvidia.com) تیانچانگ شین، NVIDIA، یونیورسٹی آف ٹورنٹو، ویکٹر انسٹی ٹیوٹ (frshen@nvidia.com) زیان وانگ، NVIDIA، یونیورسٹی آف ٹورنٹو، ویکٹر انسٹی ٹیوٹ (zianw@nvidia.com) وینزینگ چن، NVIDIA، یونیورسٹی آف ٹورنٹو، ویکٹر انسٹی ٹیوٹ (wenzchen@nvidia.com) کانگ شیو ین، NVIDIA (kangxuey@nvidia.com) دائیقنگ لی، NVIDIA (daiqingl@nvidia.com) اور لیتنی، NVIDIA (olitany@nvidia.com) زان گوجسک، NVIDIA (zgojcic@nvidia.com) سانجا فیڈلر، NVIDIA، یونیورسٹی آف ٹورنٹو، ویکٹر انسٹی ٹیوٹ (sfidler@nvidia.com) خلاصہ چونکہ کئی صنعتیں بڑے پیمانے پر 3D ورچوئل دنیا کی ماڈلنگ کی طرف بڑھ رہی ہیں، اس لیے 3D مواد کی تخلیق کے ایسے اوزاروں کی ضرورت جو 3D مواد کی مقدار، معیار اور تنوع کے لحاظ سے پیمانے پر ہوں، واضح ہو رہی ہے۔ اپنے کام میں، ہم کارکرد 3D جنریٹو ماڈلز کو تربیت دینے کا ارادہ رکھتے ہیں جو بناوٹ والے میشز کو سنتیسائز کرتے ہیں جنہیں براہ راست 3D رینڈرنگ انجن استعمال کر سکتے ہیں، اس طرح وہ فوری طور پر ڈاؤن اسٹریم ایپلی کیشنز میں استعمال کے قابل ہو سکتے ہیں۔ 3D جنریٹو ماڈلنگ پر پچھلے کاموں میں یا تو جیومیٹرک تفصیلات کی کمی ہے، میش ٹوپولوجی جس کی وہ پیداوار کر سکتے ہیں اس میں محدود ہیں، عام طور پر وہ بناوٹ کو سپورٹ نہیں کرتے ہیں، یا وہ ترکیب کے عمل میں نیورل رینڈرر استعمال کرتے ہیں، جو عام 3D سافٹ ویئر میں ان کے استعمال کو غیر معمولی بناتا ہے۔ اس کام میں، ہم GET3D متعارف کراتے ہیں، ایک enerative ماڈل جو براہ راست xplicit extured میشز کو پیچیدہ ٹوپولوجی، بھرپور جیومیٹرک تفصیلات، اور اعلیٰ وفاداری کے بناوٹ کے ساتھ پیدا کرتا ہے۔ ہم 2D امیج کلیکشنز سے اپنے ماڈل کو تربیت دینے کے لیے تفریق سطح ماڈلنگ، تفریق رینڈرنگ، اور 2D جنریٹو ایڈورسرئیل نیٹ ورکس میں حالیہ کامیابیوں کو مربوط کرتے ہیں۔ GET3D اعلیٰ معیار کے 3D بناوٹ والے میشز تیار کرنے کے قابل ہے، جو کاروں، کرسیوں، جانوروں، موٹر سائیکلوں اور انسانی کرداروں سے لے کر عمارتوں تک ہیں، جو پچھلے طریقوں پر نمایاں بہتری حاصل کرتا ہے۔ ہمارے پروجیکٹ کا صفحہ: G E T 3D https://nv-tlabs.github.io/GET3D 1 تعارف متنوع، اعلیٰ معیار کا 3D مواد گیمنگ، روبوٹکس، فن تعمیر، اور سماجی پلیٹ فارمز سمیت کئی صنعتوں کے لیے تیزی سے اہم ہوتا جا رہا ہے۔ تاہم، 3D اثاثوں کی دستی تخلیق بہت زیادہ وقت طلب ہے اور اس کے لیے مخصوص تکنیکی علم کے ساتھ ساتھ فنکارانہ ماڈلنگ کی مہارت کی ضرورت ہوتی ہے۔ اہم چیلنجوں میں سے ایک پیمانہ ہے – اگرچہ 3D مارکیٹ پلیسز جیسے Turbosquid [ ] یا Sketchfab [ ] پر 3D ماڈلز مل سکتے ہیں، لیکن بہت سے 3D ماڈلز بنانا، مثال کے طور پر، کسی گیم یا فلم کو ایسے کرداروں کے ہجوم سے پُر کرنے کے لیے جو سب مختلف نظر آتے ہیں، اب بھی فنکار کے وقت کا کافی حصہ لگتا ہے۔ 4 3 مواد کی تخلیق کے عمل کو آسان بنانے اور اسے مختلف (نئے) صارفین کے لیے قابل رسائی بنانے کے لیے، 3D جنریٹو نیٹ ورکس جو اعلیٰ معیار اور متنوع 3D اثاثے تیار کر سکتے ہیں، حال ہی میں تحقیق کا ایک فعال علاقہ بن چکے ہیں [ , , , , , , , , , , ]۔ تاہم، موجودہ حقیقی دنیا کی ایپلی کیشنز کے لیے عملی طور پر مفید ہونے کے لیے، 3D جنریٹو ماڈلز کو مثالی طور پر مندرجہ ذیل ضروریات کو پورا کرنا چاہیے: ان میں تفصیلی جیومیٹری اور کسی بھی ٹوپولوجی کے ساتھ شکلیں تیار کرنے کی صلاحیت ہونی چاہیے، آؤٹ پٹ ایک بناوٹ والا میش ہونا چاہیے، جو کہ معیاری گرافکس سافٹ ویئر پیکجز جیسے Blender [ ] اور Maya [ ] کے ذریعہ استعمال کی جانے والی بنیادی نمائندگی ہے، اور ہمیں نگرانی کے لیے 2D امیجز کا فائدہ اٹھانے کے قابل ہونا چاہیے، کیونکہ وہ واضح 3D شکلوں سے زیادہ وسیع پیمانے پر دستیاب ہیں۔ 5 14 43 46 53 68 75 60 59 69 23 (a) (b) 15 1 (c) 3D جنریٹو ماڈلنگ پر پچھلے کاموں نے مندرجہ بالا ضروریات کے ذیلی سیٹوں پر توجہ مرکوز کی ہے، لیکن آج تک کوئی بھی طریقہ ان سب کو پورا نہیں کرتا (ٹیبل۔ )۔ مثال کے طور پر، جو طریقے 3D پوائنٹ کلاؤڈز [ , 68, 75] تیار کرتے ہیں وہ عام طور پر بناوٹ پیدا نہیں کرتے اور انہیں پوسٹ پروسیسنگ میں میش میں تبدیل کرنے کی ضرورت ہوتی ہے۔ 1 5 جو طریقے ووکسل تیار کرتے ہیں ان میں اکثر جیومیٹرک تفصیلات کی کمی ہوتی ہے اور وہ بناوٹ پیدا نہیں کرتے [ , , , ]۔ نیورل فیلڈز [ , ] پر مبنی جنریٹو ماڈلز جیومیٹری نکالنے پر توجہ مرکوز کرتے ہیں لیکن بناوٹ کو نظر انداز کرتے ہیں۔ ان میں سے اکثر کو واضح 3D نگرانی کی بھی ضرورت ہوتی ہے۔ آخر کار، جو طریقے براہ راست بناوٹ والے 3D میشز [ , ] تیار کرتے ہیں وہ عام طور پر پہلے سے طے شدہ شکل کے ٹیمپلیٹس کی ضرورت ہوتی ہے اور وہ پیچیدہ ٹوپولوجی یا مختلف جینس کے ساتھ شکلیں تیار نہیں کر سکتے۔ 66 20 27 40 43 14 54 53 حال ہی میں، نیورل والیم رینڈرنگ [ ] اور 2D جنریٹو ایڈورسرئیل نیٹ ورکس (GANs) [ , , , , ] میں تیزی سے پیش رفت نے 3D-aware امیج سنتھیسس [ , , , , , ] کے عروج کو جنم دیا ہے۔ تاہم، اس کام کا مقصد نیورل رینڈرنگ کو ترکیب کے عمل میں استعمال کرتے ہوئے ملٹی ویو کنسسٹنٹ امیجز کو سنتیسائز کرنا ہے اور یہ ضمانت نہیں دیتا کہ بامعنی 3D شکلیں تیار کی جا سکتی ہیں۔ اگرچہ مارچنگ کیوب الگورتھم [ ] کا استعمال کرتے ہوئے زیریں نیورل فیلڈ نمائندگی سے ممکنہ طور پر ایک میش حاصل کیا جا سکتا ہے، لیکن متعلقہ بناوٹ کو نکالنا غیر معمولی ہے۔ 45 34 35 33 29 52 7 57 8 49 51 25 39 اس کام میں، ہم ایک نیا طریقہ متعارف کراتے ہیں جو ایک عملی طور پر مفید 3D جنریٹو ماڈل کی تمام ضروریات کو پورا کرنے کا ارادہ رکھتا ہے۔ خاص طور پر، ہم GET3D تجویز کرتے ہیں، enerative ماڈل برائے 3D شکلیں جو براہ راست xplicit extured میشز کو اعلیٰ جیومیٹرک اور بناوٹ کی تفصیل اور کسی بھی میش ٹوپولوجی کے ساتھ پیدا کرتا ہے۔ ہمارے طریقے کے دل میں ایک جنریٹو عمل ہے جو تفریقی سطح نکالنے کے طریقے [ ] اور تفریق رینڈرنگ تکنیک [ , ] کا استعمال کرتا ہے۔ سابقہ ہمیں براہ راست بناوٹ والے 3D میشز کو کسی بھی ٹوپولوجی کے ساتھ آپٹیمائز اور پیدا کرنے کے قابل بناتا ہے، جبکہ مؤخر الذکر ہمیں 2D امیجز کے ساتھ اپنے ماڈل کو تربیت دینے کی اجازت دیتا ہے، اس طرح 2D امیج سنتھیسس کے لیے تیار کیے گئے طاقتور اور بالغ امتیاز کنندگان کا فائدہ اٹھاتا ہے۔ چونکہ ہمارا ماڈل براہ راست میشز پیدا کرتا ہے اور ایک انتہائی موثر (تفریقی) گرافکس رینڈرر استعمال کرتا ہے، ہم آسانی سے اپنے ماڈل کو امیج کے ساتھ تربیت دینے کے لیے بڑھا سکتے ہیں۔ G E T 3D واضح 60 47 37 ریزولوشن 1024 × 1024 تک، جس سے ہمیں اعلیٰ معیار کی جیومیٹرک اور بناوٹ کی تفصیلات سیکھنے کی اجازت ملتی ہے۔ ہم ShapeNet [ ]، Turbosquid [ ] اور Renderpeople [ ] سے کاروں، کرسیوں، جانوروں، موٹر سائیکلوں اور انسانی کرداروں سے لے کر پیچیدہ جیومیٹری کے ساتھ متعدد زمروں پر غیر مشروط 3D شکل کی تخلیق کے لیے جدید ترین کارکردگی کا مظاہرہ کرتے ہیں۔ واضح میش کے ساتھ آؤٹ پٹ نمائندگی کے طور پر، GET3D بھی بہت لچکدار ہے اور اسے دیگر کاموں کے مطابق آسانی سے ڈھالا جا سکتا ہے، بشمول: جدید تفریق رینڈرنگ [ ] کا استعمال کرتے ہوئے وضاحتی مواد اور منظر پر منحصر روشنی کے اثرات پیدا کرنے کے لیے سیکھنا، بغیر نگرانی کے، CLIP [ ] ایمبیڈنگ کا استعمال کرتے ہوئے ٹیکسٹ کی رہنمائی میں 3D شکل کی تخلیق۔ 9 4 2 (a) 12 (b) 56 2 متعلقہ کام ہم جیومیٹری اور ظاہری شکل کے لیے 3D جنریٹو ماڈلز، نیز 3D-aware جنریٹو امیج سنتھیسس میں حالیہ پیش رفت کا جائزہ لیتے ہیں۔ حالیہ برسوں میں، 2D جنریٹو ماڈلز نے اعلیٰ ریزولوشن امیج سنتھیسس [ , , , , , , ] میں فوٹو ریلسٹک کوالٹی حاصل کی ہے۔ اس پیش رفت نے 3D مواد کی تخلیق میں بھی تحقیق کو متاثر کیا ہے۔ ابتدائی طریقوں کا مقصد 2D CNN جنریٹرز کو 3D ووکسل گرڈز [ , , , , ] تک براہ راست بڑھانا تھا، لیکن 3D کنولوشنز کے اعلیٰ میموری فٹ پرنٹ اور کمپیوٹیشنل پیچیدگی اعلیٰ ریزولوشن پر جنریشن کے عمل میں رکاوٹ ڈالتی ہیں۔ متبادل کے طور پر، دیگر کاموں نے پوائنٹ کلاؤڈ [ , , , ]، مضمر [ , ]، یا اوکٹری [ ] نمائندگیوں کی چھان بین کی ہے۔ تاہم، یہ کام زیادہ تر جیومیٹری تیار کرنے پر مرکوز ہیں اور ظاہری شکل کو نظر انداز کرتے ہیں۔ ان کے آؤٹ پٹ نمائندگیوں کو معیاری گرافکس انجنوں کے ساتھ مطابقت پذیر بنانے کے لیے پوسٹ پروسیسنگ کی بھی ضرورت ہے۔ 3D جنریٹو ماڈلز 34 35 33 52 29 19 16 66 20 27 40 62 5 68 75 46 43 14 30 ہمارے کام کے زیادہ مماثل، Textured3DGAN [ , ] اور DIBR [ ] بناوٹ والے 3D میشز تیار کرتے ہیں، لیکن وہ جنریشن کو ایک ٹیمپلیٹ میش کی خرابی کے طور پر تیار کرتے ہیں، جو انہیں پیچیدہ ٹوپولوجی یا مختلف جینس کے ساتھ شکلیں تیار کرنے سے روکتا ہے، جو ہمارا طریقہ کر سکتا ہے۔ PolyGen [ ] اور SurfGen [ ] کسی بھی ٹوپولوجی کے ساتھ میشز تیار کر سکتے ہیں، لیکن وہ بناوٹ تیار نہیں کرتے ہیں۔ 54 53 11 48 41 نیورل والیم رینڈرنگ [ ] اور مضمر نمائندگی [ , ] کی کامیابی سے متاثر ہو کر، حالیہ کام نے 3D-aware امیج سنتھیسس [ , , , , , , , , , ] کے مسئلے سے نمٹنا شروع کر دیا ہے۔ تاہم، نیورل والیم رینڈرنگ نیٹ ورکس عام طور پر پوچھ گچھ کے لیے سست ہوتے ہیں، جس سے طویل تربیتی اوقات [ , ] ہوتے ہیں، اور محدود ریزولوشن کی تصاویر تیار کرتے ہیں۔ GIRAFFE [ ] اور StyleNerf [ ] نیورل رینڈرنگ کو کم ریزولوشن پر انجام دے کر اور پھر نتائج کو 2D CNN کے ساتھ اپسکیلنگ کرکے تربیتی اور رینڈرنگ کی کارکردگی کو بہتر بناتے ہیں۔ تاہم، کارکردگی میں اضافہ کم ملٹی ویو کنسسٹینسی کی قیمت پر آتا ہے۔ ایک دوہرے امتیاز کنندہ کا استعمال کرتے ہوئے، EG3D [ ] اس مسئلے کو جزوی طور پر کم کر سکتا ہے۔ پھر بھی، نیورل رینڈرنگ پر مبنی طریقوں سے بناوٹ والی سطح کو نکالنا ایک غیر معمولی کوشش ہے۔ اس کے برعکس، GET3D براہ راست بناوٹ والے 3D میشز تیار کرتا ہے جنہیں معیاری گرافکس انجنوں میں آسانی سے استعمال کیا جا سکتا ہے۔ 3D-Aware جنریٹو امیج سنتھیسس 45 43 14 7 57 49 26 25 76 8 51 58 67 7 57 49 25 8 3 طریقہ اب ہم بناوٹ والے 3D شکلوں کی ترکیب کے لیے اپنا GET3D فریم ورک پیش کرتے ہیں۔ ہمارا جنریشن کا عمل دو حصوں میں تقسیم ہے: ایک جیومیٹری برانچ، جو کسی بھی ٹوپولوجی کے میش کو تفریقی طور پر پیدا کرتا ہے، اور ایک بناوٹ کی برانچ جو ایک بناوٹ فیلڈ تیار کرتی ہے جسے رنگین بنانے کے لیے سطح کے پوائنٹس پر استفسار کیا جا سکتا ہے۔ مؤخر الذکر کو دیگر سطح کی خصوصیات کے لیے بڑھایا جا سکتا ہے، مثال کے طور پر مواد (سیکشن )۔ تربیت کے دوران، 2D اعلیٰ ریزولوشن کی تصاویر میں نتیجے میں آنے والے بناوٹ والے میش کو رینڈر کرنے کے لیے ایک موثر تفریقی راسٹرائزر کا استعمال کیا جاتا ہے۔ پورا عمل تفریقی ہے، جو 2D امتیاز کنندہ سے دونوں جنریٹر برانچوں تک تدریجیات کو پھیلانے سے 2D امیجز (ماسک جس میں دلچسپی کی چیز کی نشاندہی کی گئی ہو) سے ایڈورسرئیل تربیت کی اجازت دیتا ہے۔ ہمارا ماڈل تصویر میں دکھایا گیا ہے۔ مندرجہ ذیل میں، ہم پہلے سیکشن میں اپنے 3D جنریٹر کا تعارف کراتے ہیں، اس سے پہلے کہ ہم سیکشن میں تفریقی رینڈرنگ اور نقصان کے افعال کی طرف بڑھیں۔ 4.3.1 2 3.1 3.2 3.1 3D بناوٹ والے میشز کا جنریٹو ماڈل ہم ایک 3D جنریٹر = ( ) سیکھنا چاہتے ہیں تاکہ گاسین تقسیم سے ایک نمونہ M, E G z ∈ N (0*,* ) کو بناوٹ کے ساتھ ایک میش میں نقش کیا جا سکے۔ z I E M چونکہ ایک ہی جیومیٹری کی مختلف بناوٹ ہو سکتی ہے، اور ایک ہی بناوٹ کو مختلف جیومیٹری پر لاگو کیا جا سکتا ہے، ہم دو بے ترتیب ان پٹ ویکٹرز 1 ∈ R512 اور 2 ∈ R512 نمونہ لیتے ہیں۔ StyleGAN [ , , ] کے مطابق، ہم پھر غیر لکیری میپنگ نیٹ ورکس geo اور tex کا استعمال کرتے ہوئے 1 اور 2 کو انٹرمیڈیٹ لیٹنٹ ویکٹرز 1 = geo( 1) اور 2 = tex( 2) میں نقش کرتے ہیں جو مزید 3D شکلوں اور بناوٹ کی جنریشن کو کنٹرول کرنے والے پیدا کرنے کے لیے استعمال ہوتے ہیں۔ ہم سیکشن میں جیومیٹری کے لیے جنریٹر، اور سیکشن میں بناوٹ جنریٹر کا باضابطہ طور پر تعارف کراتے ہیں۔ z z 34 35 33 f f z z w f z w f z اسٹائل 3.1.1 3.1.2 3.1.1 جیومیٹری جنریٹر ہم اپنے جیومیٹری جنریٹر کو DMTet [ ] کو شامل کرنے کے لیے ڈیزائن کرتے ہیں، جو حال ہی میں تجویز کردہ تفریقی سطح کی نمائندگی ہے۔ DMTet جیومیٹری کو ایک سائنڈ ڈسٹنس فیلڈ (SDF) کے طور پر ظاہر کرتا ہے جو ایک ڈیفارم ایبل ٹیٹرا ہیڈرل گرڈ [ , ] پر متعین کیا جاتا ہے، جس سے مارچنگ ٹیٹرا ہیڈرا [ ] کے ذریعے سطح کو تفریقی طور پر بازیافت کیا جا سکتا ہے۔ گرڈ کو اس کے ورٹیسز کو منتقل کرکے ڈیفارم کرنے سے اس کے ریزولوشن کا بہتر استعمال ہوتا ہے۔ سطح نکالنے کے لیے DMTet کو اپنانے سے، ہم کسی بھی ٹوپولوجی اور جینس کے ساتھ واضح میش تیار کر سکتے ہیں۔ ہم اگلے DMTet کا ایک مختصر خلاصہ فراہم کرتے ہیں اور مزید تفصیلات کے لیے قاری کو اصل مقالے کی طرف رجوع کرتے ہیں۔ 60 22 24 17 فرض کریں ( ) مکمل 3D جگہ کو ظاہر کرتا ہے جس میں آبجیکٹ واقع ہے، جہاں ٹیٹرا ہیڈرل گرڈ کے ورٹیسز ہیں۔ ہر ٹیٹرا ہیڈرون ∈ کو چار ورٹیسز { } کے ساتھ بیان کیا جاتا ہے، جہاں ∈ {1*, . . . , K*}, کل ٹیٹرا ہیڈرا کی تعداد ہے، اور ∈ ∈ R3۔ اپنے 3D کوآرڈینیٹس کے علاوہ، ہر ورٹیکس میں SDF قدر ∈ R اور اس کے ابتدائی کینونیکل کوآرڈینیٹ سے ورٹیکس کا ڈیفارمیشن ∆ ∈ R3 ہوتا ہے۔ یہ نمائندگی ڈیفارم ایبل مارچنگ ٹیٹرا ہیڈرا [ ] کے ذریعے واضح میش کو بازیافت کرنے کی اجازت دیتی ہے، جہاں مسلسل جگہ میں SDF قدروں کا حساب ڈیفارمڈ ورٹیسز ′ = + ∆ پر ان کی قدر کے باری سینٹرک انٹراپولیشن کے ذریعے کیا جاتا ہے۔ VT , T VT T Tk T v ak , v bk , v ck , v dk k K v ik VT , v ik i v i si v i 60 v v i v i si ہم 1 ∈ R512 کو ہر ورٹیکس پر SDF قدروں اور ڈیفارمیشنز میں کنڈیشنل 3D کنولوشنل اور مکمل طور پر مربوط تہوں کے سلسلے کے ذریعے نقش کرتے ہیں۔ خاص طور پر، ہم پہلے 1 کے لحاظ سے کنڈیشنڈ فیچر والیم تیار کرنے کے لیے 3D کنولوشنل تہوں کا استعمال کرتے ہیں۔ پھر ہم ٹریلینیئر انٹراپولیشن کا استعمال کرتے ہوئے ہر ورٹیکس ∈ پر فیچر سے استفسار کرتے ہیں اور اسے MLPs میں فیڈ کرتے ہیں جو SDF قدر اور ڈیفارمیشن ∆ نیٹ ورک فن تعمیر w v i w v i VT si v i پیدا کرتے ہیں۔ ان صورتوں میں جہاں اعلیٰ ریزولوشن پر ماڈلنگ کی ضرورت ہوتی ہے (مثلاً موٹر سائیکل جس میں پہیوں میں پتلی ساخت ہوتی ہے)، ہم مزید والیم سب ڈویژن کا استعمال کرتے ہیں جو [ ] کی پیروی کرتا ہے۔ 60 تمام ورٹیسز کے لیے اور ∆ حاصل کرنے کے بعد، ہم واضح میش نکالنے کے لیے تفریقی مارچنگ ٹیٹرا ہیڈرا الگورتھم کا استعمال کرتے ہیں۔ مارچنگ ٹیٹرا ہیڈرا کے نشانات کی بنیاد پر ہر ٹیٹرا ہیڈرون کے اندر سطح کی ٹوپولوجی کا تعین کرتا ہے۔ خاص طور پر، جب sign( ) /= sign( ) ہوتا ہے تو ایک میش چہرہ نکالا جاتا ہے، جہاں ٹیٹرا ہیڈرون کے کنارے میں ورٹیسز کے انڈیکس کی نشاندہی کرتے ہیں، اور اس چہرے کے ورٹیسز کو لکیری انٹراپولیشن کے طور پر mi,j = v 0 i sj−v 0 j si sj−si کے طور پر طے کیا جاتا ہے۔ نوٹ کریں کہ مندرجہ بالا مساوات کا صرف تب ہی اندازہ لگایا جاتا ہے جب si 6= sj ، اس طرح یہ تفریقی ہے، اور mi,j کا تدریجی SDF قدروں si اور ڈیفارمیشنز ∆vi میں واپس پھیلایا جا سکتا ہے۔ اس نمائندگی کے ساتھ، کسی بھی ٹوپولوجی کی شکلیں si کے مختلف نشانات کی پیش گوئی کرکے آسانی سے تیار کی جا سکتی ہیں۔ تفریقی میش نکالنا si v i si si sj i, j m i,j 3.1.2 بناوٹ جنریٹر نکالے گئے میش کے ساتھ ہم آہنگ بناوٹ کا براہ راست جنریشن غیر معمولی ہے، کیونکہ تیار شدہ شکل میں کوئی بھی جینس اور ٹوپولوجی ہو سکتی ہے۔ اس لیے ہم بناوٹ کو بناوٹ فیلڈ [ ] کے طور پر پیرامیٹرائز کرتے ہیں۔ 50 خاص طور پر، ہم بناوٹ فیلڈ کو ایک فنکشن کے ساتھ ماڈل کرتے ہیں جو 3D مقام، 2 پر منحصر ہے، اس مقام پر RGB رنگ ∈ R3 پر نقشہ بناتا ہے۔ چونکہ بناوٹ فیلڈ جیومیٹری پر منحصر ہے، ہم اس میپنگ کو جیومیٹری لیٹنٹ کوڈ 1 پر بھی منحصر کرتے ہیں، اس طرح = ( *,* 1 ⊕ 2)، جہاں ⊕ کٹیینیشن کی نشاندہی کرتا ہے۔ ft w c w c ft p w w ہم اپنے بناوٹ فیلڈ کو ٹرائی-پلین نمائندگی کا استعمال کرتے ہوئے پیش کرتے ہیں، جو 3D اشیاء [ ] کی تعمیر نو اور 3D-aware امیجز [ ] تیار کرنے میں موثر اور اظہار ہے۔ خاص طور پر، ہم [ , ] کی پیروی کرتے ہیں اور 3D-aware امیج سنتھیسس [8, 25, 7, 57] پر کام کرنے والے دیگر کے برعکس، ہم صرف سطح کے پوائنٹس کے مقامات پر بناوٹ فیلڈ کا نمونہ لینے کی ضرورت ہے (ایک گھنے نمونہ کے برعکس)۔ یہ اعلیٰ ریزولوشن کی تصاویر کو رینڈر کرنے کے لیے کمپیوٹیشنل پیچیدگی کو بہت کم کرتا ہے اور تعمیر کے لحاظ سے ملٹی ویو کنسسٹنٹ امیجز کی پیداوار کی ضمانت دیتا ہے۔ نیٹ ورک فن تعمیر 55 8 8 35 3.2 تفریقی رینڈرنگ اور تربیت اپنے ماڈل کو تربیت کے دوران نگرانی کرنے کے لیے، ہم Nvdiffrec [ ] سے متاثر ہوتے ہیں جو ایک تفریقی رینڈرر کا استعمال کرتے ہوئے ملٹی ویو 3D آبجیکٹ کی تعمیر نو کرتا ہے۔ خاص طور پر، ہم تفریقی رینڈرر [ ] کا استعمال کرتے ہوئے نکالی گئی 3D میش اور بناوٹ فیلڈ کو 2D امیجز میں رینڈر کرتے ہیں، اور اپنے نیٹ ورک کو ایک 2D امتیاز کنندہ کے ساتھ نگرانی کرتے ہیں، جو امیج کو حقیقی آبجیکٹ یا تیار شدہ آبجیکٹ سے رینڈر کیا گیا فرق کرنے کی کوشش کرتا ہے۔ 47 37 ہم فرض کرتے ہیں کہ کیمرہ کا تقسیم C جو ڈیٹا سیٹ میں امیجز حاصل کرنے کے لیے استعمال کیا گیا تھا، معلوم ہے۔ تیار شدہ شکلوں کو رینڈر کرنے کے لیے، ہم C سے بے ترتیب طور پر ایک کیمرہ کا نمونہ لیتے ہیں، اور 2D سلیمیٹ کے ساتھ ساتھ ایک امیج میں 3D میش کو رینڈر کرنے کے لیے ایک انتہائی آپٹیمائزڈ تفریقی راسٹرائزر Nvdiffrast [ ] کا استعمال کرتے ہیں جہاں ہر پکسل میش کی سطح پر متعلقہ 3D پوائنٹ کے کوآرڈینیٹس پر مشتمل ہوتا ہے۔ ان کوآرڈینیٹس کو مزید بناوٹ فیلڈ سے استفسار کرنے کے لیے استعمال کیا جاتا ہے تاکہ RGB قدریں حاصل کی جا سکیں۔ چونکہ ہم نکالی گئی میش پر براہ راست کام کرتے ہیں، ہم اعلیٰ کارکردگی کے ساتھ اعلیٰ ریزولوشن کی تصاویر رینڈر کر سکتے ہیں، جس سے ہمارا ماڈل 1024×1024 تک کی امیج ریزولوشن کے ساتھ تربیت یافتہ ہو سکتا ہے۔ تفریقی رینڈرنگ c 37 ہم اپنے ماڈل کو ایک ایڈورسرئیل مقصد کے ساتھ تربیت دیتے ہیں۔ ہم StyleGAN [ ] سے امتیاز کنندہ فن تعمیر کو اپناتے ہیں، اور R1 ریگولرائزیشن [ ] کے ساتھ اسی نان-سیچوریٹنگ GAN مقصد کا استعمال کرتے ہیں۔ ہم تجرباتی طور پر پاتے ہیں کہ دو الگ امتیاز کنندگان، ایک RGB امیجز کے لیے اور دوسرا سلیمیٹ کے لیے، دونوں پر کام کرنے والے ایک واحد امتیاز کنندہ سے بہتر نتائج دیتا ہے۔ فرض کریں امتیاز کنندہ ہے، جہاں یا تو ایک RGB امیج یا سلیمیٹ ہے۔ پھر ایڈورسرئیل مقصد کی تعریف اس طرح کی جاتی ہے: امتیاز کنندہ اور مقصد 34 42 Dx x جہاں ( ) کو ( ) = − log(1 +exp(− )) کے طور پر بیان کیا جاتا ہے، حقیقی امیجز کی تقسیم ہے، رینڈرنگ کی نشاندہی کرتا ہے، اور ایک ہائپر پیرامیٹر ہے۔ چونکہ تفریقی ہے، تدریجیات 2D امیجز سے ہمارے 3D جنریٹرز تک واپس پھیلائی جا سکتی ہیں۔ g u g u u px R λ R اندرونی بہتی ہوئی چہروں کو ہٹانے کے لیے جو کسی بھی منظر میں نظر نہیں آتے، ہم مزید جیومیٹری جنریٹر کو پڑوسی ورٹیسز [ ] کے SDF قدروں کے درمیان متعین کردہ کراس-اینٹروپی نقصان کے ساتھ باقاعدہ بناتے ہیں: ریگولرائزیشن 47 جہاں باائنری کراس-اینٹروپی نقصان کی نشاندہی کرتا ہے اور سگمیوڈ فنکشن کی نشاندہی کرتا ہے۔ مساوات میں جمع ٹیٹرا ہیڈرل گرڈ میں منفرد کناروں S کے سی H σ 2 e
