```html المؤلفون: جون جاو، NVIDIA، جامعة تورنتو، معهد فيكتور (jung@nvidia.com) تيانتشانغ شين، NVIDIA، جامعة تورنتو، معهد فيكتور (frshen@nvidia.com) زيان وانغ، NVIDIA، جامعة تورنتو، معهد فيكتور (zianw@nvidia.com) وينتشنغ تشين، NVIDIA، جامعة تورنتو، معهد فيكتور (wenzchen@nvidia.com) كانغشيو ين، NVIDIA (kangxuey@nvidia.com) دايتشينغ لي، NVIDIA (daiqingl@nvidia.com) أور ليتاني، NVIDIA (olitany@nvidia.com) زان جوجشيك، NVIDIA (zgojcic@nvidia.com) سانجا فيدلر، NVIDIA، جامعة تورنتو، معهد فيكتور (sfidler@nvidia.com) ملخص مع انتقال العديد من الصناعات نحو نمذجة عوالم افتراضية ثلاثية الأبعاد ضخمة، أصبحت الحاجة إلى أدوات إنشاء محتوى يمكن أن تتوسع من حيث كمية وجودة وتنوع المحتوى ثلاثي الأبعاد واضحة. في عملنا، نهدف إلى تدريب نماذج توليدية ثلاثية الأبعاد عالية الأداء تولد شبكات مسطحة منسوجة يمكن لمحركات التصيير ثلاثية الأبعاد استهلاكها مباشرة، وبالتالي تكون قابلة للاستخدام فورًا في التطبيقات اللاحقة. الأعمال السابقة في النمذجة التوليدية ثلاثية الأبعاد إما تفتقر إلى التفاصيل الهندسية، أو تقتصر على طوبولوجيا الشبكة التي يمكنها إنتاجها، أو لا تدعم عادةً الأنسجة، أو تستخدم محركات تصيير عصبية في عملية التوليف، مما يجعل استخدامها في برامج ثلاثية الأبعاد شائعة أمرًا غير بسيط. في هذا العمل، نقدم GET3D، وهو نموذج توليدي يولد مباشرة شبكات مسطحة ثلاثية الأبعاد منسوجة صريحة ذات طوبولوجيا معقدة وتفاصيل هندسية غنية وأنسجة عالية الدقة. نحن نستفيد من النجاحات الأخيرة في نمذجة الأسطح القابلة للتفاضل، والتصيير القابل للتفاضل، بالإضافة إلى شبكات الخصومة التوليدية ثنائية الأبعاد (GANs) لتدريب نموذجنا من مجموعات الصور ثنائية الأبعاد. GET3D قادر على توليد شبكات مسطحة ثلاثية الأبعاد عالية الجودة، تتراوح من السيارات والكراسي والحيوانات والدراجات النارية والشخصيات البشرية إلى المباني، محققًا تحسينات كبيرة مقارنة بالطرق السابقة. صفحة مشروعنا: https://nv-tlabs.github.io/GET3D 1 مقدمة أصبح المحتوى ثلاثي الأبعاد المتنوع وعالي الجودة ذا أهمية متزايدة للعديد من الصناعات، بما في ذلك الألعاب، والروبوتات، والهندسة المعمارية، والمنصات الاجتماعية. ومع ذلك، فإن الإنشاء اليدوي للأصول ثلاثية الأبعاد يستغرق وقتًا طويلاً ويتطلب معرفة تقنية محددة بالإضافة إلى مهارات النمذجة الفنية. أحد التحديات الرئيسية هو المقياس - بينما يمكن العثور على نماذج ثلاثية الأبعاد في أسواق ثلاثية الأبعاد مثل Turbosquid [ ] أو Sketchfab [ ]، فإن إنشاء العديد من النماذج ثلاثية الأبعاد، على سبيل المثال، لتعبئة لعبة أو فيلم بحشد من الشخصيات التي تبدو مختلفة لا يزال يتطلب قدرًا كبيرًا من وقت الفنان. 4 3 لتسهيل عملية إنشاء المحتوى وجعلها متاحة لمجموعة متنوعة من المستخدمين (المبتدئين)، أصبحت الشبكات التوليدية ثلاثية الأبعاد التي يمكنها إنتاج أصول ثلاثية الأبعاد عالية الجودة ومتنوعة مجال بحث نشط مؤخرًا [ ، ، ، ، ، ، ، ، ، ، ]. ومع ذلك، لكي تكون نماذج التوليد ثلاثية الأبعاد مفيدة عمليًا للتطبيقات الحالية في العالم الواقعي، يجب أن تلبي بشكل مثالي المتطلبات التالية: يجب أن تكون لديها القدرة على توليد أشكال ذات تفاصيل هندسية وطوبولوجيا عشوائية، يجب أن يكون الناتج عبارة عن شبكة مسطحة منسوجة، وهي تمثيل أساسي تستخدمه حزم البرامج الرسومية القياسية مثل Blender [ ] و Maya [ ]، و يجب أن نكون قادرين على الاستفادة من الصور ثنائية الأبعاد للإشراف، حيث أنها أكثر توفرًا من الأشكال ثلاثية الأبعاد الصريحة. 5 14 43 46 53 68 75 60 59 69 23 (أ) (ب) 15 1 (ج) ركزت الأعمال السابقة في النمذجة التوليدية ثلاثية الأبعاد على مجموعات فرعية من المتطلبات المذكورة أعلاه، ولكن لم تفِ أي طريقة حتى الآن بجميعها (الجدول ). على سبيل المثال، الطرق التي تولد سحب نقاط ثلاثية الأبعاد [ ، 68، 75] لا تنتج عادةً الأنسجة ويجب تحويلها إلى شبكة مسطحة في مرحلة ما بعد المعالجة. 1 5 غالبًا ما تفتقر الطرق التي تولد وحدات فوكسل إلى التفاصيل الهندسية ولا تنتج نسيجًا [ ، ، ، ]. تركز النماذج التوليدية القائمة على الحقول العصبية [ ، ] على استخراج الهندسة ولكنها تتجاهل النسيج. تتطلب معظم هذه أيضًا إشرافًا ثلاثي الأبعاد صريحًا. أخيرًا، الطرق التي تنتج مباشرة شبكات مسطحة ثلاثية الأبعاد منسوجة [ ، ] تتطلب عادةً قوالب أشكال محددة مسبقًا ولا يمكنها توليد أشكال ذات طوبولوجيا معقدة وجنس متغير. 66 20 27 40 43 14 54 53 مؤخرًا، أدى التقدم السريع في التصيير الحجمي العصبي [ ] وشبكات الخصومة التوليدية ثنائية الأبعاد (GANs) [ ، ، ، ، ] إلى ظهور توليف صور مدرك ثلاثي الأبعاد [ ، ، ، ، ، ]. ومع ذلك، يهدف هذا الخط من العمل إلى توليف صور متسقة متعددة المناظر باستخدام التصيير العصبي في عملية التوليف ولا يضمن إمكانية توليد أشكال ثلاثية الأبعاد ذات معنى. بينما يمكن الحصول على شبكة مسطحة محتملة من تمثيل الحقل العصبي الأساسي باستخدام خوارزمية المكعبات المتنقلة [ ]، فإن استخراج النسيج المقابل أمر غير بسيط. 45 34 35 33 29 52 7 57 8 49 51 25 39 في هذا العمل، نقدم نهجًا جديدًا يهدف إلى معالجة جميع متطلبات النموذج التوليدي ثلاثي الأبعاد المفيد عمليًا. على وجه التحديد، نقترح GET3D، وهو نموذج توليدي للأشكال ثلاثية الأبعاد يخرج مباشرة شبكات مسطحة ثلاثية الأبعاد منسوجة صريحة ذات تفاصيل هندسية ونسيجية عالية وطوبولوجيا شبكة عشوائية. في قلب نهجنا توجد عملية توليد تستخدم طريقة استخراج سطح صريحة قابلة للتفاضل [ ] وتقنية تصيير قابلة للتفاضل [ ، ]. الأول يمكّننا من تحسين وتوليد شبكات مسطحة منسوجة صريحة بشكل مباشر ذات طوبولوجيا عشوائية، بينما يسمح لنا الأخير بتدريب نموذجنا باستخدام صور ثنائية الأبعاد، وبالتالي الاستفادة من أدوات التمييز القوية والناضجة المطورة لتوليف الصور ثنائية الأبعاد. نظرًا لأن نموذجنا يولد شبكات مسطحة مباشرة ويستخدم محرك رسومات فعالًا (قابل للتفاضل)، يمكننا توسيع نطاق نموذجنا بسهولة للتدريب بدقة صور تصل إلى 1024 × 1024، مما يسمح لنا بتعلم تفاصيل هندسية ونسيجية عالية الجودة. 60 47 37 نعرض أداءً حديثًا لتوليد الأشكال ثلاثية الأبعاد غير المشروط على فئات متعددة ذات هندسة معقدة من ShapeNet [ ] و Turbosquid [ ] و Renderpeople [ ]، مثل الكراسي والدراجات النارية والسيارات والشخصيات البشرية والمباني. مع تمثيل الشبكة المسطحة الصريحة كناتج، فإن GET3D مرن للغاية ويمكن تكييفه بسهولة مع مهام أخرى، بما في ذلك: التعلم لتوليد تأثيرات مادية منفصلة وتأثيرات إضاءة تعتمد على المنظر باستخدام التصيير التفاضلي المتقدم [ ]، دون إشراف، توليد الأشكال ثلاثية الأبعاد الموجهة بالنص باستخدام تضمين CLIP [ ]. 9 4 2 (أ) 12 (ب) 56 2 الأعمال ذات الصلة نستعرض التقدم الأخير في النماذج التوليدية ثلاثية الأبعاد للهندسة والمظهر، بالإضافة إلى توليف الصور المدرك ثلاثي الأبعاد. في السنوات الأخيرة، حققت النماذج التوليدية ثنائية الأبعاد جودة واقعية في توليف الصور عالية الدقة [ ، ، ، ، ، ، ]. ألهم هذا التقدم أيضًا البحث في إنشاء المحتوى ثلاثي الأبعاد. هدفت الأساليب المبكرة إلى توسيع مولدات CNN ثنائية الأبعاد مباشرة إلى شبكات فوكسل ثلاثية الأبعاد [ ، ، ، ، ]، ولكن البصمة الذاكرية العالية والتعقيد الحسابي للالتفافات ثلاثية الأبعاد يعيق عملية التوليد بدقة عالية. كبديل، استكشفت أعمال أخرى تمثيلات سحب النقاط [ ، ، ، ]، أو ضمنية [ ، ]، أو أوكتري [ ]. ومع ذلك، تركز هذه الأعمال بشكل أساسي على توليد الهندسة وتتجاهل المظهر. كما تحتاج تمثيلات الإخراج الخاصة بها إلى معالجة لاحقة لجعلها متوافقة مع محركات الرسومات القياسية. نماذج التوليد ثلاثية الأبعاد 34 35 33 52 29 19 16 66 20 27 40 62 5 68 75 46 43 14 30 أكثر تشابهًا مع عملنا، تولد Textured3DGAN [ ، ] و DIBR [ ] شبكات مسطحة ثلاثية الأبعاد منسوجة، ولكنها تصوغ التوليد على أنه تشوه لشبكة مسطحة قالب، مما يمنعها من توليد طوبولوجيا معقدة أو أشكال ذات جنس متغير، وهو ما يمكن لطريقتنا القيام به. يمكن لـ PolyGen [ ] و SurfGen [ ] إنتاج شبكات مسطحة ذات طوبولوجيا عشوائية، ولكنها لا تولد الأنسجة. 54 53 11 48 41 مستوحاة من نجاح التصيير الحجمي العصبي [ ] والتمثيلات الضمنية [ ، ]، بدأت الأعمال الحديثة في معالجة مشكلة توليف الصور المدرك ثلاثي الأبعاد [ ، ، ، ، ، ، ، ، ، ]. ومع ذلك، فإن شبكات التصيير الحجمي العصبي بطيئة الاستعلام عادةً، مما يؤدي إلى أوقات تدريب طويلة [ ، ] وتنتج صورًا محدودة الدقة. تحسن GIRAFFE [ ] و StyleNerf [ ] كفاءة التدريب والتصيير عن طريق إجراء التصيير العصبي بدقة أقل ثم زيادة حجم النتائج باستخدام CNN ثنائي الأبعاد. ومع ذلك، فإن مكاسب الأداء تأتي على حساب تناقص الاتساق متعدد المناظر. من خلال استخدام مفاعل تمييز مزدوج، يمكن لـ EG3D [ ] التخفيف جزئيًا من هذه المشكلة. ومع ذلك، فإن استخراج سطح منسوج من الطرق التي تعتمد على التصيير العصبي يعد مسعى غير بسيط. في المقابل، يخرج GET3D مباشرة شبكات مسطحة ثلاثية الأبعاد منسوجة يمكن استخدامها بسهولة في محركات الرسومات القياسية. توليف الصور المدرك ثلاثي الأبعاد 45 43 14 7 57 49 26 25 76 8 51 58 67 7 57 49 25 8 3 الطريقة نقدم الآن إطار عمل GET3D لتوليف الأشكال ثلاثية الأبعاد المنسوجة. تنقسم عملية التوليد لدينا إلى جزأين: فرع هندسي، يخرج بشكل قابل للتفاضل شبكة مسطحة ذات طوبولوجيا عشوائية، وفرع نسيج ينتج مجال نسيج يمكن الاستعلام عنه عند نقاط السطح لإنتاج ألوان. يمكن توسيع الأخير ليشمل خصائص سطح أخرى مثل المواد على سبيل المثال (القسم ). أثناء التدريب، يتم استخدام مسطر قابل للتفاضل بكفاءة لتصيير الشبكة المسطحة المنسوجة الناتجة إلى صور ثنائية الأبعاد عالية الدقة. العملية بأكملها قابلة للتفاضل، مما يسمح بالتدريب التنافسي من الصور (مع أقنعة تشير إلى كائن الاهتمام) عن طريق نشر التدرجات من مفاعل التمييز ثنائي الأبعاد إلى كلا الفرعين المولدين. يتم توضيح نموذجنا في الشكل . في ما يلي، نقدم أولاً مولدنا ثلاثي الأبعاد في القسم ، قبل المتابعة إلى التصيير القابل للتفاضل ودوال الخسارة في القسم . 4.3.1 2 3.1 3.2 3.1 مولد الأشكال ثلاثية الأبعاد المنسوجة نهدف إلى تعلم مولد ثلاثي الأبعاد = ( ) لتعيين عينة من توزيع جاوس M, E G z ∈ N (0*,* ) إلى شبكة مسطحة بنسيج . z I M E نظرًا لأنه يمكن أن يكون لنفس الهندسة أنسجة مختلفة، ويمكن تطبيق نفس النسيج على هندسات مختلفة، فإننا نسحب متجهين عشوائيين للمدخلات 1 ∈ R512 و 2 ∈ R512. بعد StyleGAN [ ، ، ]، نستخدم شبكات تعيين غير خطية geo و tex لتعيين 1 و 2 إلى متجهات كامنة وسيطة 1 = geo( 1) و 2 = tex( 2) والتي تستخدم بعد ذلك لإنتاج "أساليب" تتحكم في توليد الأشكال ثلاثية الأبعاد والنسيج، على التوالي. نقدم رسميًا المولد للهندسة في القسم والمولد للنسيج في القسم . z z 34 35 33 f f z z w f z w f z 3.1.1 3.1.2 3.1.1 مولد الهندسة نقوم بتصميم مولد الهندسة الخاص بنا لدمج DMTet [ ]، وهو تمثيل سطح قابل للتفاضل تم اقتراحه مؤخرًا. يمثل DMTet الهندسة كمجال مسافة موقّع (SDF) محدد على شبكة رباعية السطوح قابلة للتشوه [ ، ]، والتي يمكن من خلالها استعادة السطح بشكل قابل للتفاضل من خلال المكعبات المتنقلة [ ]. يؤدي تشوه الشبكة عن طريق تحريك رؤوسها إلى استخدام أفضل لدقتها. من خلال اعتماد DMTet لاستخراج الأسطح، يمكننا إنتاج شبكات مسطحة صريحة ذات طوبولوجيا وجنس عشوائيين. نقدم بعد ذلك ملخصًا موجزًا لـ DMTet ونشير إلى القارئ بالورقة الأصلية لمزيد من التفاصيل. 60 22 24 17 ليكن ( ) يمثل الفضاء ثلاثي الأبعاد الكامل الذي يقع فيه الكائن، حيث هي رؤوس شبكة رباعية السطوح . يتم تعريف كل رباعي السطوح ∈ باستخدام أربعة رؤوس { }، حيث ∈ {1*, . . . ، K*}, حيث هو العدد الإجمالي لرباعيات السطوح، و ∈ ∈ R3. بالإضافة إلى إحداثياته ثلاثية الأبعاد ، يحتوي كل رأس على قيمة SDF ∈ R وتشوه ∆ ∈ R3 لرأس من إحداثيته الديكارتية الأولية. يتيح هذا التمثيل استعادة الشبكة المسطحة الصريحة من خلال المكعبات المتنقلة القابلة للتفاضل [ ]، حيث يتم حساب قيم SDF في الفضاء المستمر عن طريق الاستيفاء الخطي الثقلي لقيمتها على الرؤوس المشوهة ′ = + ∆ . VT ، T VT T Tk T v ak ، v bk ، v ck ، v dk k K v ik VT ، v ik i v i si v i 60 si v v i v i نعين 1 ∈ R512 إلى قيم SDF والتشوهات عند كل رأس من خلال سلسلة من طبقات الالتفاف ثلاثية الأبعاد وطبقات متصلة بالكامل. على وجه التحديد، نستخدم أولاً طبقات الالتفاف ثلاثية الأبعاد لإنشاء حجم ميزات مشروط بـ 1. ثم نستعلم عن الميزات عند كل رأس ∈ باستخدام الاستيفاء الثلاثي الخطي ونغذيه إلى MLPs التي تخرج قيمة SDF والتشوه ∆ . في الحالات التي يتطلب فيها النمذجة بدقة عالية (مثل دراجة نارية بهياكل رفيعة في العجلات)، نستخدم أيضًا تقسيم الحجم وفقًا لـ [ ]. بنية الشبكة w v i w v i VT si v i 60 بعد الحصول على و ∆ لجميع الرؤوس، نستخدم خوارزمية المكعبات المتنقلة القابلة للتفاضل لاستخراج الشبكة المسطحة الصريحة. تحدد المكعبات المتنقلة طوبولوجيا السطح داخل كل رباعي السطوح بناءً على علامات . على وجه الخصوص، يتم استخراج وجه شبكة مسطحة عندما sign( ) /= sign( )، حيث يشير إلى مؤشرات الرؤوس في حافة رباعي السطوح، ويتم تحديد رؤوس لهذا الوجه عن طريق الاستيفاء الخطي كمي، ج = v 0 i sj−v 0 j si sj−si . لاحظ أن المعادلة أعلاه يتم تقييمها فقط عندما si 6= sj ، وبالتالي فهي قابلة للتفاضل، ويمكن نشر التدرج من mi,j عكسيًا إلى قيم SDF si والتشوهات ∆vi . مع هذا التمثيل، يمكن توليد الأشكال ذات الطوبولوجيا العشوائية بسهولة عن طريق التنبؤ بعلامات مختلفة لـ si. استخراج الشبكة القابلة للتفاضل si v i si si sj i, j m i,j 3.1.2 مولد النسيج ليس من السهل توليد خريطة نسيج متسقة مع الشبكة المسطحة الناتجة مباشرة، حيث يمكن أن يكون للشكل الناتج جنس وطوبولوجيا عشوائيين. لذلك نُنمِّط النسيج كمجال نسيج [ ]. 50 على وجه التحديد، نمثل مجال النسيج بدالة التي تعين الموقع ثلاثي الأبعاد لنقطة السطح ∈ R3، مشروطة بـ 2، إلى لون RGB ∈ R3 في ذلك الموقع. نظرًا لأن مجال النسيج يعتمد على الهندسة، فإننا نقوم أيضًا بشرط هذا التعيين على رمز الهندسة الكامن 1، بحيث يكون = ( *,* 1 ⊕ 2)، حيث ⊕ يمثل التسلسل. ft p w c w c ft p w w نمثل مجال النسيج الخاص بنا باستخدام تمثيل ثلاثي المستويات (tri-plane)، وهو فعال ومعبر في إعادة بناء الأشكال ثلاثية الأبعاد [ ] وتوليد الصور المدركة ثلاثية الأبعاد [ ]. على وجه التحديد، نتبع [ ، ] ونستخدم شبكة عصبية التفافية ثنائية الأبعاد مشروطة لتعيين الرمز الكامن 1 ⊕ 2 إلى ثلاثة مستويات ميزات متعامدة متوازية مع المحاور بحجم × × ( × 3)، حيث = 256 يمثل الدقة المكانية و = 32 عدد القنوات. بنية الشبكة 55 8 8 35 w w N N C N C بالنظر إلى مستويات الميزات، يمكن استعادة متجه الميزات f t ∈ R 32 لنقطة السطح p كـ f t = P e ρ(πe(p))، حيث πe(p) هو إسقاط النقطة p على مستوى الميزات e و ρ(·) يمثل الاستيفاء الثنائي للميزات. ثم يتم استخدام طبقة إضافية متصلة بالكامل لتعيين متجه الميزات المجمع f t إلى لون RGB c. لاحظ أنه، على عكس الأعمال الأخرى في توليف الصور المدرك ثلاثي الأبعاد [8، 25، 7، 57] التي تستخدم أيضًا تمثيل المجال العصبي، نحتاج فقط إلى استعلام مجال النسيج عند مواقع نقاط السطح (على عكس العينات الكثيفة على طول شعاع). هذا يقلل بشكل كبير من التعقيد الحسابي لتصيير الصور عالية الدقة ويضمن توليد صور متسقة متعددة المناظر بحكم التعريف. 3.2 التصيير القابل للتفاضل والتدريب من أجل الإشراف على نموذجنا أثناء التدريب، نستلهم من Nvdiffrec [ ] الذي يقوم بإعادة بناء الأجسام ثلاثية الأبعاد متعددة المناظر باستخدام مصحح قابل للتفاضل. على وجه التحديد، نقوم بتصيير الشبكة المسطحة المستخرجة ومجال النسيج إلى صور ثنائية الأبعاد باستخدام مصحح قابل للتفاضل [ ]، ونشرف على شبكتنا باستخدام مفاعل تمييز ثنائي الأبعاد، الذي يحاول التمييز بين الصورة من كائن حقيقي أو المصورة من الكائن المولّد. 47 37 نفترض أن توزيع الكاميرا C الذي تم استخدامه للحصول على الصور في مجموعة البيانات معروف. لتصيير الأشكال المولدة، نقوم بسحب كاميرا c بشكل عشوائي من C، ونستخدم مصحح تسجيل قابل للتفاضل عالي الكفاءة Nvdiffrast [ ] لتصيير الشبكة المسطحة إلى صورة ظلية ثنائية الأبعاد بالإضافة إلى صورة تحتوي فيها كل بكسل على إحداثيات النقطة ثلاثية الأبعاد المقابلة التصيير القابل للتفاضل 37 على سطح الشبكة المسطحة. تستخدم هذه الإحداثيات بعد ذلك للاستعلام عن مجال النسيج للحصول على قيم RGB. نظرًا لأننا نعمل مباشرة على الشبكة المسطحة المستخرجة، يمكننا تصيير صور عالية الدقة بكفاءة عالية، مما يسمح بتدريب نموذجنا بدقة صور تصل إلى 1024 × 1024. ندرب نموذجنا باستخدام هدف تنافسي. نعتمد بنية مفاعل التمييز من StyleGAN [ ]، ونستخدم نفس هدف GAN غير المشبع مع تنظيم R1 [ ]. نجد تجريبيًا أن استخدام مفاعلي تمييز منفصلين، أحدهما لصور RGB والآخر للصور الظلية، يعطي نتائج أفضل من مفاعل تمييز واحد يعمل على كليهما. لتكن مفاعل التمييز، حيث يمكن أن يكون إما صورة RGB أو صورة ظلية. يتم بعد ذلك تعريف الهدف التنافسي على النحو التالي: مفاعل التمييز والهدف 34 42 Dx x حيث ( ) تُعرّف كـ ( ) = − log(1 +exp(− ))، هو توزيع الصور الحقيقية، يمثل التصيير، و هو معلمة فائقة. نظرًا لأن قابل للتفاضل، يمكن نشر التدرجات من الصور ثنائية الأبعاد إلى مولداتنا ثلاثية الأبعاد. g u g u u px R λ R لإزالة الوجوه الداخلية العائمة التي لا يمكن رؤيتها في أي من المناظر، نقوم بتنظيم إضافي لمولد الهندسة بخسارة إنتروبيا متقاطعة معرفة بين قيم SDF للرؤوس المجاورة [ ]: التنظيم 47 حيث يمثل خسارة الإنتروبيا المتقاطعة الثنائية و يمثل دالة سيغمويد. يتم تعريف المجموع في المعادلة على مجموعة الحواف الفريدة S في شبكة رباعية السطوح، حيث sign( ) /= sign( ). H σ 2 e si sj يتم بعد ذلك تعريف دالة الخسارة الكلية كالتالي: حيث هي معلمة فائقة تتحكم في مستوى التنظيم. µ
