ग्राफ न्यूरल नेटवर्कमा टोपोलोजी जागरूकता बुझ्दै: सामान्यीकरण र संरचनात्मकमा प्रभावहरू

लिङ्कहरूको तालिका

सार र १ परिचय

2 सम्बन्धित काम

3 फ्रेमवर्क

4 मुख्य परिणामहरू

5 सबैभन्दा छोटो-पाथ दूरीमा केस स्टडी

6 निष्कर्ष र छलफल, र सन्दर्भहरू

७ प्रमेयको प्रमाण १

८ प्रमेयको प्रमाण २

9 Eq समाधानको लागि प्रक्रिया। (६)

10 अतिरिक्त प्रयोग विवरण र परिणामहरू

11 अन्य सम्भावित आवेदनहरू

सार

धेरै कम्प्यूटर दृष्टि र मेशिन सिकाउने समस्याहरू ग्राफहरूमा सिकाउने कार्यहरूको रूपमा मोडेल गरिएको छ, जहाँ ग्राफ न्यूरल नेटवर्कहरू (GNNs) ग्राफस्ट्रक्चर गरिएको डेटाको प्रतिनिधित्वहरू सिक्नको लागि एक प्रमुख उपकरणको रूपमा देखा परेको छ। GNNs को मुख्य विशेषता भनेको ग्राफ संरचनाहरूको इनपुटको रूपमा प्रयोग गर्नु हो, जसले तिनीहरूलाई ग्राफको अन्तर्निहित टोपोलोजिकल गुणहरूको शोषण गर्न सक्षम बनाउँछ - जसलाई GNNs को टोपोलोजी जागरूकता भनिन्छ। GNNs को अनुभवजन्य सफलताहरूको बावजुद, सामान्यीकरण कार्यसम्पादनमा टोपोलोजी जागरूकताको प्रभाव अस्पष्ट रहन्छ, विशेष गरी नोड-स्तर कार्यहरूको लागि जुन डाटा स्वतन्त्र र समान रूपमा वितरित (IID) भएको धारणाबाट अलग हुन्छ। GNN को टोपोलोजी जागरूकता को सटीक परिभाषा र विशेषता, विशेष गरी विभिन्न टोपोलोजिकल विशेषताहरु को बारे मा, अझै अस्पष्ट छ। यस पेपरले कुनै पनि टोपोलोजिकल विशेषताहरूमा GNN हरूको टोपोलोजी जागरूकतालाई चित्रण गर्न एक व्यापक रूपरेखा प्रस्तुत गर्दछ। यो ढाँचा प्रयोग गरेर, हामी GNN सामान्यीकरण कार्यसम्पादनमा टोपोलोजी जागरूकताको प्रभावहरूको अनुसन्धान गर्छौं। GNNs को टोपोलोजी जागरूकता बढाउनु सधैं लाभदायक हुन्छ भन्ने प्रचलित विश्वासको विपरीत, हाम्रो विश्लेषणले एक महत्वपूर्ण अन्तरदृष्टि प्रकट गर्दछ: GNN को टोपोलोजी जागरूकता सुधार गर्दा अनजानमा संरचनात्मक समूहहरूमा अनुचित सामान्यीकरण हुन सक्छ, जुन केही परिदृश्यहरूमा चाहिने नहुन सक्छ। थप रूपमा, हामी विभिन्न बेन्चमार्क डेटासेटहरूमा आन्तरिक ग्राफ मेट्रिक, सबैभन्दा छोटो-पाथ दूरी प्रयोग गरेर केस स्टडी सञ्चालन गर्छौं। यस केस स्टडीको अनुभवजन्य नतिजाहरूले हाम्रो सैद्धान्तिक अन्तर्दृष्टिलाई पुष्टि गर्दछ। यसबाहेक, ग्राफ सक्रिय सिकाइमा कोल्ड स्टार्ट समस्या समाधान गर्न यसलाई प्रयोग गरेर हामी हाम्रो फ्रेमवर्कको व्यावहारिक उपयोगिता प्रदर्शन गर्छौं।

1 परिचय

कम्प्युटर भिजन र मेसिन लर्निङमा धेरै समस्याहरूलाई ग्राफमा सिक्ने कार्यहरूको रूपमा मोडेल गरिएको छ। उदाहरणका लागि, सिमेन्टिक विभाजनमा, ग्राफहरूले विभिन्न छवि क्षेत्रहरू बीचको सम्बन्धलाई मोडेल गर्दछ, सटीकता र सन्दर्भ-सचेत विभाजन बढाउँछ। ग्राफ न्यूरल नेटवर्कहरू (GNNs) विशेष रूपमा ग्राफ-संरचित डेटाको प्रतिनिधित्वहरू सिक्नका लागि डिजाइन गरिएको मेसिन लर्निङ मोडेलहरूको एक प्रमुख वर्गको रूपमा उभिएको छ। तिनीहरूले रसायन विज्ञान [१०], जीवविज्ञान [३७], सामाजिक सञ्जाल [६, २२], दृश्य ग्राफ उत्पादन [४६, ५१] र दृश्य सम्बन्ध पत्ता लगाउने जस्ता विभिन्न डोमेनहरूमा ग्राफ-सम्बन्धित समस्याहरूको विस्तृत दायरालाई सम्बोधन गर्नमा उल्लेखनीय सफलता प्रदर्शन गरेका छन्। [२४,४३,४९]। GNNs को परिभाषित विशेषता भनेको तिनीहरूको सुविधा एकत्रीकरणको लागि ग्राफ ढाँचामा सन्देश पठाउने स्थानीय दृष्टिकोणको प्रयोग हो। यसले GNN लाई अन्तर्निहित ग्राफ संरचनाबाट संरचनात्मक जानकारी वा निर्भरताहरू (टोपोलजी जागरूकता भनिन्छ) जोगाउन सक्षम बनाउँछ, तिनीहरूलाई नोड वर्गीकरण जस्ता कार्यहरूमा अत्यधिक प्रभावकारी हुन अनुमति दिन्छ। चित्र १ ले GNN को समग्र सिकाइ प्रक्रियालाई चित्रण गर्दछ।

तिनीहरूको व्यावहारिकता र सम्भाव्यताको बावजुद, त्यहाँ GNN हरूको बारेमा सैद्धान्तिक बुझाइको कमी रहन्छ, विशेष गरी अर्ध-निरीक्षण गरिएको नोड वर्गीकरण सेटिङमा जहाँ डेटा बीचको निर्भरताहरू अन्य मेसिन लर्निङ मोडेलहरूबाट उल्लेखनीय रूपमा भिन्न हुन्छन् [25]। यस सेटिङमा, लक्ष्य भनेको ग्राफ ढाँचाद्वारा क्याप्चर गरिएको डेटा र बाँकी नोडहरूका लागि लेबलहरू भविष्यवाणी गर्न लेबल गरिएको नोडहरूको सानो सेट बीचको सम्बन्धलाई लाभ उठाउनु हो। GNNs को धेरै जसो विद्यमान सैद्धान्तिक अध्ययनहरूले GNNs को सन्देश-पास गर्ने संयन्त्र र Weisfeiler-Lehman isomorphism test [19] बीचको सम्बन्धमा केन्द्रित छन्, GNNs को सिकेका प्रतिनिधित्वहरूमा विभिन्न ग्राफ संरचनाहरू छुट्याउन सक्ने क्षमता बुझ्ने लक्ष्य राखेको छ। GNNs को अभिव्यक्त शक्तिको रूपमा। अभिव्यक्तता अध्ययनहरूबाट प्रेरित भएर, यो सामान्यतया विश्वास गरिन्छ कि टोपोलोजी जागरूकता बढाउनु विश्वव्यापी रूपमा लाभदायक छ र धेरै अध्ययनहरूले GNN लाई सिकेको प्रतिनिधित्वमा थप संरचनात्मक गुणहरू सुरक्षित गर्न सक्षम पार्ने कुरामा ध्यान केन्द्रित गर्दछ [29, 33, 48]।

यद्यपि, GNN हरू इनपुटको रूपमा ग्राफ संरचनामा बढी निर्भर र संवेदनशील (सचेत) हुन थालेपछि, तिनीहरूले डेटा भित्र केही संरचनात्मक उपसमूहहरू (प्रशिक्षण सेटसँग संरचनात्मक समानताद्वारा समूहीकृत फरक डेटा सबसेटहरू) तर्फ विभिन्न सामान्यीकरण प्रदर्शनहरू प्रदर्शन गर्न सक्छन्। भिन्न संरचनात्मक उपसमूहहरूमा GNN सामान्यीकरणको मात्रालाई संरचनात्मक उपसमूह सामान्यीकरण भनिन्छ [25]। GNN अनुप्रयोग र विकासमा यस्ता विचारहरू महत्त्वपूर्ण छन्। उदाहरणका लागि, प्रोटीन-प्रोटिन अन्तरक्रिया सञ्जालहरू भित्र, यी संरचनात्मक उपसमूहहरूले अन्तरक्रिया भविष्यवाणीहरूको शुद्धतालाई प्रभाव पार्दै विभिन्न आणविक परिसरहरू प्रतिनिधित्व गर्न सक्छन्। त्यसै गरी, प्रशिक्षणको लागि नमूना रणनीतिहरू बनाउँदा GNN को टोपोलोजी जागरूकताले सामान्यीकरणलाई कसरी प्रभाव पार्छ भन्ने कुरा बुझ्नु आवश्यक छ। GNNs को सामान्यीकरण कार्यसम्पादन ग्राफ डेटा को विशिष्ट संरचनात्मक विशेषताहरु द्वारा प्रभावित भएको हद सम्म प्रशिक्षण डेटासेट को संरचना को निर्णय मा महत्वपूर्ण छ। यसको महत्वको बाबजुद, GNNs को टोपोलोजी जागरूकता र यसको संरचनात्मक उपसमूह सामान्यीकरण बीचको सम्बन्धको बुझाइ अझै पनि अभाव छ। यसबाहेक, GNNs को टोपोलोजी जागरूकताको विशेषतालाई चुनौती दिन्छ, विशेष गरी विभिन्न डोमेन र कार्यहरूले फरक संरचनात्मक पक्षहरूलाई प्राथमिकता दिन सक्छन् भन्ने कुरालाई ध्यानमा राख्दै। तसर्थ, विभिन्न संरचनाहरूको सम्बन्धमा GNN को टोपोलोजी जागरूकता मूल्याङ्कन गर्न बहुमुखी ढाँचा आवश्यक छ।

यस खाडललाई सम्बोधन गर्न, यस पेपरमा, हामीले अर्ध-निरीक्षण नोड वर्गीकरणको सन्दर्भमा संरचनात्मक उपसमूह सामान्यीकरण र GNNs को टोपोलोजी जागरूकता बीचको सम्बन्ध अध्ययन गर्न अनुमानित मेट्रिक इम्बेडिङमा आधारित उपन्यास फ्रेमवर्क प्रस्ताव गर्दछौं। प्रस्तावित ढाँचाले विभिन्न संरचनात्मक उपसमूहहरूको सन्दर्भमा GNN को संरचनात्मक उपसमूह सामान्यीकरणको अनुसन्धान गर्न अनुमति दिन्छ। थप ठोस रूपमा, यस कार्यको मुख्य योगदानहरू निम्नानुसार संक्षेप गरिएको छ।

1. हामी GNN को संरचनात्मक उपसमूह सामान्यीकरण र टोपोलोजी जागरूकता बीचको अन्तरक्रियाको जाँच गर्न अनुमानित मेट्रिक इम्बेडिङ प्रयोग गरेर उपन्यास, संरचना-अज्ञेयवादी फ्रेमवर्क प्रस्ताव गर्छौं। यो ढाँचा बहुमुखी छ, विभिन्न संरचनात्मक उपायहरू समावेश गर्दछ जस्तै छोटो-पाथ दूरी, र केवल सम्बन्धित संरचनात्मक उपायहरू चाहिन्छ। मुख्य कारकहरू अनुमान गर्नमा यसको सरलताले यसलाई परिदृश्यहरूको विस्तृत दायरामा लागू र सामान्य बनाउँछ।

2. हाम्रो ढाँचा भित्र औपचारिक विश्लेषण मार्फत, हामी GNN टोपोलोजी जागरूकता र तिनीहरूको सामान्यीकरण कार्यसम्पादन (प्रमेय 1) बीचको स्पष्ट सम्बन्ध स्थापित गर्छौं। हामी यो पनि देखाउँछौं कि परिष्कृत टोपोलोजी जागरूकताले GNN अभिव्यक्तता बढाउँछ, यसले असमान सामान्यीकरण कार्यसम्पादनमा परिणाम ल्याउन सक्छ, प्रशिक्षण सेट (प्रमेय 2) जस्तै संरचनात्मक रूपमा उपसमूहहरूलाई समर्थन गर्दछ। यस्तो संरचनात्मक सम्पत्ति परिदृश्यको आधारमा हानिकारक (अन्यायिक समस्याहरू निम्त्याउने) वा उपयोगी (डिजाइन निर्णयहरू सूचित गर्ने) हुन सक्छ। यसले टोपोलोजी जागरूकता र सामान्यीकरण कार्यसम्पादन बीचको सम्बन्धलाई विचार गर्ने महत्त्वलाई जोड दिँदै, GNNs [२९, ३३, ४८] लाई विश्वव्यापी रूपमा फाइदा पुर्‍याउँछ भन्ने प्रचलित विश्वासलाई चुनौती दिन्छ।

3. हामी यसको व्यावहारिकता र सान्दर्भिकतालाई हाइलाइट गर्दै, सबैभन्दा छोटो-पाथ दूरीमा केस स्टडी मार्फत हाम्रो फ्रेमवर्क प्रमाणित गर्छौं। नतिजाहरूले हाम्रा सैद्धान्तिक निष्कर्षहरूलाई पुष्टि गर्दछ, देखाउँदछ कि छोटो बाटोको दूरीको उच्च जागरूकता भएका GNNs प्रशिक्षण सेटको नजिकको भेर्टेक्स समूहहरू वर्गीकरण गर्नमा उत्कृष्ट छन्। यसबाहेक, हामीले ग्राफ सक्रिय सिकाइ [११,१५] मा कोल्ड स्टार्ट समस्यालाई कम गर्नका लागि हाम्रा निष्कर्षहरू कसरी लागू गर्न सकिन्छ भनेर देखाउँछौं, हाम्रो फ्रेमवर्क र परिणामहरूको व्यावहारिक प्रभावहरूलाई हाइलाइट गर्दै।