វិធីសាស្រ្តថ្មីមួយដើម្បីបណ្តុះបណ្តាល AI លើទិន្នន័យក្រាហ្វ ដោយមិនមានការត្រួតពិនិត្យ

អ្នកនិពន្ធ: Zhen Peng Wenbing Huang Minnan Luo Qinghua Zheng Yu Rong Tingyang Xu Junzhou Huang សេចក្តីសង្ខេប ភាពសម្បូរបែបនៃខ្លឹមសារនៃបណ្តាញព័ត៌មានផ្សេងៗដូចជាបណ្តាញសង្គម និងបណ្តាញទំនាក់ទំនងផ្តល់នូវសក្តានុពលដែលមិនធ្លាប់មានពីមុនមកសម្រាប់ការរៀនតំណាងដែលមានគុណភាពខ្ពស់ដោយមិនមានការត្រួតពិនិត្យពីខាងក្រៅ។ អត្ថបទនេះធ្វើការស្រាវជ្រាវពីរបៀបរក្សាទុក និងទាញយកព័ត៌មានដ៏ច្រើនពីទិន្នន័យដែលមានរចនាសម្ព័ន្ធក្រាហ្វចូលទៅក្នុងលំហនៃការបង្កប់តាមរបៀបដែលគ្មានការត្រួតពិនិត្យ។ ដើម្បីសម្រេចបាននូវគោលបំណងនេះ យើងស្នើគំនិតថ្មីមួយ គឺ Graphical Mutual Information (GMI) ដើម្បីវាស់វែងទំនាក់ទំនងរវាងក្រាហ្វបញ្ចូល និងតំណាងលាក់កំបាំងកម្រិតខ្ពស់។ GMI ពង្រីកគំនិតនៃការគណនាមួយចំនួនដែលទាក់ទងគ្នាបែបប្រពៃណីពីលំហវ៉ិចទ័រទៅក្នុងដែនក្រាហ្វដែលការវាស់វែងទំនាក់ទំនងរវាងទិន្នន័យពីទិដ្ឋភាពទាំងពីរនៃលក្ខណៈពិសេសនៃធាតុ និងរចនាសម្ព័ន្ធ topological គឺចាំបាច់។ GMI បង្ហាញអត្ថប្រយោជន៍ជាច្រើន៖ ទីមួយ វាគឺមិនប្រែប្រួលចំពោះការផ្លាស់ប្តូរ isomorphic នៃក្រាហ្វបញ្ចូល—ជាដែនកំណត់ដែលមិនអាចជៀសផុតបាននៅក្នុងអាល់ហ្គោរីតរៀនតំណាងក្រាហ្វជាច្រើនដែលមានស្រាប់។ លើសពីនេះ វាអាចត្រូវបានប៉ាន់ប្រមាណ និងបង្កើនប្រសិទ្ធភាពដោយវិធីសាស្ត្រប៉ាន់ប្រមាណទំនាក់ទំនងនាពេលបច្ចុប្បន្ន ដូចជា MINE។ ចុងក្រោយ ការវិភាគទ្រឹស្តីរបស់យើងបញ្ជាក់ពីភាពត្រឹមត្រូវ និងភាពសមហេតុផលរបស់វា។ ជាមួយនឹងជំនួយរបស់ GMI យើងបានបង្កើតគំរូនៃការរៀនដោយគ្មានការត្រួតពិនិត្យដែលត្រូវបានបណ្តុះបណ្តាលដោយការបង្កើន GMI រវាងធាតុបញ្ចូល និងលទ្ធផលនៃ encoder ក្រាហ្វ។ ការពិសោធន៍ដ៏សំខាន់លើការចាត់ថ្នាក់ធាតុដែលបំពាក់ដោយ transduction និង inductive និងការទស្សន៍ទាយតំណភ្ជាប់បង្ហាញថាវិធីសាស្ត្ររបស់យើងមានប្រសិទ្ធភាពខ្ពស់ជាងវិធីសាស្ត្រគ្មានការត្រួតពិនិត្យទាន់សម័យ ហើយជួនកាលក៏លើសពីការអនុវត្តវិធីសាស្ត្រដែលមានការត្រួតពិនិត្យផងដែរ។ 1 ការណែនាំ ដើម្បីសម្រេចបាននូវការវិភាគបរិមាណដែលអាចទុកចិត្តបានសម្រាប់បណ្តាញព័ត៌មានចម្រុះ ការរៀនតំណាងដែលមានគុណភាពខ្ពស់សម្រាប់ទិន្នន័យដែលមានរចនាសម្ព័ន្ធក្រាហ្វបានក្លាយជាប្រធានបទដ៏គួរឱ្យចាប់អារម្មណ៍មួយនាពេលបច្ចុប្បន្ន។ វិធីសាស្ត្រថ្មីៗឆ្ពោះទៅរកគោលដៅនេះ ដែលត្រូវបានចាត់ថ្នាក់ជាទូទៅថាជា Graph Neural Networks (GNNs) បានធ្វើការរីកចម្រើនគួរឱ្យកត់សម្គាល់នៅក្នុងកិច្ចការរៀនជាច្រើន ដូចជាការចាត់ថ្នាក់ធាតុ [ , , ] ការទស្សន៍ទាយតំណភ្ជាប់ [ , , ] ការតម្រឹមក្រាហ្វ [ , , ] ការបង្កើតម៉ូលេគុល [ , , ] ជាដើម។ ទោះបីជាមានវឌ្ឍនភាពជាច្រើនក៏ដោយ ការបណ្តុះបណ្តាល GNNs នៅក្នុងវិធីសាស្ត្រដែលមានស្រាប់ជាធម្មតាទាមទារទម្រង់នៃការត្រួតពិនិត្យណាមួយ។ គ្មានការសង្ស័យទេ ព័ត៌មានស្លាកគឺមានតម្លៃថ្លៃក្នុងការទទួលបាន—ការដាក់ស្លាកដោយដៃ ឬការបង់ប្រាក់សម្រាប់ការអនុញ្ញាត ហើយក៏មិនអាចទទួលបានផងដែរដោយសារតែគោលនយោបាយឯកជនភាព។ មិននិយាយពីភាពជឿជាក់នៃស្លាកដែលបានផ្តល់ជូនគឺជួនកាលអាចសង្ស័យបាន។ ហេតុដូច្នេះ របៀបសម្រេចបាននូវតំណាងក្រាហ្វដែលមានគុណភាពខ្ពស់ដោយគ្មានការត្រួតពិនិត្យបានក្លាយជាការចាំបាច់សម្រាប់ករណីអនុវត្តជាច្រើន ដែលលើកទឹកចិត្តដល់ការសិក្សានេះ។ 35 42 50 26 27 49 12 19 43 4 5 46 តាមរយៈការពិនិត្យយ៉ាងយកចិត្តទុកដាក់លើទិន្នន័យដែលមានរចនាសម្ព័ន្ធក្រាហ្វដែលយើងបានប្រមូល យើងបានរកឃើញថាពួកវាជាទូទៅមកពីប្រភពផ្សេងៗគ្នាដូចជាបណ្តាញសង្គម បណ្តាញការដកស្រង់ និងបណ្តាញទំនាក់ទំនងដែលព័ត៌មានខ្លឹមសារ និងការតភ្ជាប់ដ៏ច្រើនមាននៅទីនោះ។ ឧទាហរណ៍ ទិន្នន័យនៅលើវេទិកាសង្គមជាច្រើនដូចជា Twitter, Flickr និង Facebook រួមមានលក្ខណៈពិសេសរបស់អ្នកប្រើប្រាស់ , ព័ត៌មានលម្អិតផ្ទាល់ខ្លួន អត្ថបទ រូបភាព IP និងទំនាក់ទំនងរបស់ពួកគេ , ទិញទំនិញដូចគ្នា ជាមិត្តភក្តិ។ ទិន្នន័យខ្លឹមសារដ៏សម្បូរបែបទាំងនេះគឺគ្រប់គ្រាន់ដើម្បីគាំទ្រកិច្ចការជីកកកាយជាបន្តបន្ទាប់ដោយគ្មានការណែនាំបន្ថែម៖ ប្រសិនបើធាតុពីរបង្ហាញពីភាពស្រដៀងគ្នាខ្លាំងនៅក្នុងលក្ខណៈពិសេស មានប្រូបាប៊ីលីតេខ្ពស់នៃការតភ្ជាប់រវាងពួកវា (ការទស្សន៍ទាយតំណភ្ជាប់) ហើយពួកវាទំនងជានឹងជាកម្មសិទ្ធិរបស់ប្រភេទដូចគ្នា (ការចាត់ថ្នាក់); ប្រសិនបើធាតុពីរទាំងពីរតភ្ជាប់ទៅធាតុតែមួយ ពួកវាទំនងជាមានលក្ខណៈស្រដៀងគ្នា (ការណែនាំ) ។ ក្នុងន័យនេះ ការរក្សាទុក និងទាញយកព័ត៌មានឱ្យបានច្រើនតាមដែលអាចធ្វើទៅបានពីបណ្តាញព័ត៌មានចូលទៅក្នុងលំហនៃការបង្កប់សម្រួលដល់ការរៀនតំណាងដែលមានគុណភាពខ្ពស់ដែលបង្ហាញពីការអនុវត្តដែលចង់បាននៅក្នុងកិច្ចការជីកកកាយដោយគ្មានទម្រង់នៃការត្រួតពិនិត្យណាមួយ។ ការរៀនតំណាងក្រាហ្វដោយគ្មានការត្រួតពិនិត្យគឺជាជម្រើសដែលពេញចិត្តជាងក្នុងករណីជាច្រើនដោយសារតែភាពសេរីពីស្លាក ជាពិសេសនៅពេលដែលយើងមានបំណងទាញយកអត្ថប្រយោជន៍ពីទិន្នន័យដែលគ្មានស្លាកដែលមានទំហំធំក្នុងពិភពពិត។ ឧ. ឧ. ដើម្បីទទួលមរតកព័ត៌មានដ៏សម្បូរបែបនៅក្នុងក្រាហ្វឱ្យបានពេញលេញ នៅក្នុងអត្ថបទនេះ យើងអនុវត្តការបង្កប់ក្រាហ្វដោយផ្អែកលើការបង្កើន Mutual Information (MI) ដោយទទួលបានការបំផុសគំនិតពីការអនុវត្តដែលទទួលបានជោគជ័យនៃវិធីសាស្ត្រ Deep Info-Max [ ] ដែលដំណើរការលើរូបភាព។ ដើម្បីស្វែងរកតំណាងដែលមានប្រយោជន៍ Deep InfoMax បណ្តុះបណ្តាល encoder ដើម្បីបង្កើន MI រវាងធាតុបញ្ចូលរបស់វា ( , រូបភាព) និងលទ្ធផល ( , វ៉ិចទ័រលាក់កំបាំង) ។ នៅពេលពិចារណា Deep InfoMax នៅក្នុងដែនក្រាហ្វ ឧបសគ្គដំបូងដែលយើងត្រូវឆ្លងកាត់គឺរបៀបកំណត់ MI រវាងក្រាហ្វ និងវ៉ិចទ័រលាក់កំបាំង ខណៈដែល topology នៃក្រាហ្វមានភាពស្មុគស្មាញជាងរូបភាព (សូមមើលរូបភាព ។ ឧបសគ្គមួយក្នុងចំណោមឧបសគ្គគឺត្រូវធានាថាអនុគមន៍ MI រវាងតំណាងលាក់កំបាំងរបស់ធាតុនីមួយៗ និងលក្ខណៈពិសេសនៃជិតខាងដែលបញ្ចូលរបស់វាគោរពតាមលក្ខណៈសម្បត្តិស៊ីមេទ្រី ឬសមមូល គឺមិនប្រែប្រួលចំពោះ permutation នៃជិតខាង។ ដូចជាការងារថ្មីមួយដែលពិចារណា MI Deep Graph Infomax (DGI) [ ] ដំបូងបានបង្កប់ក្រាហ្វបញ្ចូល និងក្រាហ្វដែលខូចទ្រង់ទ្រាយដែលត្រូវគ្នា បន្ទាប់មកសង្ខេបរូបភាពបញ្ចូលទៅក្នុងវ៉ិចទ័រមួយតាមរយៈអនុគមន៍ readout ចុងក្រោយ បង្កើន MI រវាងវ៉ិចទ័រគ summary នេះ និងតំណាងលាក់កំបាំងដោយការបែងចែកក្រាហ្វបញ្ចូល (គំរូវិជ្ជមាន) ពីក្រាហ្វដែលខូចទ្រង់ទ្រាយ (គំរូអវិជ្ជមាន) ។ រូបភាព ផ្តល់នូវទិដ្ឋភាពទូទៅដែលអាចយល់បានយ៉ាងងាយស្រួលនៃ DGI ។ ការបង្កើន MI ប្រភេទនេះត្រូវបានพิสูจน์ថាស្មើនឹងការបង្កើន MI រវាងលក្ខណៈពិសេសនៃធាតុបញ្ចូល និងវ៉ិចទ័រលាក់កំបាំង ប៉ុន្តែភាពសមមូលនេះរក្សាក្រោមលក្ខខណ្ឌជាច្រើនដែលបានកំណត់ទុកជាមុន , អនុគមន៍ readout គួរតែជា injective ដែលហាក់ដូចជាមានការរឹតបន្តឹងច្រើនពេកក្នុងករណីពិត។ សូម្បីតែយើងអាចធានាអត្ថិភាពនៃអនុគមន៍ readout injective ដោយការរចនាជាក់លាក់ , មួយដែលប្រើក្នុង DeepSets [ ] សមត្ថភាព injective នៃអនុគមន៍ readout ក៏ត្រូវបានជះឥទ្ធិពលដោយរបៀបដែលប៉ារ៉ាម៉ែត្ររបស់វាត្រូវបានបណ្តុះបណ្តាលផងដែរ។ មានន័យថា អនុគមន៍ដែលជា injective ដើមនៅតែមានហានិភ័យនៃការក្លាយទៅជា non-injective ប្រសិនបើវាត្រូវបានបណ្តុះបណ្តាលដោយគ្មានការត្រួតពិនិត្យពីខាងក្រៅ។ ហើយប្រសិនបើអនុគមន៍ readout មិនមែនជា injective ព័ត៌មានក្រាហ្វបញ្ចូលដែលមាននៅក្នុងវ៉ិចទ័រគ summary នឹងថយចុះនៅពេលដែលទំហំនៃក្រាហ្វកើនឡើង។ លើសពីនេះ DGI នៅតែស្ថិតក្នុង MI maximization ក្នុងកម្រិតក្រាហ្វ/កPatch ដ៏លំបាក។ ហេតុដូច្នេះនៅក្នុង DGI មិនមានការធានាថា encoder អាចទាញយកព័ត៌មានគ្រប់គ្រាន់ពីទិន្នន័យបញ្ចូលបានទេ ដោយសារតែវាមិនបាន correlating តំណាងលាក់កំបាំងជាមួយនឹងធាតុបញ្ចូលដើមរបស់វាដោយប្រុងប្រយ័ត្ន។ 20 ឧ. ឧ. 1) 41 1 ឧ. ឧ. 47 នៅក្នុងអត្ថបទនេះ យើងបានដាក់ចេញនូវវិធីសាស្រ្តដែលត្រង់ជាងមុនដើម្បីពិចារណាចំនួន MI ក្នុងន័យនៃរចនាសម្ព័ន្ធក្រាហ្វដោយមិនចាំបាច់ប្រើអនុគមន៍ readout ឬអនុគមន៍ខូចទ្រង់ទ្រាយណាមួយ។ យើងបាន derive MI ដោយផ្ទាល់ដោយការប្រៀបធៀបធាតុបញ្ចូល ( , sub-graph ដែលមានជិតខាងដែលបញ្ចូល) និងលទ្ធផល ( , តំណាងលាក់កំបាំងនៃធាតុនីមួយៗ) នៃ encoder ។ ហើយគួរឱ្យចាប់អារម្មណ៍ ការ derive តាមទ្រឹស្តីរបស់យើងបង្ហាញថា MI ដែលមានរូបមន្តដោយផ្ទាល់អាចត្រូវបានបំបែកទៅជាផលបូកមានទម្ងន់នៃ MIs ក្នុងតំបន់រវាងលក្ខណៈពិសេសនៃជិតខាងនីមួយៗ និងវ៉ិចទ័រលាក់កំបាំង។ តាមរបៀបនេះ យើងបានបំបែកលក្ខណៈពិសេសបញ្ចូល និងធ្វើឱ្យការគណនា MI អាចគ្រប់គ្រងបាន។ លើសពីនេះ រូបមន្ត MI ប្រភេទនេះអាចបំពេញតាមលក្ខណៈសម្បត្តិស៊ីមេទ្រីបានយ៉ាងងាយស្រួល ប្រសិនបើយើងកែតម្រូវតម្លៃនៃទម្ងន់។ យើងបានបញ្ជូនព័ត៌មានលម្អិតបន្ថែមទៀតទៅក្នុង § ។ ដោយសារ MI ខាងលើត្រូវបានវាស់វែងជាចម្បងនៅកម្រិតលក្ខណៈពិសេសនៃធាតុ យើងបានហៅវាថា Feature Mutual Information (FMI) ។ ឧ. ឧ. 3.1 បញ្ហាពីរដែលនៅសល់អំពី FMI៖ ទម្ងន់ដែលរួមបញ្ចូលគ្នានៅតែមិនស្គាល់ និង វាមិនបានគិតគូរពី topology ( , លក្ខណៈពិសេសនៃគែម)។ ដើម្បីដោះស្រាយបញ្ហាទាំងពីរនេះបន្ថែមទៀត យើងបានកំណត់ការវាស់វែង Graphical Mutual Information (GMI) របស់យើងដោយផ្អែកលើ FMI។ ជាពិសេស GMI អនុវត្តការកំណត់តម្លៃប្រកបដោយវិចារណញាណដោយការកំណត់ទម្ងន់នៅក្នុង FMI ស្មើនឹងភាពជិតគ្នារវាងជិតខាងនីមួយៗ និងធាតុគោលដៅក្នុងលំហតំណាង។ ចំពោះការរក្សារូបភាព topology ឱ្យនៅដដែល GMI បាន correlating ទម្ងន់ទាំងនេះបន្ថែមទៀតជាមួយនឹងលក្ខណៈពិសេសនៃគែមបញ្ចូលតាមរយៈពាក្យ MI បន្ថែមមួយ។ GMI ដែលជាលទ្ធផលគឺមិនប្រែប្រួល topology ហើយក៏អាចគណនាបានដោយ Mutual Information Neural Estimation (MINE) [ ។ ការរួមចំណែកសំខាន់នៃការងាររបស់យើងមានដូចខាងក្រោម៖ 1. 2. ឧ. • : យើងបានពង្រីកការប៉ាន់ប្រមាណ MI បែបប្រពៃណីទៅក្នុងដែនក្រាហ្វ ហើយបានស្នើគំនិតថ្មីមួយនៃ Graphical Mutual Information (GMI) accordingly ។ GMI គឺមិនគិតពី គំនិត ហានិភ័យដែលអាចកើតមានឡើងដោយអនុគមន៍ readout ដោយសារតែវាតែងតែពិចារណា MI រវាងក្រាហ្វបញ្ចូល និង embeddings កម្រិតខ្ពស់ក្នុងលក្ខណៈត្រង់។ • : តាមរយៈការវិភាគទ្រឹស្តីរបស់យើង យើងបានផ្តល់នូវទម្រង់ដែលអាចគណនាបាន និងអាចគណនាបានរបស់ GMI ដែលបំបែក អាល់ហ្គោរីត GMI ទាំងមូលទៅជាផលបូកមានទម្ងន់នៃ MIs ក្នុងតំបន់។ ជាមួយនឹងជំនួយនៃវិធីសាស្ត្រ MINE ការបង្កើន GMI អាចសម្រេចបានយ៉ាងងាយស្រួលក្នុងកម្រិតធាតុ។ • : យើងបានផ្ទៀងផ្ទាត់ប្រសិទ្ធភាពរបស់ GMI លើកិច្ចការចាត់ថ្នាក់ធាតុ និងការទស្សន៍ទាយតំណភ្ជាប់ដែលពេញនិយមជាច្រើន លទ្ធផលពិសោធន៍ រួមទាំងកិច្ចការ transductive និង inductive ។ ការពិសោធន៍បង្ហាញថាវិធីសាស្ត្ររបស់យើងផ្តល់នូវការអនុវត្តដ៏គួរឱ្យចាប់អារម្មណ៍លើ benchmarks ជាច្រើន ហើយវាក៏ជួនកាលលើសពីវិធីសាស្ត្រដែលមានការត្រួតពិនិត្យផងដែរ។ 2 ការងារដែលទាក់ទងគ្នា ស្របតាមការផ្តោតអារម្មណ៍នៃការងាររបស់យើង យើងបានពិនិត្យឡើងវិញនូវការងារពីមុននៅក្នុងតំបន់ពីរខាងក្រោម៖ ការប៉ាន់ប្រមាណទំនាក់ទំនង mutual information, និង បណ្តាញសរសៃប្រសាទសម្រាប់ការរៀនតំណាងលើក្រាហ្វ។ 1. 2. ។ ដូចដែល InfoMax principle [ ] គាំទ្រការបង្កើន MI រវាងធាតុបញ្ចូល និងលទ្ធផលនៃបណ្តាញសរសៃប្រសាទ វិធីសាស្ត្រជាច្រើនដូចជាអាល់ហ្គោរីត ICA [ , ] បានព្យាយាមអនុវត្តគំនិត MI ក្នុងការរៀនលក្ខណៈពិសេសដោយគ្មានការត្រួតពិនិត្យ។ ទោះជាយ៉ាងណាក៏ដោយ វិធីសាស្ត្រទាំងនេះមិនអាចពង្រីកទៅបណ្តាញសរសៃប្រសាទជ្រៅបានយ៉ាងងាយស្រួលដោយសារតែភាពលំបាកក្នុងការគណនា MI រវាងអថេរต่อเนื่องដែលមានវិមាត្រខ្ពស់។ ជាសំណាងល្អ Mutual Information Neural Estimation (MINE) [ ] បានធ្វើឱ្យការប៉ាន់ប្រមាណ MI នៅលើបណ្តាញសរសៃប្រសាទជ្រៅអាចធ្វើទៅបានតាមរយៈការបណ្តុះបណ្តាលបណ្តាញស្ថិតិជាអ្នកចាត់ថ្នាក់ដើម្បីបែងចែកគំរូដែលមកពីការចែកចាយរួម និងផលនៃ marginals នៃអថេរចៃដន្យពីរ។ ជាពិសេស MINE ប្រើរូបមន្ត MI ដែលផ្អែកលើ KL យ៉ាងត្រឹមត្រូវ ខណៈពេលដែល alternative មិនមែន KL គឺ Jensen-Shannon divergence (JSD) [ ] អាចត្រូវបានប្រើដោយមិនមានការព្រួយបារម្ភអំពីតម្លៃពិតប្រាកដនៃ MI ។ ការប៉ាន់ប្រមាណទំនាក់ទំនង mutual information 3 1 21 2 30 ។ ជាមួយនឹងការអភិវឌ្ឍន៍យ៉ាងឆាប់រហ័សនៃ graph neural networks (GNNs) អាល់ហ្គោរីតរៀនតំណាងក្រាហ្វជាច្រើនដោយផ្អែកលើ GNNs ត្រូវបានស្នើឡើងក្នុងប៉ុន្មានឆ្នាំចុងក្រោយនេះ ដែលបង្ហាញពីការអនុវត្តដ៏ខ្លាំងក្លាក្នុងការប្រៀបធៀបទៅនឹងវិធីសាស្ត្រ embedding បែបប្រពៃណីដែលផ្អែកលើ random walk និង factorization [ , , , , ]។ ជាទូទៅ វិធីសាស្ត្រទាំងនេះអាចត្រូវបានបែងចែកជាប្រភេទដែលមានការត្រួតពិនិត្យ និងគ្មានការត្រួតពិនិត្យ។ ក្នុងចំណោមពួកគេ មានអក្សរសាស្ត្រដ៏សម្បូរបែបស្តីពីការរៀនតំណាងដោយមានការត្រួតពិនិត្យលើក្រាហ្វ [ , , , , ]។ ទោះបីជាមានភាពខុសគ្នានៅក្នុងស្ថាបត្យកម្មបណ្តាញក៏ដោយ ពួកគេសម្រេចបានជោគជ័យផ្នែកពិសោធន៍ដោយមានជំនួយពីស្លាកដែលជារឿយៗមិនអាចចូលដំណើរការបានក្នុងស្ថានភាពជាក់ស្តែង។ ក្នុងករណីនេះ វិធីសាស្ត្ររៀនក្រាហ្វដោយគ្មានការត្រួតពិនិត្យ [ , , ] មានសក្តានុពលអនុវត្តកាន់តែទូលំទូលាយ។ វិធីសាស្ត្រល្បីឈ្មោះគឺ GraphSAGE [ ] ជាស៊ុមការបំពាក់ដើម្បីបណ្ដុះបណ្ដាល GNNs ដោយគោលបំណងផ្អែកលើ random-walk ក្នុងការកំណត់គ្មានការត្រួតពិនិត្យរបស់វា។ ហើយថ្មីៗនេះ DGI [ ] បានអនុវត្តគំនិតនៃការបង្កើន MI ទៅក្នុងដែនក្រាហ្វ ហើយទទួលបានការអនុវត្តដ៏ខ្លាំងក្លាក្នុងលក្ខណៈគ្មានការត្រួតពិនិត្យ។ ទោះជាយ៉ាងណាក៏ដោយ DGI អនុវត្តការបង្កើនប្រកបដោយភាពหยาบ ( . ., ការបង្កើន MI នៅកម្រិតក្រាហ្វ/កPatch) ដែលធ្វើឱ្យវាពិបាកក្នុងការរក្សារូបភាពដែលละเอียดខ្ពស់នៅក្នុងក្រាហ្វបញ្ចូល។ លើសពីនេះ លក្ខខណ្ឌដែលបានដាក់លើអនុគមន៍ readout ដែលប្រើក្នុង DGI ហាក់ដូចជាមានការរឹតបន្តឹងច្រើនពេកក្នុងករណីពិត។ ផ្ទុយទៅវិញ យើងផ្តោតលើការលុបបំបាត់ការរឹតបន្តឹងនៃអនុគមន៍ readout ហើយឈានដល់ការបង្កើន graphical mutual information ក្នុងកម្រិតធាតុ ដោយការបង្កើន MI រវាងធាតុបញ្ចូល និងលទ្ធផលនៃ encoder ដោយផ្ទាល់។ តំណាងដែល derived ដោយវិធីសាស្ត្ររបស់យើងគឺមានភាពស្មុគស្មាញជាងក្នុងការរក្សារូបភាពបញ្ចូល ដែលធានាសក្តានុពលរបស់វានៅក្នុងកិច្ចការជីកកកាយក្រាហ្វបន្តបន្ទាប់ , ការចាត់ថ្នាក់ធាតុ ការទស្សន៍ទាយតំណភ្ជាប់ និងការណែនាំ។ បណ្តាញសរសៃប្រសាទសម្រាប់ការរៀនតំណាងក្រាហ្វ 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 i e ឧ. 3 GRAPHICAL MUTUAL INFORMATION: ការកំណត់ និង ការបង្កើន មុននឹងបន្តទៅមុខទៀត យើងនឹងផ្តល់នូវគំនិតបឋមដែលប្រើក្នុងអត្ថបទនេះ។ សូមឱ្យ G = (V, E) តំណាងឱ្យក្រាហ្វមួយដែលមានធាតុ N ∈ V និងគែម = ( , ) ∈ E. លក្ខណៈពិសេសនៃធាតុ ∈ vi eij vi vj X R × = { 1, · · · , } ដោយ ∈ R តំណាងឱ្យលក្ខណៈពិសេសសម្រាប់ធាតុ ។ matrix adjacency ∈ R × តំណាងឱ្យការតភ្ជាប់គែម ដែល ដែលទាក់ទងនឹងគែម អាចជាលេខពិត ឬវ៉ិចទ័រពហុវិមាត្រ១. N D x x N xi D vi A N N Aij eij គោលដៅនៃការរៀនតំណាងក្រាហ្វគឺដើម្បីរៀន encoder : R × × R × → R × ′ , ដូច្នេះវ៉ិចទ័រលាក់កំបាំង = { 1, · · · , } = ( , ) បង្ហាញពីតំណាងកម្រិតខ្ពស់សម្រាប់ធាតុទាំងអស់។ ដំណើរការ encoding អាចត្រូវបានសរសេរឡើងវិញក្នុងទម្រង់ node-wise ។ f N D N N N D H h hN f X A ដើម្បីបង្ហាញពីរឿងនេះ យើងបានកំណត់ និង សម្រាប់ធាតុ ជាលក្ខណៈពិសេសនៃជិតខាងរបស់វា និង matrix adjacency ដែលត្រូវគ្នា Xi Ai i តាមលក្ខខណ្ឌលើជិតខាង។ ជាពិសេស មានធាតុជិតខាង k-hop ទាំងអស់របស់ ជាមួយនឹង ≤ នៅពេលដែល encoder គឺជា GNN កម្រិត ‐layer ហើយវាមានធាតុ ផ្ទាល់ ប្រសិនបើយើងបន្ថែម self-loops ទៅក្នុង matrix adjacency ។ នៅទីនេះ យើងហៅ sub-graph ដែលពង្រីកដោយ និង ថាជា សម្រាប់ធាតុ ដែលតំណាងដោយ G ។ ជាមួយនឹងការកំណត់ support graph ការ encoding សម្រាប់ធាតុនីមួយៗក្លាយជា = (G ) = ( , ) ។ Xi vi k l f l i Xi Ai support graph i i hi f i f Xi Ai នៅក្នុង Deep InfoMax [ ] គោលបំណងបណ្តុះបណ្តាលនៃ encoder គឺដើម្បីបង្កើន MI រវាងធាតុបញ្ចូល និងលទ្ធផលរបស់វា។ MI ត្រូវបានប៉ាន់ប្រមាណដោយការប្រើបណ្តាញស្ថិតិជា discriminator ដើម្បីចាត់ថ្នាក់គំរូដែលមកពីការចែកចាយរួម និងគំរូដែលទាញចេញពីផលនៃ marginals ។ ជាធម្មតា នៅពេលដែលសម្របគំនិត Deep InfoMax ទៅនឹងក្រាហ្វ យើងគួរតែកើន MI រវាងតំណាង និង support graph G សម្រាប់ធាតុនីមួយៗ។ យើងបានកំណត់ graphical MI បែបនេះថា ( ; G ). ប៉ុន្តែវាមិនត្រង់ទេក្នុងការកំណត់ I (hi ; Gi ). ឧបសគ្គមាន៖ ឧបសគ្គក្នុងការកំណត់ graphical mutual information ។ 20 hi i I hi i • graphical MI គួរតែមិនប្រែប្រួលទាក់ទងនឹងសន្ទស្សន៍ធាតុ។ និយាយម្យ៉ាងទៀត យើងគួរតែមាន ( ; G ) = ( ; G′ ), ប្រសិនបើ G និង G′ គឺ isomorphic នឹងគ្នា។ I hi i I hi i i i • ប្រសិនបើយើងទទួលយកវិធីសាស្ត្រ MINE សម្រាប់ការគណនា MI discriminator នៅក្នុង MINE ទទួលយកតែធាតុបញ្ចូលដែលមានទំហំថេរប៉ុណ្ណោះ។ នេះនៅតែមិនអាចទៅរួចសម្រាប់ G ដោយសារតែ G ផ្សេងៗជាធម្មតារួមបញ្ចូលចំនួនធាតុផ្សេងៗគ្នា ហើយហេតុដូច្នេះមានទំហំខុសៗគ្នា។ i i ដើម្បីដោះស្រាយបញ្ហានៃការកំណត់ graphical mutual information អត្ថបទនេះចាប់ផ្តើមដោយការណែនាំគំនិតនៃ Feature Mutual Information (FMI) ដែលពឹងផ្អែកតែលើលក្ខណៈពិសេសនៃធាតុ។ លើសពីការបំផុសគំនិតពីការបំបែក FMI យើងបានកំណត់ Graphical Mutual Information (GMI) ដែលគិតគូរទាំងលក្ខណៈពិសេសនៃធាតុ និង 3.1 Feature Mutual Information យើងបានកំណត់ការចែកចាយប្រូបាប៊ីលីតេ empirical នៃលក្ខណៈពិសេសធាតុ ថា ( ), ប្រូបាប៊ីលីតេនៃ ថា ( ), និងការចែកចាយរួមដោយ ( , ). យោងតាមទ្រឹស្តីព័ត៌មាន MI រវាង និង ត្រូវបានកំណត់ថា Xi p Xi hi p hi p hi Xi hi Xi គួរឱ្យចាប់អារម្មណ៍ យើងមានទ្រឹស្តីបទបំបែក mutual information បន្តបន្ទាប់គ្នាសម្រាប់ការគណនា ( ; ). I hi Xi ទ្រឹស្តីបទ ១ (Mutual Information Decomposition) ។ ( | ) ( ; ) ប្រសិនបើប្រូបាប៊ីលីតេតាមលក្ខខណ្ឌ p hi Xi គឺ multiplicative (សូមមើលនិយមន័យ multiplicative ក្នុង [ ]), global mutual information I 36 hi Xi ដែលបានកំណត់ក្នុងសមីការ (1) អាចត្រូវបានបំបែកជាផលបូកមានទម្ងន់នៃ local MIs គឺ ≤ ≤ 1 ដោយ គឺជាជិតខាងទី របស់ធាតុ , គឺជាចំនួនធាតុទាំងអស់នៅក្នុង , និងទម្ងន់ គោរពតាម xj j i in Xi wij 1 wij សម្រាប់ នីមួយៗ។ j ដើម្បីพิสูจน์ទ្រឹស្តីបទនេះ យើងបានណែនាំ lemmas ពីរ និងនិយមន័យមួយជាមុនសិន។ Lemma 1. សម្រាប់អថេរចៃដន្យ X, Y, និង Z ណាមួយ យើងមាន ជាមួយនឹងការបំបែកនៅក្នុងទ្រឹស្តីបទ យើងអាចគណនាផ្នែកខាងស្តាំនៃសមីការ តាមរយៈ MINE ជាធាតុបញ្ចូលរបស់ discriminator ឥឡូវនេះបានក្លាយជាគូ ( , ) ដែលមានទំហំនៅតែថេរ ( , ′ ‐by‐ ) ។ លើសពីនេះ យើងអាចកែតម្រូវទម្ងន់ដើម្បីឆ្លុះបញ្ចាំងការផ្លាស់ប្តូរ isomorphic នៃក្រាហ្វបញ្ចូល។ ឧទាហរណ៍ ប្រសិនបើ មានតែជិតខាងមួយ hop របស់ធាតុ ការកំណត់ទម្ងន់ទាំងអស់ឲ្យស្មើគ្នា នឹងនាំឲ្យមាន MI ដូចគ្នាចំពោះធាតុបញ្ចូលក្នុងលំដាប់ផ្សេងៗគ្នា។ 1, (2) hi xj ឧ. D D Xi i ទោះបីជាមានអត្ថប្រយោជន៍ខ្លះនៃការបំបែកក៏ដោយ វាពិបាកក្នុងការកំណត់លក្ខណៈតម្លៃពិតប្រាកដនៃទម្ងន់ ដោយសារតែពួកវាទាក់ទងទៅនឹងតម្លៃនៃ ( ; ) និងការចែកចាយប្រូបាប៊ីលីតេមូលដ្ឋានរបស់វា។ I hi xj វិធីសាស្ត្រទ្រីវីយាល់គឺការកំណត់ទម្ងន់ទាំងអស់ឲ្យស្មើនឹង , បន្ទាប់មកការបង្កើនផ្នែកខាងស្តាំនៃសមីការ គឺស្មើនឹងការបង្កើនដែនកំណត់ខាងក្រោមនៃ ( ; ), ដែលតាមនោះ FMI ពិតក៏ត្រូវបានបង្កើនក្នុងកម្រិតខ្លះផងដែរ។ ក្រៅពីវិធីសាស្ត្រនេះ យើងក៏បានផ្តល់នូវដំណោះស្រាយដែលបានកែលម្អបន្ថែមទៀតដោយការពិចារណាវ៉ិចទ័រទម្ងន់ជា attention ដែលអាចបណ្តុះបណ្តាលបាន ដែលជាប្រធានបទនៅក្នុងផ្នែករងបន្ទាប់។ 1 (2) I hi Xi ការបំផុសគំនិតពីការបំបែកនៅក្នុងទ្រឹស្តីបទ យើងព្យាយាមបង្កើតទម្ងន់ដែលអាចបណ្តុះបណ្តាលបានពីទិដ្ឋភាពផ្សេងទៀតនៃក្រាហ្វ ( , 3.2 Topology-Aware Mutual Information 1, ឧ. ទិដ្ឋភាព topological) ដូច្នេះតម្លៃនៃ អាចមានភាពបត់បែនជាងមុន និងចាប់យកលក្ខណៈសម្បត្តិដើមរបស់ក្រាហ្វ។ ចុងក្រោយយើងបាន derive ការកំណត់ Graphical Mutual Information (GMI) ។ wij និយមន័យ ២ (Graphical Mutual Information) ។ G = ( , ) MI រវាងវ៉ិចទ័រលាក់កំបាំង h និង support graph របស់វា X A ត្រូវបានកំណត់ថា ដោយដែលនិយមន័យនៃ និង គឺដូចគ្នានឹងទ្រឹស្តីបទ 1, គឺជាទម្ងន់/លក្ខណៈពិសេសនៃគែមនៅក្នុង matrix adjacency A, និង σ (·) គឺជាអនុគមន៍ sigmoid ។ xj in aij wij coped with in experiments សមត្ថភាពនៃការរួមចំណែកនៃ local MI ទៅ global one ។ យើងបានអនុវត្តការរួមចំណែកនៃ I (hi ; xj ) ដោយភាពស្រដៀងគ្នារវាងតំណាង hi និង hj ( , = σ ( )) ។ ក្នុងពេលជាមួយគ្នានេះ ពាក្យ I ( ; ) បង្កើន MI រវាង និងទម្ងន់/លក្ខណៈពិសេសគែមនៃក្រាហ្វបញ្ចូល ( , ) ដើម្បីបង្ខំ ឲ្យអនុលោមតាមទំនាក់ទំនង topological ។ ក្នុងន័យនេះ កម្រិតនៃការរួមចំណែកនឹងត្រូវនឹងភាពជិតគ្នានៅក្នុងរចនាសម្ព័ន្ធ topological ដែលជាទូទៅត្រូវបានទទួលយកជាការពិតដែលថា អាចធំជាង ប្រសិនបើធាតុ គឺ “ជិត” ទៅនឹងធាតុ ហើយតូចជាងបើមិនដូច្នេះទេ។ យុទ្ធសាស្ត្រនេះបានផ្តល់សំណងដល់ភាពខ្វះខាតដែល FMI ផ្តោតតែលើលក្ខណៈពិសេសនៃធាតុ ហើយធ្វើឱ្យ local MIs រួមចំណែកទៅ global one តាមការសម្រួល។ ដើម្បីយល់កាន់តែច្បាស់អំពីគំនិតនៃ attention នៅក្នុងយុទ្ធសាស្ត្រនេះ អ្នកអាចយោងទៅ GCN ដែលមានមូលដ្ឋានលើ attention។ សូមកត់សម្គាល់ថា ការកំណត់នៃសមីការ (10) គឺអាចអនុវត្តបានសម្រាប់ករណីទូទៅ។ សម្រាប់ស្ថានភាពជាក់លាក់មួយចំនួន យើងអាចកែតម្រូវសមីការ (10) ដើម្បីភាពងាយស្រួល។ ឧទាហរណ៍ នៅពេលដោះស្រាយជាមួយក្រាហ្វដែលមិនមានទម្ងន់ (មានន័យថាតម្លៃគែមគឺ 1 ប្រសិនបើតភ្ជាប់ និង 0 បើមិនដូច្នេះ) យើងអាចជំនួសពាក្យ MI ទីពីរ I ( ; ) ជាមួយនឹង negative cross-entropy loss ។ ការកាត់បន្ថយ cross-entropy ក៏រួមចំណែកដល់ការបង្កើន MI ផងដែរ ហើយវាផ្តល់នូវការគណនាដែលមានប្រសិទ្ធភាពជាង។ យើងបានបញ្ជូនព័ត៌មានលម្អិតបន្ថែមទៀតនៅក្នុងផ្នែកបន្ទាប់។ ដោយសរុបមក មានអត្ថប្រយោជន៍ជាច្រើនដោយការកំណត់នៃសមីការ (10)។ ទីមួយ MI ប្រភេទនេះមិនប្រែប្រួលចំពោះការផ្លាស់ប្តូរ isomorphic នៃក្រាហ្វបញ្ចូល។ ទីពីរ វាមានលទ្ធភាពគណនាដោយសារតែធាតុនីមួយៗនៅផ្នែកខាងស្តាំអាចត្រូវបានប៉ាន់ប្រមាណដោយ MINE ។ សំខាន់ជាងនេះ GMI មានអានុភាពច្រើនជាង DGI ក្នុងការចាប់យកព័ត៌មានបញ្ចូលដើមដោយសារតែការ correlating យ៉ាងច្បាស់លាស់រវាងវ៉ិចទ័រលាក់កំបាំង និងលក្ខណៈពិសេសបញ្ចូលនៃធាតុ និងគែមទាំងពីរក្នុងកម្រិតធាតុដែលละเอียดខ្ពស់។ តាមវិចារណញាណ ទម្ងន់ ក្នុងពាក្យទីមួយនៃសមីការ (10) វាស់វែង are unweighted. Formally, we compute I (wij ; aij ) = aijloдwij + (1 − aij )loд(1 − wij ). (12) By maximizing I (hi ; Gi ) with the sum of Eq. (11) and Eq. (12) over all hidden vectors H , we arrive at our complete objective function for ឧ. wij hThj wij aij wij ឧ. aij wij wij j i wij aij 3.3 Maximization of GMI ឥឡូវនេះយើងបានបង្កើនផ្នែកខាងស្តាំនៃសមីការ ដោយផ្ទាល់ ដោយមានជំនួយពី MINE។ សូមចំណាំថា MINE ប៉ាន់ប្រមាណដែនកំណត់ខាងក្រោមនៃ MI ជាមួយនឹងការតំណាង Donsker-Varadhan (DV) [ នៃ KL-divergence រវាងការចែកចាយរួម និងផលនៃ marginals ។ ដោយសារតែយើងផ្តោតកាន់តែច្រើនលើការបង្កើន MI ជាជាងការទទួលបានតម្លៃពិតប្រាកដរបស់វា alternatives មិនមែន KL ផ្សេងទៀតដូចជា Jensen-Shannon MI estimator (JSD) [ ] និង Noise-Contrastive estimator (infoNCE) [ ] អាចត្រូវបានប្រើដើម្បីជំនួសវា។ ផ្អែកលើលទ្ធផលពិសោធន៍ និងការវិភាគក្នុង [ ] យើងបានជ្រើសរើស JSD estimator នៅក្នុងអត្ថបទនេះដើម្បីជាប្រយោជន៍នៃប្រសិទ្ធភាព និងភាពងាយស្រួល ដោយសារតែ infoNCE estimator គឺប្រកាន់រឿង sampling strategy អវិជ្ជមាន (ចំនួនគំរូអវិជ្ជមាន) ហេតុដូច្នេះវាអាចក្លាយជាឧបសគ្គសម្រាប់ datasets ធំៗដែលមានអង្គចងចាំដែលអាចរកបានថេរ។ ផ្ទុយទៅវិញ JSD estimator ដែលមិនប្រកាន់រឿង sampling strategy អវិជ្ជមាន និងការអនុវត្តដ៏គួរឱ្យគោរពរបស់វានៅក្នុងកិច្ចការជាច្រើនបានធ្វើឱ្យវាកាន់តែសមស្របសម្រាប់កិច្ចការរបស់យើង។ ជាពិសេស យើងបានគណនា ( ; ) នៅក្នុងពាក្យទីមួយនៃសមីការ ដោយ (10) 30 31 20 I hi xj (10) ដោយ D : × ′ → R គឺជា discriminator ដែលត្រូវបានបង្កើតឡើងដោយបណ្តាញសរសៃប្រសាទដែលមានប៉ារ៉ាម៉ែត្រ . គឺជាគំរូអវិជ្ជមានដែលបានគូរពី P = P, និង ( ) = (1 + ) តំណាងឱ្យអនុគមន៍ soft-plus ។ w D D w x j sp x loд ex ដូចដែលបានរៀបរាប់នៅក្នុង § យើងបានបង្កើន ( ; ) ដោយការគណនា cross-entropy របស់វាជំនួសឱ្យការប្រើ JSD estimator ដោយសារតែក្រាហ្វដែលយើងបានដោះស្រាយក្នុងការពិសោធន៍គឺមិនមានទម្ងន់។ ជាផ្លូវការ យើងបានគណនា 3.2, I wij aij ដោយការបង្កើន I (hi ; Gi ) ជាមួយនឹងផលបូកនៃសមីការ (11) និង (12) លើធាតុលាក់កំបាំង H ទាំងអស់ យើងបានឈានដល់មុខងារគោលបំណងទាំងមូលរបស់យើងសម្រាប់ការបង្កើនប្រសិទ្ធភាព GMI ។ លើសពីនេះ យើងអាចបន្ថែម trade-off parameters បន្ថែមទៀតដើម្បីតុល្យភាពសមីការ (11) និង (12) សម្រាប់ការបត់បែនកាន់តែច្រើន។ 4 ការពិសោធន៍ នៅក្នុងផ្នែកនេះ យើងបានវាយតម្លៃប្រសិទ្ធភាពរបស់ GMI លើកិច្ចការពីរដែលជារឿងធម្មតា៖ ការចាត់ថ្នាក់ធាតុ (transductive និង inductive) និងការទស្សន៍ទាយតំណភ្ជាប់។ ការប្រៀបធៀបបន្ថែមដែលមានលក្ខណៈសមរម្យរវាង GMI និងអាល់ហ្គោរីតគ្មានការត្រួតពិនិត្យពីរទៀត (EP-B និង DGI) បានបង្ហាញពីប្រសិទ្ធភាពរបស់វាកាន់តែច្បាស់។ លើសពីនេះ យើងបានផ្តល់នូវការបង្ហាញภาพ t-SNE plots និងវិភាគឥទ្ធិពលនៃគំរូ depth ។ 4.1 Datasets ដើម្បីវាយតម្លៃគុណភាពនៃវិធីសាស្ត្ររបស់យើងនៅតាមកិច្ចការនីមួយៗ យើងបានប្រើប្រាស់ datasets benchmark ដែលត្រូវបានប្រើប្រាស់ជាទូទៅចំនួន 4 ឬ 5 នៅក្នុងការងារពីមុន [ , , ]។ ស្ថិតិលម្អិតត្រូវបានផ្តល់ជូននៅក្នុងតារាង 16 25 41 1. នៅក្នុងកិច្ចការចាត់ថ្នាក់ Cora, Citeseer, និង PubMed [ ]2 គឺជាបណ្តាញការដកស្រង់ ដែលធាតុតំណាងឱ្យឯកសារ និងគែមតំណាងឱ្យការដកស្រង់។ ឯកសារនីមួយៗត្រូវបានភ្ជាប់ជាមួយនឹង vector តំណាង bag-of-words ហើយជាកម្មសិទ្ធិរបស់ថ្នាក់ដែលបានកំណត់ទុកជាមុន។ អនុលោមតាមការរៀបចំ transductive នៅក្នុង [ , ] ការបណ្តុះបណ្តាលត្រូវបានអនុវត្តលើធាតុទាំងអស់ ហើយធាតុធ្វើតេស្តចំនួន 1000 ត្រូវបានប្រើប្រាស់សម្រាប់ការវាយតម្លៃ។ Reddit3 គឺជាបណ្តាញសង្គមដ៏ធំមួយដែលមានការបង្ហោះ Reddit ច្រើនដែលបានបង្កើតឡើងក្នុងខែកញ្ញា ឆ្នាំ 2014 [ ]។ ការបង្ហោះត្រូវបានចាត់ទុកជាធាតុ និងគែមមានន័យថាអ្នកប្រើប្រាស់ដូចគ្នាបានផ្តល់យោបល់។ 38 25 41 16 ![ តារាង 1: ស្ថិតិ នៃ datasets ដែលបានប្រើប្រាស់ក្នុងការពិសោធន៍។ ](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-eph3eec.jpeg) ស្លាកថ្នាក់គឺជាសហគមន៍ ហើយគោលបំណងរបស់យើងគឺដើម្បីទស្សន៍ទាយថាតើការបង្ហោះផ្សេងៗជាកម្មសិទ្ធិរបស់សហគមន៍ណា។ PPI3 គឺជា dataset នៃអន្តរកម្មប្រូតេអ៊ីន-ប្រូតេអ៊ីន ដែលមានក្រាហ្វជាច្រើនទាក់ទងនឹងជាលិកាមនុស្សផ្សេងៗ [ ]។ ក្រុមហ្សែនទីតាំង ក្រុមហ្សែនmotif និងហ្សែននៃប្រព័ន្ធភាពស៊ាំត្រូវបានគេមើលឃើញថាជាលក្ខណៈពិសេសនៃធាតុ ហើយធាតុនីមួយៗមានស្លាកសរុបចំនួន 121 ដែលបានផ្ដល់ដោយក្រុមហ្សែន ontology ។ ការចាត់ថ្នាក់មុខងារប្រូតេអ៊ីនដែលអាចជាកម្មសិទ្ធិរបស់ប្រភេទជាច្រើនក្នុងក្រាហ្វ PPI ផ្សេងៗគ្នាគឺជាគោលបំណងរបស់យើង។ អនុលោមតាមការរៀបចំ inductive នៅក្នុង [ ] នៅលើ Reddit យើងបានបញ្ជូនការបង្ហោះដែលធ្វើឡើងក្នុងរយៈពេល 20 ថ្ងៃដំបូងទៅកាន់គំរូសម្រាប់ការបណ្តុះបណ្តាល ចំណែកឯអ្វីដែលនៅសល់ត្រូវបានប្រើប្រាស់សម្រាប់ការធ្វើតេស្ត (ជាមួយនឹង 30% ត្រូវបានប្រើប្រាស់សម្រាប់ការផ្ទៀងផ្ទាត់); នៅលើ PPI មានក្រាហ្វ 20 សម្រាប់បណ្តុះបណ្តាល 2 សម្រាប់ការផ្ទៀងផ្ទាត់ និង 2 សម្រាប់ការធ្វើតេស្ត។ វាគួរតែត្រូវសង្កត់ធ្ងន់ថា សម្រាប់ Reddit និង PPI ការធ្វើតេស្តត្រូវបានអនុវត្តលើធាតុ និងក្រាហ្វដែលមិនធ្លាប់ឃើញ (មិនបានបណ្តុះបណ្តាល) ចំណែកឯ datasets ទាំងបីដំបូងត្រូវបានប្រើប្រាស់សម្រាប់ការរៀន transductive ។ 52 16 នៅក្នុងកិច្ចការទស្សន៍ទាយតំណភ្ជាប់ BlogCatalog4 គឺជាគេហទំព័រ blogging សង្គម ដែល blogger តាមដានគ្នាទៅវិញទៅមក និងចុះឈ្មោះ blog របស់ពួកគេក្រោមប្រភេទដែលបានកំណត់ទុកជាមុនចំនួន 6 ។ ស្លាកនៃ blog ត្រូវបានយកធ្វើជាលក្ខណៈពិសេសនៃធាតុ។ Flickr4 គឺជាគេហទំព័រចែករំលែករូបភាព ដែលអ្នកប្រើប្រាស់មានអន្តរកម្មជាមួយអ្នកដទៃ និងបង្កើតបណ្តាញសង្គម។ អ្នកប្រើប្រាស់បង្ហោះរូបថតដែលមានថ្នាក់ដែលបានកំណត់ទុកជាមុនចំនួន 9 និងជ្រើសរើសស្លាកដែលភ្ជាប់ដើម្បីឆ្លុះបញ្ចាំងពីចំណាប់អារម្មណ៍របស់ពួកគេ ដែលផ្តល់ព័ត៌មានលក្ខណៈ។ ការពិពណ៌នាអំពី Cora និង PPI ត្រូវបានលុបចោលដើម្បីភាពខ្លី។ អនុលោមតាមការកំណត់ពិសោធន៍ និងសូចនាករវាយតម្លៃក្នុង ដោយផ្តល់ឱ្យក្រាហ្វមួយដែលមានផ្នែកនៃគែមត្រូវបានលុបចេញ យើងមានគោលបំណងទស្សន៍ទាយតំណភ្ជាប់ដែលបាត់បង់ទាំងនេះ។ សម្រាប់ Cora, BlogCatalog, និង Flickr យើងបានលុបគែម 20%, 50%, និង 70% ដោយចៃដន្យ ខណៈពេលដែលធានាថាបណ្តាញដែលនៅសល់បន្ទាប់ពីការលុបគែមនៅតែមានការតភ្ជាប់ ហើយប្រើប្រាស់បណ្តាញដែលខូចសម្រាប់ការបណ្តុះបណ្តាល។ ចំពោះ PPI យើងបានចាត់ទុកផ្នែកខ្លះនៃគែមដែលមិនបានឃើញក្នុងអំឡុងពេលបណ្តុះបណ្តាលជាគោលដៅនៃការទស្សន៍ទាយជំនួសឱ្យការលុបគែមដោយមនុស្សបង្កើត។ 4.2 ការកំណត់ពិសោធន៍ យើងបានជ្រើសរើសគំរូ Graph Convolutional Network (GCN)ស្តង់ដារជាមួយនឹងច្បាប់ propagation តាមកម្រិតដូចខាងក្រោមជា encoder សម្រាប់ទាំងកិច្ចការចាត់ថ្នាក់ និងការទស្សន៍ទាយតំណភ្ជាប់៖ ការរចនា Encoder ។ ដោយ Aˆ = D -1/2AD - 1/2A = A + In, Dii = Aij, H (1) និង H (I + 1) គឺជា matrices ធាតុបញ្ចូល និងលទ្ធផលនៃកម្រិត ‐th, ( ) គឺជា matrix ទម្ងន់ដែលអាចបណ្តុះបណ្តាលបានតាមកម្រិត។ នៅទីនេះ ការផ្លាស់ប្តូរ non-linear ដែលយើងបានអនុវត្តគឺអនុគមន៍ PReLU (parametric ReLU) [ ] ។ វាគួរតែត្រូវបានទទួលស្គាល់ថាសម្រាប់ធាតុ , ជិតខាង នៅក្នុង support graph Gi របស់វាមានធាតុ i ផ្ទាល់ ដោយសារ self-loops ត្រូវបានបញ្ចូលតាមរយៈ A¯ ។ l W l σ 17 i Xi ដើម្បីកាន់តែច្បាស់ នោះ encoder ដែលយើងបានប្រើលើ Citeseer និង PubMed គឺជា GCN កម្រិតមួយដែលមានវិមាត្រលទ្ធផលជា ′ = 512 ។ ហើយនៅលើ Cora, Reddit, BlogCatalog, Flickr, និង PPI យើងបានប្រើ GCN កម្រិតពីរជា encoder របស់យើង។ នៅទីនេះ យើងមានវិមាត្រលាក់កំបាំងជា ′ = 512 នៅក្នុងស្រទាប់ GCN នីមួយៗ។ សូមចំណាំថាការប្រើប្រាស់ GCN encoder ដែលស្រដៀងគ្នាសម្រាប់ទាំងកិច្ចការ transductive និង inductive classification ធ្វើឱ្យវិធីសាស្ត្រដែលបានស្នើឡើងរបស់យើងងាយស្រួលក្នុងការតាមដាន និងពង្រីកទៅបណ្តាញធំៗជាង DGI ដោយសារតែ DGI ត្រូវតែរចនា encoder ដែលប្រែប្រួលដើម្បីសម្របតាមកិច្ចការរៀនផ្សេងៗគ្នា ជាពិសេស encoder ដែលប្រើក្នុងកិច្ចការ inductive គឺស្មុគស្មាញ និងពិបាកខ្លាំង ដែលមិនមែនជាមិត្តភាពសម្រាប់ការអនុវត្តជាក់ស្តែង។ D D discriminator នៅក្នុងសមីការ វាយតម្លៃគូ feature ធាតុបញ្ចូល-លទ្ធផលតាមរយៈអនុគមន៍ bilinear ដ៏សាមញ្ញ ដែលស្រដៀងនឹង discriminator ដែលប្រើក្នុង ការរចនា Discriminator ។ (11) : ដោយ Θ តំណាងឱ្យ matrix scoring ដែលអាចបណ្តុះបណ្តាលបាន និងអនុគមន៍ activation ដែលយើងបានអនុវត្តគឺ sigmoid ដែលមានគោលបំណងបម្លែងពិន្ទុទៅជាប្រូបាប៊ីលីតេនៃ ( , ) ដែលជាគំរូវិជ្ជមាន។ σ h x ជាការពិតណាស់ សម្រាប់ទម្ងន់ នៃពាក្យទីមួយក្នុងសមីការ យើងមានវិធីពីរដើម្បីទទួលបានតម្លៃរបស់វាក្នុងការពិសោធន៍។ ទីមួយគឺរក្សា = ( T ), ដែលធ្វើឱ្យ local MIs រួមចំណែកទៅ global one តាមការសម្រួល ហើយយើងហៅ variant នេះថា GMI-adaptive ។ ព័ត៌មានលម្អិតនៃការអនុវត្ត។ wij (10) wij σ h hj មួយទៀតគឺអនុញ្ញាតឱ្យ = , , ចុងខាងឆ្វេងនៃចន្លោះដែល ស្ថិតនៅ (សូមមើលទ្រឹស្តីបទ ដែលមានន័យថាការរួមចំណែកនៃ local MI នីមួយៗគឺស្មើគ្នា ហើយយើងហៅ variant នេះថា GMI-mean ។ នៅទីនេះទាំង GMI-mean និង GMI-adaptive ត្រូវបានរួមបញ្ចូលក្នុងវិសាលភាពនៃការប្រៀបធៀបជាមួយ baselines ។ wij 1/in ឧ. wi j 1), ការពិសោធន៍ទាំងអស់ត្រូវបានអនុវត្តនៅក្នុង PyTorch ជាមួយនឹង Glorot initialization និងបានធ្វើឡើងនៅលើ Tesla P40 GPU តែមួយ។ ក្នុងការ pre-processing យើងបានអនុវត្ត row normalization នៅលើ Cora, Citeseer, PubMed, BlogCatalog, និង Flickr អនុលោមតាម ហើយបានអនុវត្តយុទ្ធសាស្ត្រ processing ក្នុង នៅលើ Reddit និង PPI។ ក្នុងអំឡុងពេលបណ្តុះបណ្តាល យើងបានប្រើ Adam Optimizer ជាមួយនឹងការបណ្តុះបណ្តាលដំបូង 0.001 នៅលើ datasets ទាំងប្រាំពីរ។ ណែនាំដោយ យើងបានអនុម័តយុទ្ធសាស្ត្រ early stopping ជាមួយនឹង window size 20 នៅលើ Cora, Citeseer, និង PubMed ចំណែកឯការបណ្តុះបណ្តាលគំរូសម្រាប់ចំនួន epochs ដែលបានកំណត់ទុកជាមុន (20 នៅលើ Reddit, 50 នៅលើ PPI) ។ ចំនួនគំរូអវិជ្ជមានត្រូវបានកំណត់ត្រឹម 5 ។ ដោយសារតែទំហំធំរបស់ Reddit និង PPI យើងត្រូវតែប្រើ subsampling skill ដែលបានណែនាំក្នុង [ ] ដើម្បីធ្វើឱ្យពួកវាសមនឹងអង្គចងចាំ GPU ។ ជាពិសេស minibatches 256 ធាតុត្រូវបានជ្រើសរើសជាមុន បន្ទាប់មកសម្រាប់ធាតុដែលបានជ្រើសរើសនីមួយៗ យើងបានគូរគំរូជិតខាង 8 និង 5 នៅកម្រិតទីមួយ និងទីពីរតាមលំដាប់។ យើងបានអនុវត្ត neighborhood មួយ hop ដើម្បីបង្កើត support graph ក្នុងការពិសោធន៍ និងប្រើប្រាស់ (0) ( , ធាតុបញ្ចូលដែលបានបង្ហាប់) ដើម្បីគណនា FMI ដោយសារតែការប្រើប្រាស់ធាតុបញ្ចូលដើម បណ្តាលឱ្យ GPU memory overflow ។ hyperparameters នៃការ trade-off ត្រូវបានកែតម្រូវក្នុងចន្លោះ ដើម្បីតុល្យភាពសមីការ និងសមីការ ។ Batch Normalization strategy [ ត្រូវបានអនុវត្តដើម្បីបណ្តុះបណ្តាលគំរូរបស់យើងនៅលើ Reddit និង PPI ។ 16 XW ឧ. X (11) (12) សម្រាប់កិច្ចការចាត់ថ្នាក់ យើងបានផ្តល់ embeddings ដែលបានរៀនឆ្លងកាត់ set បណ្តុះបណ្តាលទៅកាន់ logistic regression classifier ហើយផ្តល់លទ្ធផលនៅលើធាតុធ្វើតេស្ត [ , ] ។ ជាពិសេស ក្នុងការរៀន transductive យើងបានអនុម័ត classification accuracy មធ្យម បន្ទាប់ពី 50 ជុំ ដើម្បីវាយតម្លៃការអនុវត្ត ចំណែកឯ micro-averaged F1 score ដែលជាមធ្យមបន្ទាប់ពី 50 ជុំ ត្រូវបានប្រើក្នុងការរៀន inductive ។ ហើយសម្រាប់ PPI ដោយបានណែនាំដោយ [ ] យើងបាន standardized embeddings ដែលបានរៀន មុនពេលបញ្ជូនវាទៅកាន់ logistic regression classifier ។ សម្រាប់កិច្ចការទស្សន៍ទាយតំណភ្ជាប់ សូចនាករដែលយើងបានអនុម័តគឺ AUC ដែលជា area under the ROC curve ។ គំរូអវិជ្ជមានដែលពាក់ព័ន្ធនឹងការគណនា AUC ត្រូវបានបង្កើតឡើងដោយការជ្រើសរើសគូធាតុដែលមានចំនួនស្មើគ្នាដោយគ្មានការតភ្ជាប់នៅក្នុងក្រាហ្វដើម។ កាន់តែខិតជិត AUC score ទៅ 1 កាន់តែល្អ ការអនុវត្តរបស់ algorithm ។ ស្រដៀងគ្នា យើងបានរាយការណ៍ AUC score ដែលជាមធ្យមបន្ទាប់ពី 10 ជុំ។ សូចនាករវាយតម្លៃ។ 16 25 41 4.3 Classification តារាង រាយការណ៍ពី classification accuracy មធ្យមនៃវិធីសាស្ត្ររបស់យើង និង baselines ផ្សេងៗទៀតនៅលើកិច្ចការ transductive ។ នៅទីនេះ លទ្ធផលសម្រាប់ EP-B [ ], DGI [ ], Planetoid-T [ ], GAT [ ], ក៏ដូចជា GWNN [ ] ត្រូវបានយកចេញពីឯកសារដើមរបស់ពួកគេ ហើយលទ្ធផលសម្រាប់ methods ប្រៀបធៀបចំនួន 6 ទៀតគឺ DeepWalk [ ], LP (Label Propagation) [ ], និង GCN [ ] ត្រូវបានចម្លងពី Kipf & Welling [ ]។ ចំពោះលក្ខណៈពិសេសដើម យើងបានបញ្ជូនវាទៅកាន់ logistic regression classifier សម្រាប់ការបណ្តុះបណ្តាល ហើយផ្តល់លទ្ធផលនៅលើលក្ខណៈពិសេសធ្វើតេស្ត5។ ទោះបីជាយើងផ្តល់លទ្ធផលពិសោធន៍នៃ methods ទាំងដែលមានការត្រួតពិនិត្យ និងគ្មានការត្រួតពិនិត្យក៏ដោយ នៅក្នុងអត្ថបទនេះ យើងផ្តោតកាន់តែច្រើនលើការប្រៀបធៀបជាមួយ methods គ្មានការត្រួតពិនិត្យ ដែលស្របតាមការរៀបចំរបស់យើង។ ការរៀន Transductive ។ 2 11 41 45 40 44 33 51 25 25 ដូចដែលគេសង្កេតឃើញ វិធីសាស្ត្រ GMI-mean និង GMI-adaptive ដែលបានស្នើឡើងរបស់យើង បើប្រៀបធៀបទៅនឹង methods គ្មានការត្រួតពិនិត្យផ្សេងៗទៀត សម្រេចបាន classification accuracy ល្អបំផុតនៅលើ datasets ទាំងបី។ យើងពិចារណាការអនុវត្តដ៏ខ្លាំងក្លានេះបានទទួលអត្ថប្រយោជន៍ពីគំនិតនៃការប៉ុនប៉ងដើម្បីបង្កើន graphical MI រវាងគូធាតុបញ្ចូល និងលទ្ធផលនៃ encoder នៅកម្រិតធាតុដែលละเอียดខ្ពស់។ ហេតុដូច្នេះ តំណាងដែលបាន encode បានរក្សារូបភាពនៃលក្ខណៈពិសេសធាតុ និង topology នៅក្នុង G ឱ្យបានច្រើនបំផុត ដែលរួមចំណែកដល់ការចាត់ថ្នាក់។ ផ្ទុយទៅវិញ EP-B បានបោះបង់រូបភាពមូលដ្ឋានរវាងទិន្នន័យបញ្ចូល និងតំណាងដែលបានរៀន ហើយ DGI នៅតែស្ថិតក្នុងការបង្កើន MI កម្រិតក្រាហ្វ/កPatch ដែលកំណត់សមត្ថភាពរបស់វាក្នុងការរក្សាទុក និងទាញយកព័ត៌មានបញ្ចូលដើមចូលក្នុងលំហបង្កប់។ ហេតុដូច្នេះ ការអនុវត្តដែលខ្សោយបន្តិចលើកិច្ចការចាត់ថ្នាក់។ លើសពីនេះ ដោយគ្មានការណែនាំពីស្លាក វិធីសាស្ត្ររបស់យើងបង្ហាញពីលទ្ធផលប្រកួតប្រជែងទៅនឹង methods ដែលមានការត្រួតពិនិត្យមួយចំនួនដូចជា GCN និង GAT ហើយថែមទាំងមានលទ្ធផលល្អជាងពួកវានៅលើ Citeseer និង PubMed ។ យើងជឿថា តំណាងដែលបានរៀនតាមរយៈ GMI maximization រវាងធាតុបញ្ចូល និងលទ្ធផល ទទួលមរតកព័ត៌មានដ៏សម្បូរបែបនៅក្នុងក្រាហ្វ G ដែលគ្រប់គ្រាន់សម្រាប់ការចាត់ថ្នាក់។ គួរឱ្យកត់សម្គាល់ជាងនេះទៅទៀត ស្លាកជាច្រើនដែលមានអាចត្រូវបានផ្តល់ជូនដោយផ្អែកលើព័ត៌មាននៅក្នុង G ផងដែរ។ ដូច្នេះ ការរក្សារូបភាពឱ្យបានច្រើនតាមដែលអាចធ្វើទៅបានពីធាតុបញ្ចូលអាចផ្តល់សំណងដល់ព័ត៌មានដែលផ្តល់ដោយ ស្លាកក្នុងកម្រិតខ្លះ ដែលគាំទ្រការអនុវត្តរបស់ GMI នៅក្នុងកិច្ចការជីកកកាយក្រាហ្វបន្តបន្ទាប់។ វាអាចត្រូវបានអះអាងថា ការរៀនពីធាតុបញ្ចូលដើមដោយគ្មានស្លាកបានសន្យាពីសក្តានុពលសម្រាប់តំណាងដែលមានគុណភាពខ្ពស់ជាងលក្ខណៈពិសេសដែលមានការត្រួតពិនិត្យ ដោយសារតែភាពកម្រនៃស្លាកបណ្តុះបណ្តាលអាចទទួលរងពីការគំរាមកំហែងនៃការ overfitting ឬភាពត្រឹមត្រូវនៃស្លាកដែលបានផ្តល់ជូនប្រហែលជាមិនគួរឱ្យទុកចិត្ត។ តារាង ក៏បានសង្ខេប micro-averaged F1 scores របស់ GMI និង baselines ផ្សេងៗទៀតនៅលើ Reddit និង PPI ។ យើងបានដកស្រង់លទ្ធផលរបស់ DGI, GAT, FastGCN [ ], និង GaAN [ ] នៅក្នុងឯកសារដើមរបស់ពួកគេ ចំណែកឯលទ្ធផលសម្រាប់ methods ប្រៀបធៀបប្រាំពីរទៀតត្រូវបានដកស្រង់ពី Hamilton et al. [ ] (នៅទីនេះយើងបានប្រើប្រាស់លទ្ធផល GraphSAGE គ្មានការត្រួតពិនិត្យឡើងវិញដើម្បីផ្គូផ្គងការរៀបចំរបស់យើង) ។ ស្រដៀងគ្នា ការប្រៀបធៀបជាមួយអាល់ហ្គោរីតគ្មានការត្រួតពិនិត្យគឺជាការសង្កត់ធ្ងន់នៃការងាររបស់យើង។ ការរៀន Inductive ។ 2 7 48 16 GMI-mean និង GMI-adaptive បានសម្រេចបានការអនុវត្តលើសពីអាល់ហ្គោរីតគ្មានការត្រួតពិនិត្យប្រកួតប្រជែងទាំងអស់លើ Reddit និង PPI ដែលបញ្ជាក់ពីប្រសិទ្ធភាពនៃការបង្កើន GMI ក្នុងដែនចាត់ថ្នាក់បំពាក់ (ការទូទៅទៅធាតុដែលមិនទាន់ឃើញ)។ គួរឲ្យចាប់អារម្មណ៍ លទ្ធផលនៃវិធីសាស្រ្តរបស់យើងលើ Reddit គឺប្រកួតប្រជែងជាមួយនឹងវិធីសាស្រ្តដែលមានការត្រួតពិនិត្យកម្រិតខ្ពស់មួយចំនួន ប៉ុន្តែស្ថានភាពលើ PPI គឺខុសគ្នាខ្លាំង។ បន្ទាប់ពីធ្វើការវិភាគបន្ថែម យើងបានកត់សម្គាល់ឃើញថា 42% នៃធាតុមានតម្លៃលក្ខណៈពិសេសសូន្យក្នុង PPI ដែលមានន័យថា matrix លក្ខណៈពិសេស X គឺកម្រណាស់ [ ]។ ក្នុងករណីនេះ ការពឹងផ្អែកដោយផ្ទាល់និងត្រឹមតែលើក្រាហ្វបញ្ចូល G = ( , ) បានកំណត់ការអនុវត្តរបស់អាល់ហ្គោរីតគ្មានការត្រួតពិនិត្យរួមទាំង DGI និងវិធីសាស្រ្តរបស់យើង ខណៈពេលដែលការរៀនក្នុងលក្ខណៈមានការត្រួតពិនិត្យបង្ហាញពីការអនុវត្តល្អជាងច្រើនដោយសារតែព័ត៌មានជំនួយដែលបាននាំមកដោយស្លាកបន្ថែម។ 16 X A យោងតាមតារាង variants ពីររបស់ GMI (GMI-mean និង GMI-adaptive) ដែលប្រើប្រាស់យុទ្ធសាស្ត្រផ្សេងៗគ្នាដើម្បីវាស់វែងការរួមចំណែកនៃ local MI នីមួយៗ (ព័ត៌មានលម្អិតក្នុង § សម្រេចបានលទ្ធផលប្រកួតប្រជែងគ្នាទៅវិញទៅមក ប៉ុន្តែ GMI-adaptive បង្ហាញពីការអនុវត្តដែលខ្សោយជាង GMI-mean បន្តិច។ តាមរយៈការវិភាគបន្ថែម យើងសន្មតថាវាអាចបណ្តាលមកពីភាពលំបាកក្នុងការបណ្តុះបណ្តាលដែលបណ្តាលមកពីលក្ខណៈធម្មតានៃ adaptive learning ។ ប្រហែលជាការអនុវត្តរបស់ GMI-adaptive អាចត្រូវបានកែលម្អដោយមានជំនួយពីយុទ្ធសាស្ត្របណ្តុះបណ្តាលកម្រិតខ្ពស់។ ក្នុងន័យនេះ GMI-mean គឺមានភាពជាក់ស្តែង និងអាចធ្វើទៅបានច្រើនជាង ហេតុដូច្នេះវាអាចត្រូវបានចាត់ទុកថាជាតំណាងក្នុងការអនុវត្តជាក់ស្តែង។ ការវាយតម្លៃលើ variants ពីររបស់ GMI ។ 2 4.2) 4.4 ប្រសិទ្ធភាពនៃ Objective Function ដើម្បីបញ្ជាក់បន្ថែមអំពីប្រសិទ្ធភាពនៃការបង្កើន graphical MI ក្នុងការរៀនតំណាងក្រាហ្វដោយគ្មានការត្រួតពិនិត្យ និងដើម្បីផ្តល់នូវការប្រៀបធៀបដែលមានលក្ខណៈសមរម្យជាងមុនជាមួយ DGI និង EP-B (អាល់ហ្គោរីតគ្មានការត្រួតពិនិត្យពីរ) យើងបានជំនួស objective function របស់យើងជាមួយនឹង loss functions របស់ពួកគេរៀងៗខ្លួន ខណៈពេលដែលរក្សានូវការកំណត់ពិសោធន៍ផ្សេងៗទៀតមិនផ្លាស់ប្តូរ។ តារាង រាយបញ្ជីលទ្ធផលក្រោមការរៀបចំ transductive និង inductive ។ ដូចដែលគេសង្កេតឃើញ GMI (GMI-mean និង GMI-adaptive) សម្រេចបានការអនុវត្តដ៏ខ្លាំងក្លាក្នុង datasets ទាំងប្រាំ ដែលឆ្លុះបញ្ចាំងពី DGI និង EP-B ខ្វះការពិចារណាខ្លះនៅក្នុងកិច្ចការរៀនតំណាងក្រាហ្វ។ ជាពិសេស loss របស់ EP-B បានដាក់តែកម្រិតលើធាតុនីមួយៗ និងជិតខាងរបស់វានៅកម្រិតលទ្ធផល (លំហ embedding) វាបានបោះបង់អន្តរកម្មរវាងគូធាតុបញ្ចូល និងលទ្ធផលនៃ encoder ដែលបណ្តាលឱ្យសមត្ថភាពខ្សោយរបស់វាក្នុងការរក្សារូបភាពត្រឹមត្រូវនៅក្នុង G។ ចំពោះ DGI ទោះបីជាវា correlating តំណាងលាក់កំបាំងជាមួយនឹងលក្ខណៈពិសេសបញ្ចូលដើមរបស់វាយ៉ាង implicit ក៏ដោយ ក៏វានិយាយអំពី MI នៅកម្រិតក្រាហ្វ/កPatch ដែលមានភាពหยาบបន្តិច។ 3 គួរឱ្យចាប់អារម្មណ៍ បើប្រៀបធៀបទៅនឹង DGI នោះ FMI របស់យើង (ដោយគ្មាន topology information) ទទួលបាន improvement កាន់តែច្រើនជាមួយនឹងការកើនឡើងនៃទំហំក្រាហ្វ។ យើងចាត់ទុកការរកឃើញនេះថាជាការពិតដែលថាការធ្លាក់ចុះនៃការអនុវត្តនៃអនុគមន៍ readout បានធ្វើឱ្យ DGI បាត់បង់ព័ត៌មានដែលមានប្រយោជន៍ខ្លះសម្រាប់ការចាត់ថ្នាក់ធាតុជាមួយនឹងការកើនឡើងនៃទំហំក្រាហ្វ ទោះបីជាវាបង្ហាញពីការអនុវត្តដ៏ល្អនៅលើក្រាហ្វតូចៗដូចជា Cora និង Citeseer ក៏ដោយ។ នៅពេលដែល topology នៃក្រាហ្វបញ្ចូលត្រូវបានឆ្លុះបញ្ចាំង នោះ GMI របស់យើងបានលើសពី loss ប្រភេទផ្សេងៗទាំងអស់នៅលើ datasets ទាំងអស់។ លើសពីនេះ សូមកត់សម្គាល់ថា ដំណើរការបណ្តុះបណ្តាលទាំងមូលរបស់ GMI គឺស្រដៀងគ្នាទៅនឹងការបណ្តុះបណ្តាល of discriminatorys នៅក្នុង generative models ហើយ GMI បានបង្ហាញពីល្បឿនបណ្តុះបណ្តាលដែលអាចប្រៀបធៀបបានជាមួយ EP-B និង DGI នៅលើ dataset ធំបំផុត Reddit ដែលបង្ហាញពី scalability ដ៏ល្អរបស់វា។ 4.5 Link Prediction ផ្អែកលើលទ្ធផលពិសោធន៍ខាងលើ យើងបានរកឃើញថា DGI គឺជាคู่ប្រជែងដ៏ខ្លាំងក្លាមួយសម្រាប់ GMI នៅក្នុងវិសាលភាពនៃអាល់ហ្គោរីតគ្មានការត្រួតពិនិត្យ។ ហេតុដូច្នេះ នៅក្នុងផ្នែកនេះ យើងមានបំណងដើម្បីស៊ើបអង្កេតបន្ថែមទៀតអំពីការអនុវត្តរបស់ DGI និង GMI នៅក្នុងកិច្ចការជីកកកាយមួយទៀត—ការទស្សន៍ទាយតំណភ្ជាប់។ នៅទីនេះយើងបានជ្រើសរើស FMI និង GMI-mean ដើម្បីប្រៀបធៀបជាមួយ DGI ។ តារាង រាយការណ៍ពី AUC scores របស់ពួកគេនៅលើ datasets បួនផ្សេងៗគ្នា។ ក្រោម rates ការលុបគែមផ្សេងៗ GMI និង FMI ទាំងពីរបានលើសពី DGI យ៉ាងគួរឱ្យកត់សម្គាល់ (លើកលែងតែ FMI នៅក្នុង 70.0% BlogCatalog) ដែលបង្ហាញថាការវាស់វែង graphical MI រវាងក្រាហ្វបញ្ចូល និងតំណាងលទ្ធផលក្នុងលក្ខណៈละเอียดខ្ពស់គឺមានសមត្ថភាពចាប់យកព័ត៌មានដ៏សម្បូរបែបនៅក្នុងធាតុបញ្ចូល និងផ្តល់នូវសមត្ថភាពទូទៅដ៏ល្អ។ ចំពោះ DGI ទីមួយ ការបង្កើន MI កម្រិតក្រាហ្វ/កPatch របស់វា ដែលមានភាពหยาบបន្តិចបានកំណត់ការអនុវត្តរបស់វានៅក្នុងកិច្ចការទស្សន៍ទាយតំណភ្ជាប់ដ៏ល្អិតល្អន់នេះ។ ទីពីរ ភាពមិនសមស្របនៃអនុគមន៍ខូចទ្រង់ទ្រាយបានធ្វើឱ្យសមត្ថភាពរបស់ DGI ក្នុងការរៀនតំណាងត្រឹមត្រូវដើម្បីទស្សន៍ទាយតំណភ្ជាប់ដែលបាត់បង់ចុះខ្សោយ។ សូមរំលឹកថា គំរូអវិជ្ជមានសម្រាប់ discriminator នៅក្នុង DGI ត្រូវបានបង្កើតឡើងដោយការខូចទ្រង់ទ្រាយក្រាហ្វបញ្ចូលដើម ហើយអនុគមន៍ខូចទ្រង់ទ្រាយដែលបានរចនាយ៉ាងល្អគឺចាំបាច់ដែលត្រូវការយុទ្ធសាស្ត្រជំនាញ [ ] ។ នៅក្នុងកិច្ចការនេះ យើងបានអនុវត្តអនុគមន៍ feature shuffling ដែលបង្ហាញលទ្ធផលល្អបំផុតនៅក្នុងកិច្ចការចាត់ថ្នាក់ ដើម្បីបង្កើតគំរូអវិជ្ជមាន។ ប៉ុន្តែក្នុងករណីដែលក្រាហ្វបញ្ចូលមានភាពមិនពេញលេញទាក់ទងនឹងការតភ្ជាប់ topological ការណែនាំដែលផ្តល់ដោយក្រាហ្វដែលខូចទ្រង់ទ្រាយនេះជាស្លាកអវិជ្ជមាននៅក្នុង discriminator ក្លាយទៅជាមិនគួរឱ្យទុកចិត្តដោយសារតែភាពមិនត្រឹមត្រូវនៃក្រាហ្វបញ្ចូល ដែលបណ្តាលឱ្យមានការអនុវត្តខ្សោយ។ ហេតុដូច្នេះ តម្រូវការនៃអនុគមន៍ខូចទ្រង់ទ្រាយដែលតម្រង់ទិសកិច្ចការគឺជាចំណុចខ្សោយរបស់ DGI ។ ផ្ទុយទៅវិញ GMI របស់យើងគឺមិនគិតពីបញ្ហានេះដោយការលុបបំបាត់អនុគមន៍ខូចទ្រង់ទ្រាយ និងការបង្កើន graphical MI រវាងធាតុបញ្ចូល និងលទ្ធផលនៃ encoder ដោយផ្ទាល់។ លើសពីនេះ វាអាចត្រូវបានគេសង្កេតឃើញថា FMI គឺប្រកួតប្រជែងជាមួយ GMI ក្នុងករណីភាគច្រើន សូម្បីតែនៅលើ Flickr FMI ក៏មានប្រសិទ្ធភាពជាង GMI ផងដែរ។ យើងសន្មតថាវាជាអត្ថប្រយោជន៍ដែលបានមកពីការបង្កើន feature mutual information ដោយផ្ទាល់ និងលម្អិតនៅកម្រិតធាតុ។ ផ្អែកលើ Homophily hypothesis [ ] ( , ធាតុនៅក្នុងបណ្តាញដែលមានលក្ខណៈពិសេសស្រដៀងគ្នាទំនងជាតភ្ជាប់គ្នា) ព័ត៌មានលក្ខណៈពិសេសបញ្ចូលដែលរក្សាទុកនៅក្នុង embeddings ដែលបានរៀនធ្វើឱ្យ FMI មានសមត្ថភាពល្អក្នុងការសន្និដ្ឋានតំណភ្ជាប់ដែលបាត់បង់។ 4 41 29 ឧ. 4.6 Visualization សម្រាប់ការបង្ហាញภาพតាមរយៈការមើលឃើញ តារាង បង្ហាញ t-SNE [ ] plots នៃ embeddings ដែលបានរៀននៅលើ Cora និង Citeseer។ ពីទស្សនៈ qualitative ការចែកចាយនៃ plots ដែលបានរៀនដោយ FMI និង DGI មើលទៅស្រដៀងគ្នា ហើយ embeddings ដែលបានបង្កើតឡើងដោយ GMI បានបំបែក clusters កាន់តែច្បាស់ជាង raw features, FMI, និង DGI ។ 5 28 ជាពិសេសនៅលើ Cora ភាពជិតស្និទ្ធ និងភាពដាច់ដោយឡែកនៃ clusters គឺច្បាស់ណាស់ ដែលតំណាងឱ្យប្រភេទប្រធានបទចំនួនប្រាំពីរ។ ចំពោះការវិភាគបរិមាណ យើងបានព្យាយាមវាស់គុណភាព clustering ដោយការគណនាលទ្ធផល Silhouette Coefficient score [ ]។ ជាពិសេស យើងបានប្រើ function ពី scikit-learn Python package [ ] ជាមួយនឹងការកំណត់លំនាំដើមទាំងអស់ និងអនុលោមតាម user guide ដើម្បីអនុវត្តការវាយតម្លៃ។ Clustering នៃ embeddings ដែលបានរៀនតាមរយៈ GMI ទទួលបាន Silhouette Coefficient score 0.425 នៅលើ Cora, 0.402 នៅលើ Citeseer, និង 0.385 នៅលើ PubMed ចំណែក DGI ទទួលបាន 0.417, 0.391, 0.373 និង EP-B ទទួលបាន 0.384, 0.385, 0.379 នៅលើ datasets ទាំងបីរៀងៗខ្លួន។ ទាំង qualitative និង quantitative វាបង្ហាញពីការអនុវត្តដ៏អស្ចារ្យរបស់ GMI ដែលបង្ហាញពីភាពសមហេតុផល និងប្រសិទ្ធភាពនៃការបង្កើន graphical mutual information ក្នុងការរៀនតំណាងក្រាហ្វដោយគ្មានការត្រួតពិនិត្យ។ 37 silhouette_score 32 4.7 ឥទ្ធិពលនៃ Model Depth នៅក្នុងផ្នែកនេះ យើងបានកែតម្រូវចំនួនស្រទាប់ convolutional នៅក្នុង encoder ដើម្បីស៊ើបអង្កេតឥទ្ធិពលនៃ model depth លើ classification accuracy ។ ការពិចារណាចំពោះភាពលំបាកដែលអាចកើតមាននៃការបណ្តុះបណ្តាលបណ្តាញសរសៃប្រសាទជ្រៅ ដោយបានណែនាំដោយ [ ] យើងក៏បានពិសោធន៍ជាមួយ counterpart residual version នៃគំរូ GMI ស្តង់ដារ ដែលបន្ថែម identity shortcut connections រវាងស្រទាប់លាក់កំបាំងពីរ ដើម្បីកែលម្អការបណ្តុះបណ្តាលនៃបណ្តាញជ្រៅ។ នៅទីនេះ យើងបន្តមាន ′ = 512 លក្ខណៈពិសេសសម្រាប់ស្រទាប់លាក់កំបាំងនីមួយៗ ហើយបានចាប់ផ្តើមអនុវត្ត identity shortcuts ចាប់ពីស្រទាប់ទីពីរ ដោយសារតែធាតុបញ្ចូល និងលទ្ធផលនៃស្រទាប់ទីមួយមិនមានវិមាត្រដូចគ្នា។ 18 D លើសពីនេះ ការប្រៀបធៀបទៅនឹងគំរូ GMI ស្តង់ដារដែលសម្រេចបាន GMI maximization រវាងតំណាងចុងក្រោយ និងក្រាហ្វបញ្ចូលដើម យើងបានពិចារណា variant មួយទៀតហៅថា dense GMI ដែលបង្កើន GMI រវាងស្រទាប់លាក់កំបាំងនីមួយៗ និងក្រាហ្វបញ្ចូល។ រូបភាព ផ្តល់នូវការបង្ហាញស្ថាបត្យកម្មលម្អិត។ hyperparameters ដែលពាក់ព័ន្ធនៅតែមិនផ្លាស់ប្តូរ លើកលែងតែយើងបណ្តុះបណ្តាលសម្រាប់ epochs ដែលបានកំណត់ (600 នៅលើ Cora និង Citeseer) ដោយមិនមាន early stopping ។ លទ្ធផលត្រូវបាន plotted នៅក្នុងរូបភាព 2 3. ទីមួយ ការកើនឡើងនៃ model depth បានពង្រីកគម្លាតការអនុវត្តយ៉ាងសំខាន់រវាងគំរូដែលគ្មាន និងមាន shortcut connections។ លទ្ធផលល្អបំផុតសម្រាប់ Cora ត្រូវបានសម្រេចដោយប្រើ GCN encoder កម្រិតពីរ ចំណែកឯលទ្ធផលល្អបំផុតសម្រាប់ Citeseer ត្រូវបានសម្រេចដោយប្រើ GCN encoder កម្រិតមួយ។ លើកលែងតែការពិតដែលថាការកើនឡើងនៃ model depth ធ្វើឱ្យការបណ្តុះបណ្តាលដោយគ្មានការប្រើប្រាស់ shortcut connections ពិបាក យើងក៏សន្មតថាព័ត៌មាន neighborhood កាន់តែឆ្ងាយដែលបានមកពីស្រទាប់ convolutional ច្រើនអាចជា noise សម្រាប់ការរៀន self-representation ។ ជាពិសេស ភាពជិតគ្នាតាមលក្ខខណ្ឌរវាងជិតខាងមានន័យថាកម្រិតនៃការ similarity ផ្សេងៗគ្នា ប្រសិនបើធាតុពីរណាមួយនៅចម្ងាយជាក់លាក់ ពួកវានឹងទំនងជាខុសគ្នាទាំងស្រុង។ ហេតុដូច្នេះ នៅក្នុងគំរូ GMI ស្តង់ដារ ព័ត៌មានដែលបានប្រមូលពី neighborhood កាន់តែឆ្ងាយអាចមាន noise ច្រើនដែលមិនស្រដៀងគ្នាទៅនឹងលក្ខណៈនៃធាតុផ្ទាល់ ដែលធ្វើឱ្យគុណភាពនៃ embeddings ដែលបានរៀន និងការអនុវត្តចាត់ថ្នាក់ជាបន្តបន្ទាប់ចុះខ្សោយ។ ផ្ទុយទៅវិញ identity shortcuts បន្ថែមបានអនុញ្ញាតឱ្យគំរូបញ្ជូនព័ត៌មាននៃធាតុបញ្ចូលនៃស្រទាប់មុនៗ ដែលអាចត្រូវបានចាត់ទុកថាជាដំណើរការបំពេញបន្ថែមទៅព័ត៌មាន neighborhood ដែលស្រដៀងគ្នាចេញពីស្រទាប់រាក់ទៅស្រទាប់ជ្រៅ ហេតុដូច្នេះ residual version គឺមានភាពធន់ទ្រាំនឹង model depth តិចជាង។ ទីពីរ យើងបានសង្កេតឃើញថា dense GMI variant ក៏អាចបំបាត់ការធ្លាក់ចុះនៃការអនុវត្តបានក្នុងកម្រិតខ្លះដែរ ទោះបីជា MI មាននិន្នាការធ្លាក់ចុះតាមជម្រៅដោយ data processing inequality [ ]។ នេះគឺដោយសារតែការបង្កើន graphical MI រវាងលទ្ធផលនៃស្រទាប់នីមួយៗ និងក្រាហ្វបញ្ចូល ដែលដាក់កម្រិតដោយផ្ទាល់លើស្រទាប់លាក់កំបាំងនីមួយៗដើម្បីរក្សារូបភាពបញ្ចូលឱ្យបានច្រើនតាមដែលអាចធ្វើទៅបាន។ ផ្អែកលើការសង្កេតនេះ ការបង្ខំកម្រិតនៃការបង្កើន MI នៅលើស្រទាប់លាក់កំបាំងដើម្បីកាត់បន្ថយការបាត់បង់ព័ត៌មាននៅពេលបណ្តុះបណ្តាលបណ្តាញសរសៃប្រសាទជ្រៅអាចជាការអនុវត្តល្អ។ 8 5 សេចក្តីសន្និដ្ឋាន ដើម្បីយកឈ្នះលើស្ថានភាពដែលខ្វះការត្រួតពិនិត្យដែលមាន និងជៀសវាងហានិភ័យដែលអាចកើតមានឡើងដោយស្លាកដែលមិនគួរឱ្យទុកចិត្ត យើងបានណែនាំគំនិតថ្មីនៃ graphical mutual information (GMI) ដើម្បីអនុវត្តការរៀនតំណាងក្រាហ្វក្នុងលក្ខណៈគ្មានការត្រួតពិនិត្យ។ ខ្លឹមសាររបស់វាគឺស្ថិតនៅក្នុងការបង្កើន mutual information រវាងធាតុបញ្ចូល និងលទ្ធផលនៃ graph neural encoder តាមន័យនៃលក្ខណៈពិសេសធាតុ និងរចនាសម្ព័ន្ធ topological ។ តាមរយៈការវិភាគទ្រឹស្តីរបស់យើង យើងបានផ្តល់នូវនិយមន័យនៃ GMI និងបំបែកវាទៅជាទម្រង់នៃផលបូកមានទម្ងន់ដែលអាចគណនាបានដោយវិធីសាស្ត្រប៉ាន់ប្រមាណ mutual information បច្ចុប្បន្ន MINE យ៉ាងងាយស្រួល។ accordingly យើងបានបង្កើតគំរូគ្មានការត្រួតពិនិត្យ និងបានអនុវត្តកិច្ចការជីកកកាយក្រាហ្វទូទៅពីរ។ លទ្ធផលបង្ហាញថា GMI បានលើសពី baselines គ្មានការត្រួតពិនិត្យទាន់សម័យបំផុតក្នុងកិច្ចការចាត់ថ្នាក់ទាំងពីរ (transductive និង inductive) និងកិច្ចការទស្សន៍ទាយតំណភ្ជាប់ ជួនកាលថែមទាំងប្រកួតប្រជែងជាមួយអាល់ហ្គោរីតដែលមានការត្រួតពិនិត្យផងដែរ។ ការងារនាពេលអនាគតនឹងផ្តោតលើការរៀនតំណាងដែលតម្រង់ទិសកិច្ចការ ឬការសម្របគំនិតនៃការបង្កើន GMI ទៅក្រាហ្វប្រភេទផ្សេងទៀតដូចជាក្រាហ្វមិនដូចគ្នានិង hypergraphs ។ ការទទួលស្គាល់ ការងារនេះត្រូវបានគាំទ្រដោយ National Key Research and Develop-ment Program of China (No. 2018AAA0101400), National Nature Science Foundation of China (No. 61872287 and No. 61532015), Innovative Research Group of the National Natural Science Foun-dation of China (No. 61721002), Innovation Research Team of Min-istry of Education (IRT_17R86), and Project of China Knowledge Center for Engineering Science and Technology. Besides, this re-search was funded by National Science and Technology Major Project of the Ministry of Science and Technology of China (No. 2018AAA0102900). ឯកសារយោង Luís B Almeida. 2003. MISEP–Linear and Nonlinear ICA Based on Mutual Information. 4, Dec (2003), 1297–1318. Journal of machine learning research Mohamed Ishmael Belghazi, Aristide Baratin, Sai Rajeswar, Sherjil Ozair, Yoshua Bengio, Aaron Courville, and R Devon Hjelm. 2018. Mine: mutual information neural estimation. In . ICML Anthony J Bell and Terrence J Sejnowski. 1995. An information-maximization approach to blind separation and blind deconvolution. 7, 6 (1995), 1129–1159. Neural computation Esben Jannik Bjerrum and Richard Threlfall. 2017. Molecular generation with recurrent neural networks (RNNs). (2017). arXiv preprint arXiv:1705.04612 Xavier Bresson and Thomas Laurent. 2019. A Two-Step Graph Convolutional Decoder for Molecule Generation. (2019). arXiv preprint arXiv:1906.03412 Shaosheng Cao, Wei Lu, and Qiongkai Xu. 2015. Grarep: Learning graph repre-sentations with global structural information. In . CIKM Jie Chen, Tengfei Ma, and Cao Xiao. 2018. Fastgcn: fast learning with graph convolutional networks via importance sampling. (2018). arXiv preprint arXiv:1801.10247 Thomas M Cover and Joy A Thomas. 2012. . John Wiley & Sons. Elements of information theory Ming Ding, Jie Tang, and Jie Zhang. 2018. Semi-supervised learning on graphs with generative adversarial nets. In . CIKM Monroe D Donsker and SR Srinivasa Varadhan. 1983. Asymptotic evaluation of certain Markov process expectations for large time. IV. 36, 2 (1983), 183–212. Communications on pure and applied mathematics Alberto Garcia Duran and Mathias Niepert. 2017. Learning graph representations with embedding propagation. In . NeurIPS Evgeniy Faerman, Otto Voggenreiter, Felix Borutta, Tobias Emrich, Max Berrendorf, and Matthias Schubert. 2019. Graph Alignment Networks with Node Matching Scores. In . NeurIPS Xavier Glorot and Yoshua Bengio. 2010. Understanding the difficulty of training deep feedforward neural networks. In . AISTATS Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2014. Generative adversarial nets. In . NeurIPS Aditya Grover and Jure Leskovec. 2016. node2vec: Scalable feature learning for networks. In . KDD Will Hamilton, Zhitao Ying, and Jure Leskovec. 2017. Inductive representation learning on large graphs. In . NeurIPS Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2015. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In . ICCV Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2016. Deep residual learning for image recognition. In . CVPR Mark Heimann, Haoming Shen, Tara Safavi, and Danai Koutra. 2018. Regal: Representation learning-based graph alignment. In . CIKM R Devon Hjelm, Alex Fedorov, Samuel Lavoie-Marchildon, Karan Grewal, Phil Bachman, Adam Trischler, and Yoshua Bengio. 2018. Learning deep represen-tations by mutual information estimation and maximization. (2018). arXiv preprint arXiv:1808.06670 Aapo Hyvärinen and Petteri Pajunen. 1999. Nonlinear independent component analysis: Existence and uniqueness results. 12, 3 (1999), 429–439. Neural networks Sergey Ioffe and Christian Szegedy. 2015. Batch normalization: Accelerating deep network training by reducing internal covariate shift. (2015). arXiv preprint arXiv:1502.03167 Nikhil Ketkar. 2017. Introduction to pytorch. In . 195–208. Deep learning with python Diederik P Kingma and Jimmy Ba. 2014. Adam: A method for stochastic opti-mization. (2014). arXiv preprint arXiv:1412.6980 Thomas N Kipf and Max Welling. 2016. Semi-supervised classification with graph convolutional networks. (2016). arXiv preprint arXiv:1609.02907 Thomas N Kipf and Max Welling. 2016. Variational graph auto-encoders. (2016). arXiv preprint arXiv:1611.07308 David Liben-Nowell and Jon Kleinberg. 2007. The link-prediction problem for social networks. 58, 7 (2007), 1019–1031. Journal of the American society for information science and technology Laurens van der Maaten and Geoffrey Hinton. 2008. Visualizing data using t-SNE. 9, Nov (2008), 2579–2605. ournal of machine learning research Miller McPherson, Lynn Smith-Lovin, and James M Cook. 2001. Birds of a feather: Homophily in social networks. 27, 1 (2001), 415–444. Annual review of sociology Sebastian Nowozin, Botond Cseke, and Ryota Tomioka. 2016. f-gan: Training gen-erative neural samplers using variational divergence minimization. In . NeurIPS Aaron van den Oord, Yazhe Li, and Oriol Vinyals. 2018. Representation learning with contrastive predictive coding. (2018). arXiv preprint arXiv:1807.03748 Fabian Pedregosa, Gaël Varoquaux, Alexandre Gramfort, Vincent Michel, Bertrand Thirion, Olivier Grisel, Mathieu Blondel, Peter Prettenhofer, Ron Weiss, Vincent Dubourg, et al. 2011. Scikit-learn: Machine learning in Python. 12, Oct (2011), 2825–2830. Journal of machine learning research Bryan Perozzi, Rami Al-Rfou, and Steven Skiena. 2014. Deepwalk: Online learning of social representations. In . KDD Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Kuansan Wang, and Jie Tang. 2018. Network embedding as matrix factorization: Unifying deepwalk, line, pte, and node2vec. In . WSDM Meng Qu, Yoshua Bengio, and Jian Tang. 2019. GMNN: Graph Markov Neural Networks. In . ICML Renato Renner and Ueli Maurer. 2002. About the mutual (conditional) information. In . ISIT Peter J Rousseeuw. 1987. Silhouettes: a graphical aid to the interpretation and validation of cluster analysis. 20 (1987), 53–65. Journal of computational and applied mathematics Prithviraj Sen, Galileo Namata, Mustafa Bilgic, Lise Getoor, Brian Galligher, and Tina Eliassi-Rad. 2008. Collective classification in network data. 29, 3 (2008), 93–93. AI magazine Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. 2015. Line: Large-scale information network embedding. In . WWW Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. 2017. Graph attention networks. (2017). arXiv preprint arXiv:1710.10903 Petar Veličković, William Fedus, William L Hamilton, Pietro Liò, Yoshua Bengio, and R Devon Hjelm. 2018. Deep graph infomax. (2018). arXiv preprint arXiv:1809.10341 Jun Wu, Jingrui He, and Jiejun Xu. 2019. Net: Degree-specific Graph Neural Networks for Node and Graph Classification. (2019). arXiv preprint arXiv:1906.02319 Yuting Wu, Xiao Liu, Yansong Feng, Zheng Wang, Rui Yan, and Dongyan Zhao. 2019. Relation-aware entity alignment for heterogeneous knowledge graphs. In . IJCAI Bingbing Xu, Huawei Shen, Qi Cao, Yunqi Qiu, and Xueqi Cheng. 2019. Graph Wavelet Neural Network. (2019). arXiv preprint arXiv:1904.07785 Zhilin Yang, William W Cohen, and Ruslan Salakhutdinov. 2016. Revisiting semi-supervised learning with graph embeddings. (2016). arXiv preprint arXiv:1603.08861 Jiaxuan You, Bowen Liu, Zhitao Ying, Vijay Pande, and Jure Leskovec. 2018. Graph convolutional policy network for goal-directed molecular graph generation. In . NeurIPS Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabas Poczos, Ruslan R Salakhutdinov, and Alexander J Smola. 2017. Deep sets. In . 3391–3401. NeurIPS Jiani Zhang, Xingjian Shi, Junyuan Xie, Hao Ma, Irwin King, and Dit-Yan Yeung. 2018. Gaan: Gated attention networks for learning on large and spatiotemporal graphs. (2018). arXiv preprint arXiv:1803.07294 Muhan Zhang and Yixin Chen. 2018. Link prediction based on graph neural networks. In . NeurIPS Yingxue Zhang, Soumyasundar Pal, Mark Coates, and Deniz Ustebay. 2019. Bayesian graph convolutional neural networks for semi-supervised classification. In . AAAI Xiaojin Zhu, Zoubin Ghahramani, and John D Lafferty. 2003. Semi-supervised learning using gaussian fields and harmonic functions. In . ICML Marinka Zitnik and Jure Leskovec. 2017. Predicting multicellular function through multi-layer tissue networks. 33, 14 (2017), i190–i198. Bioinformatics This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on ieee.org