Tchito Chatsopano Chophunzitsira AI pa Deta ya Graph Popanda Kupenda

```html ຜູ້ຂຽນ: Zhen Peng Wenbing Huang Minnan Luo Qinghua Zheng Yu Rong Tingyang Xu Junzhou Huang ບົດຄັດຫຍໍ້ ຄວາມອຸດົມສົມບູນຂອງເນື້ອໃນຂອງເຄືອຂ່າຍຂໍ້ມູນຂ່າວສານຕ່າງໆເຊັ່ນເຄືອຂ່າຍສັງຄົມແລະເຄືອຂ່າຍການສື່ສານໃຫ້ທ່າແຮງທີ່ບໍ່ເຄີຍມີມາກ່ອນສໍາລັບການຮຽນຮູ້ການເປັນຕົວແທນການສະແດງອອກຄຸນນະພາບສູງໂດຍບໍ່ມີການຊີ້ ນໍາພາຍນອກ. ບົດຄວາມນີ້ສຶກສາວິທີການຮັກສາແລະສະກັດຂໍ້ມູນທີ່ອຸດົມສົມບູນຈາກຂໍ້ມູນທີ່ມີໂຄງສ້າງແບບກຣາຟເຂົ້າໄປໃນພື້ນທີ່ການຝັງຕົວໃນຮູບແບບທີ່ບໍ່ມີການຊີ້ນໍາ. ເພື່ອຈຸດປະສົງນີ້,ພວກເຮົາໄດ້ນໍາສະເໜີແນວຄິດໃໝ່, Graphical Mutual Information (GMI), ເພື່ອວັດແທກຄວາມສໍາພັນລະຫວ່າງກຣາຟຂາເຂົ້າແລະການເປັນຕົວແທນທີ່ເຊື່ອງໄວ້ໃນລະດັບສູງ. GMI ຂະຫຍາຍແນວຄິດຂອງການຄິດໄລ່ຂໍ້ມູນທີ່ກ່ຽວຂ້ອງແບບປົກກະຕິຈາກພື້ນທີ່ vector ໄປສູ່ໂດເມນກຣາຟທີ່ການວັດແທກຂໍ້ມູນທີ່ກ່ຽວຂ້ອງຈາກສອງດ້ານຂອງຄຸນນະສົມບັດຂອງໂหนดແລະໂຄງສ້າງ topological ແມ່ນຂາດບໍ່ໄດ້. GMI ສະແດງໃຫ້ເຫັນຂໍ້ໄດ້ປຽບຫຼາຍຢ່າງ: ທໍາອິດ, ມັນແມ່ນ invariant ກັບການ تحويل isomorphic ຂອງກຣາຟຂາເຂົ້າ — ຂໍ້ຈໍາກັດທີ່ຫຼີກລ່ຽງບໍ່ໄດ້ໃນຫຼາຍໆວິທີການຮຽນຮູ້ການເປັນຕົວແທນກຣາຟທີ່ມີຢູ່; ນອກຈາກນັ້ນ, ມັນສາມາດຖືກປະເມີນແລະເພີ່ມປະສິດທິພາບໄດ້ຢ່າງມີປະສິດທິພາບໂດຍວິທີການປະເມີນຂໍ້ມູນທີ່ກ່ຽວຂ້ອງໃນປະຈຸບັນເຊັ່ນ MINE; ສຸດທ້າຍ, ການວິເຄາະທາງທິດສະດີຂອງພວກເຮົາຢືນຢັນຄວາມຖືກຕ້ອງແລະຄວາມສົມເຫດສົມຜົນຂອງມັນ. ດ້ວຍການຊ່ວຍເຫຼືອຂອງ GMI,ພວກເຮົາໄດ້ພັດທະນາແບບຈໍາລອງການຮຽນຮູ້ທີ່ບໍ່ມີການຊີ້ນໍາທີ່ໄດ້ຮັບການຝຶກອົບຮົມໂດຍການເພີ່ມ GMI ລະຫວ່າງຂາເຂົ້າແລະຜົນໄດ້ຮັບຂອງຕົວເຂົ້າລະຫັດກຣາຟ. ການທົດລອງຢ່າງລະມັດລະວັງກ່ຽວກັບການຈັດປະເພດໂໜດແບບ transductive ແລະ inductive ພ້ອມທັງການຄາດຄະເນການເຊື່ອມຕໍ່ໄດ້ສະແດງໃຫ້ເຫັນວ່າວິທີການຂອງພວກເຮົາເຮັດໄດ້ດີກວ່າຮູບແບບທີ່ບໍ່ມີການຊີ້ນໍາໃນສະຖານະການ, ແລະບາງຄັ້ງກໍ່ໄດ້ຜົນໄດ້ຮັບທີ່ດີກວ່າຮູບແບບທີ່ມີການຊີ້ນໍາ. 1 ບົດນໍາ ເພື່ອໃຫ້ໄດ້ການວິເຄາະປະລິມານທີ່ເຊື່ອຖືໄດ້ສໍາລັບເຄືອຂ່າຍຂໍ້ມູນຂ່າວສານທີ່ຫຼາກຫຼາຍ, ການຮຽນຮູ້ການເປັນຕົວແທນຄຸນນະພາບສູງສໍາລັບຂໍ້ມູນທີ່ມີໂຄງສ້າງແບບກຣາຟໄດ້ກາຍເປັນຫນຶ່ງໃນຫົວຂໍ້ທີ່ຫນ້າສົນໃຈໃນປະຈຸບັນ. ວິທີການຫຼ້າສຸດຕໍ່ເປົ້າຫມາຍນີ້, ໂດຍທົ່ວໄປແລ້ວໄດ້ຖືກຈັດປະເພດເປັນ Graph Neural Networks (GNNs), ໄດ້ເຮັດໃຫ້ມີຄວາມກ້າວຫນ້າຢ່າງໂດດເດັ່ນໃນຫຼາຍໆວຽກຮຽນຮູ້, ເຊັ່ນ: ການຈັດປະເພດໂໜດ [ , , ], ການຄາດຄະເນການເຊື່ອມຕໍ່ [ , , ], ການຈັດຕໍາແໜ່ງກຣາຟ [ , , ], ການສ້າງໂມເລກຸນ [ , , ], ເພື່ອຕັ້ງຊື່ຈໍານວນຫນ້ອຍ. ເຖິງແມ່ນວ່າຢູ່ໃນຄວາມຄືບຫນ້າທີ່ອຸດົມສົມບູນ, ການຝຶກ GNNs ໃນວິທີການທີ່ມີຢູ່ໂດຍທົ່ວໄປຕ້ອງການຮູບແບບຂອງການຊີ້ນໍາ. ແນ່ນອນ, ຂໍ້ມູນການຕິດສະຫຼາກແມ່ນມີລາຄາແພງທີ່ຈະໄດ້ມາ—ການຄໍາອະທິບາຍດ້ວຍຕົນເອງຫຼືການຈ່າຍຄ່າອະນຸຍາດ, ແລະແມ່ນແຕ່ເປັນໄປບໍ່ໄດ້ທີ່ຈະບັນລຸໄດ້ເນື່ອງຈາກນະໂຍບາຍຄວາມເປັນສ່ວນຕົວ. ບໍ່ຕ້ອງເວົ້າເຖິງວ່າຄວາມຫນ້າເຊື່ອຖືຂອງປ້າຍທີ່ໃຫ້ໄວ້ບາງຄັ້ງກໍ່ເປັນທີ່ຫນ້າສົງໄສ. ດັ່ງນັ້ນ, ວິທີການບັນລຸການເປັນຕົວແທນກຣາຟຄຸນນະພາບສູງໂດຍບໍ່ມີການຊີ້ນໍາກາຍເປັນສິ່ງຈໍາເປັນສໍາລັບຫຼາຍໆກໍລະນີການປະຕິບັດ, ເຊິ່ງເປັນແຮງຈູງໃຈສໍາລັບການສຶກສາຂອງບົດຄວາມນີ້. 35 42 50 26 27 49 12 19 43 4 5 46 ຜ່ານການກວດສອບຂໍ້ມູນທີ່ມີໂຄງສ້າງແບບກຣາຟທີ່ພວກເຮົາໄດ້ລວບລວມຢ່າງລະມັດລະວັງ, ພວກເຮົາພົບວ່າພວກມັນໂດຍທົ່ວໄປມາຈາກແຫລ່ງຕ່າງໆເຊັ່ນເຄືອຂ່າຍສັງຄົມ, ເຄືອຂ່າຍການອ້າງອິງ, ແລະເຄືອຂ່າຍການສື່ສານທີ່ຂໍ້ມູນແລະການເຊື່ອມຕໍ່ຈໍານວນຫຼວງຫຼາຍມີຢູ່. ຕົວຢ່າງ, ຂໍ້ມູນກ່ຽວກັບເວທີສັງຄົມຈໍານວນຫລາຍເຊັ່ນ Twitter, Flickr, ແລະ Facebook ລວມມີຄຸນລັກສະນະຂອງຜູ້ໃຊ້, , ລາຍລະອຽດສ່ວນຕົວ, ຂໍ້ຄວາມ, ຮູບພາບ, IP, ແລະຄວາມສัมພັນຂອງພວກເຂົາ, , ການຊື້ສິນຄ້າດຽວກັນ, ການເປັນເພື່ອນ. ຂໍ້ມູນເນື້ອຫາທີ່ອຸດົມສົມບູນເຫຼົ່ານີ້ແມ່ນພຽງພໍທີ່ຈະສະຫນັບສະຫນູນວຽກງານຂຸດຄົ້ນຕໍ່ໄປໂດຍບໍ່ມີການຊີ້ ນໍາເພີ່ມເຕີມ: ຖ້າສອງ entities ສະແດງໃຫ້ເຫັນຄວາມຄ້າຍຄືກັນສຸດຂອບເຂດໃນຄຸນລັກສະນະ, ມີຄວາມເປັນໄປໄດ້ສູງທີ່ຈະມີການເຊື່ອມຕໍ່ລະຫວ່າງພວກເຂົາ (ການຄາດຄະເນການເຊື່ອມຕໍ່), ແລະພວກເຂົາອາດຈະເປັນຂອງປະເພດດຽວກັນ (ການຈັດປະເພດ); ຖ້າສອງ entities ທັງສອງເຊື່ອມຕໍ່ກັບ entity ດຽວກັນ, ພວກເຂົາອາດຈະມີຄຸນລັກສະນະຄ້າຍຄືກັນ (ການແນະນໍາ). ໃນຄວາມຫມາຍນີ້, ການຮັກສາແລະສະກັດຂໍ້ມູນໃຫ້ຫລາຍເທົ່າທີ່ເປັນໄປໄດ້ຈາກເຄືອຂ່າຍຂໍ້ມູນເຂົ້າໄປໃນພື້ນທີ່ການຝັງຕົວອໍານວຍຄວາມສະດວກໃຫ້ແກ່ການຮຽນຮູ້ການເປັນຕົວແທນການສະແດງອອກຄຸນນະພາບສູງທີ່ສະແດງໃຫ້ເຫັນປະສິດທິພາບທີ່ຕ້ອງການໃນວຽກງານຂຸດຄົ້ນໂດຍບໍ່ມີຮູບແບບການຊີ້ນໍາໃດໆ. ການຮຽນຮູ້ການເປັນຕົວແທນກຣາຟທີ່ບໍ່ມີການຊີ້ນໍາແມ່ນທາງເລືອກທີ່ເອື້ອອໍານວຍໃນຫຼາຍໆກໍລະນີເນື່ອງຈາກອິດສະລະພາບຈາກປ້າຍ, ໂດຍສະເພາະເມື່ອພວກເຮົາຕັ້ງໃຈທີ່ຈະໄດ້ຮັບຜົນປະໂຫຍດຈາກຂໍ້ມູນຂະຫນາດໃຫຍ່ທີ່ບໍ່ມີປ້າຍໃນໂລກ. ເຊັ່ນ: ເຊັ່ນ: ເພື່ອສືບທອດຂໍ້ມູນທີ່ອຸດົມສົມບູນໃນກຣາຟຢ່າງເຕັມທີ່, ໃນບົດຄວາມນີ້,ພວກເຮົາປະຕິບັດການຝັງຕົວຂອງກຣາຟໂດຍອີງໃສ່ການເພີ່ມ Mutual Information (MI), ໄດ້ຮັບແຮງບັນດານໃຈຈາກຄວາມສໍາເລັດຂອງການທົດລອງຂອງວິທີການ Deep Info-Max [ ] ທີ່ດໍາເນີນການກັບຮູບພາບ. ເພື່ອຄົ້ນພົບການເປັນຕົວແທນທີ່ເປັນປະໂຫຍດ, Deep InfoMax ຝຶກອົບຮົມຕົວເຂົ້າລະຫັດໃຫ້ເພີ່ມ MI ລະຫວ່າງຂາເຂົ້າຂອງມັນ ( , ຮູບພາບ) ແລະຜົນໄດ້ຮັບ ( , vectors ທີ່ເຊື່ອງໄວ້). ເມື່ອພິຈາລະນາ Deep InfoMax ໃນໂດເມນກຣາຟ, ຫີນກ້ອນທໍາອິດທີ່ພວກເຮົາຕ້ອງກ້າວຂ້າມແມ່ນວິທີການກໍານົດ MI ລະຫວ່າງກຣາຟແລະ vectors ທີ່ເຊື່ອງໄວ້, ໃນຂະນະທີ່ topology ຂອງກຣາຟແມ່ນສັບສົນກວ່າຮູບພາບ (ເບິ່ງຮູບ ຫນຶ່ງໃນສິ່ງທ້າທາຍແມ່ນການຮັບປະກັນວ່າຟັງຊັນ MI ລະຫວ່າງການເປັນຕົວແທນທີ່ເຊື່ອງໄວ້ຂອງແຕ່ລະໂໜດແລະຄຸນລັກສະນະຂາເຂົ້າຂອງເພື່ອນບ້ານຂອງມັນປະຕິບັດຕາມຄຸນສົມບັດ symmetric, ຫຼືເທົ່າທຽມກັນ, ບໍ່ປ່ຽນແປງຕໍ່ການ permutation ຂອງເພື່ອນບ້ານ. ດັ່ງທີ່ວຽກງານຫຼ້າສຸດທີ່ພິຈາລະນາ MI, Deep Graph Infomax (DGI) [ ] ໄດ້ຝັງຕົວ input graph ແລະ graph ທີ່ຖືກທໍາລາຍທີ່ສອດຄ້ອງກັນ, ຫຼັງຈາກນັ້ນສະຫຼຸບ input graph ເປັນ vector ຜ່ານຟັງຊັນ readout, ສຸດທ້າຍເພີ່ມ MI ລະຫວ່າງ vector ສະຫຼຸບນີ້ແລະການເປັນຕົວແທນທີ່ເຊື່ອງໄວ້ໂດຍການຈໍາແນກ input graph (ຕົວຢ່າງ posive) ຈາກ graph ທີ່ຖືກທໍາລາຍ (ຕົວຢ່າງ negive). ຮູບ ໃຫ້ພາບລວມທີ່ເຂົ້າໃຈງ່າຍຂອງ DGI. ການເພີ່ມ MI ປະເພດນີ້ໄດ້ຖືກພິສູດວ່າເທົ່າທຽມກັນກັບການເພີ່ມ MI ລະຫວ່າງຄຸນລັກສະນະໂໜດຂາເຂົ້າແລະ vectors ທີ່ເຊື່ອງໄວ້, ແຕ່ຄວາມເທົ່າທຽມນີ້ຖືພາຍໃຕ້ເງື່ອນໄຂຈໍານວນຫນ້ອຍ, , ຟັງຊັນ readout ຄວນຈະເປັນ injective, ເຊິ່ງຍັງເບິ່ງຄືວ່າຈະມີຂໍ້ຈໍາກັດຫຼາຍເກີນໄປໃນກໍລະນີຈິງ. ແມ້ແຕ່ພວກເຮົາສາມາດຮັບປະກັນການມີຢູ່ຂອງຟັງຊັນ readout injective ໂດຍການອອກແບບບາງຢ່າງ, , ຫນຶ່ງທີ່ໃຊ້ໃນ DeepSets [ ], ຄວາມສາມາດ injective ຂອງຟັງຊັນ readout ກໍ່ໄດ້ຮັບຜົນກະທົບຈາກວິທີການຝຶກອົບຮົມ parameters ຂອງມັນ. ນັ້ນຄືການເວົ້າວ່າ, ຟັງຊັນທີ່ເປັນ injective ໂດຍສະເພາະ ຍັງມີຄວາມສ່ຽງທີ່ຈະກາຍເປັນ non-injective ຖ້າຫາກວ່າມັນຖືກຝຶກອົບຮົມໂດຍບໍ່ມີການຊີ້ນໍາພາຍນອກໃດໆ. ແລະຖ້າຟັງຊັນ readout ບໍ່ແມ່ນ injective, ຂໍ້ມູນ input graph ທີ່ມີຢູ່ໃນ vector ສະຫຼຸບຈະຫຼຸດລົງເມື່ອຂະຫນາດຂອງ graph ເພີ່ມຂຶ້ນ. ນອກຈາກນັ້ນ, DGI ຍັງຄົງຢູ່ໃນການເພີ່ມ MI ລະດັບກຣາຟ/patch ທີ່ຫຍາບ. ດັ່ງນັ້ນໃນ DGI, ບໍ່ມີການຮັບປະກັນວ່າຕົວເຂົ້າລະຫັດສາມາດກັ່ນຕອງຂໍ້ມູນທີ່ພຽງພໍຈາກຂໍ້ມູນຂາເຂົ້າໄດ້ຍ້ອນວ່າມັນບໍ່ໄດ້ກ່ຽວຂ້ອງກັບການເປັນຕົວແທນທີ່ເຊື່ອງໄວ້ຢ່າງລະມັດລະວັງກັບຂາເຂົ້າເດີມຂອງມັນ. 20 ນັ້ນຄື ນັ້ນຄື 1). 41 1 ເຊັ່ນ: ເຊັ່ນ: 47 ໃນບົດຄວາມນີ້, ພວກເຮົາໄດ້ນໍາສະເໜີວິທີການທີ່ກົງໄປກົງມາຫຼາຍຂຶ້ນໃນການພິຈາລະນາ MI ກ່ຽວກັບໂຄງສ້າງກຣາຟໂດຍບໍ່ຕ້ອງໃຊ້ຟັງຊັນ readout ແລະຟັງຊັນການທໍາລາຍໃດໆ. ພວກເຮົາໄດ້ສະກັດ MI ໂດຍກົງໂດຍການປຽບທຽບຂາເຂົ້າ ( , sub-graph ປະກອບດ້ວຍ neighborhood ຂອງ input) ແລະຜົນໄດ້ຮັບ ( , ການເປັນຕົວແທນທີ່ເຊື່ອງໄວ້ຂອງແຕ່ລະ node) ຂອງຕົວເຂົ້າລະຫັດ. ແລະຫນ້າສົນໃຈ, ການສະກັດທາງທິດສະດີຂອງພວກເຮົາໄດ້ສະແດງໃຫ້ເຫັນວ່າ MI ທີ່ໄດ້ຮັບການສ້າງແບບຟອມໂດຍກົງສາມາດແບ່ງອອກເປັນຜົນລວມທີ່ຖ່ວງນ້ໍາຫນັກຂອງ local MIs ລະຫວ່າງແຕ່ລະຄຸນລັກສະນະ neighborhood ແລະ vector ທີ່ເຊື່ອງໄວ້. ດ້ວຍວິທີນີ້,ພວກເຮົາໄດ້ແບ່ງຄຸນລັກສະນະຂາເຂົ້າແລະເຮັດໃຫ້ການຄິດໄລ່ MI ສາມາດຈັດການໄດ້. ນອກຈາກນັ້ນ, ຮູບແບບຂອງ MI ນີ້ສາມາດຮັກສາຄຸນສົມບັດ symmetric ໄດ້ຢ່າງງ່າຍດາຍຖ້າຫາກພວກເຮົາປັບຄ່ານ້ໍາຫນັກ. ພວກເຮົາຈະອະທິບາຍລາຍລະອຽດເພີ່ມເຕີມໃນ § ຍ້ອນວ່າ MI ຂ້າງເທິງນີ້ສ່ວນໃຫຍ່ແມ່ນວັດແທກຢູ່ລະດັບຄຸນລັກສະນະໂໜດ, ພວກເຮົາເອີ້ນມັນວ່າ Feature Mutual Information (FMI). ນັ້ນຄື ນັ້ນຄື 3.1. ສອງບັນຫາທີ່ຍັງເຫຼືອຢູ່ກ່ຽວກັບ FMI: ນ້ໍາຫນັກການລວມຍັງບໍ່ຮູ້ແລະ ມັນບໍ່ໄດ້ຄໍານຶງເຖິງ topology ( , ຄຸນລັກສະນະຂອງ edge) . ເພື່ອແກ້ໄຂສອງບັນຫາເຫຼົ່ານີ້ຕື່ມອີກ,ພວກເຮົາໄດ້ກໍານົດການວັດແທກ Graphical Mutual Information (GMI) ຂອງພວກເຮົາໂດຍອີງໃສ່ FMI. ໂດຍສະເພາະ, GMI ນໍາໃຊ້ການມອບຄ່າຄຸນຄ່າ intuitive ໂດຍການກໍານົດນ້ໍາຫນັກໃນ FMI ເທົ່າກັບຄວາມໃກ້ຄຽງລະຫວ່າງແຕ່ລະເພື່ອນບ້ານແລະໂໜດເປົ້າຫມາຍໃນພື້ນທີ່ການເປັນຕົວແທນ. ສໍາລັບການຮັກສາຂໍ້ມູນ topology, GMI ຍັງກ່ຽວຂ້ອງນ້ໍາຫນັກເຫຼົ່ານີ້ກັບຄຸນລັກສະນະ edge ຂອງ input ຜ່ານພາກສ່ວນ mutual information ເພີ່ມເຕີມ. GMI ທີ່ໄດ້ຮັບແມ່ນ topologically invariant ແລະຍັງສາມາດຄິດໄລ່ໄດ້ດ້ວຍ Mutual Information Neural Estimation (MINE) ຜົນສໍາເລັດຫລັກຂອງວຽກງານຂອງພວກເຮົາແມ່ນດັ່ງນີ້: 1. 2. ນັ້ນຄື [2]. • : ພວກເຮົາໄດ້ຂະຫຍາຍການປະເມີນ MI ຕາມແບບແຜນໃນພາກສະໜາມກຣາຟແລະໄດ້ນຳສະເໜີແນວຄິດໃໝ່ຂອງ Graphical Mutual Information (GMI) ຕາມນັ້ນ. GMI ບໍ່ມີຄວາມສ່ຽງ ແນວຄິດ ຄວາມສ່ຽງທີ່ອາດເກີດຂຶ້ນຈາກຟັງຊັນ readout ເນື່ອງຈາກມັນພິຈາລະນາ MI ລະຫວ່າງກຣາຟຂາເຂົ້າແລະ embeddings ລະດັບສູງໃນຮູບແບບທີ່ກົງໄປກົງມາ. • : ຜ່ານການວິເຄາະທາງທິດສະດີຂອງພວກເຮົາ, ພວກເຮົາໄດ້ໃຫ້ຮູບແບບທີ່ສາມາດຄິດໄລ່ໄດ້ແລະປະເມີນໄດ້ຂອງ GMI ທີ່ແບ່ງປັນ ອັນກໍຣິດມ GMI ທັງหมดເປັນຜົນລວມທີ່ຖ່ວງນ້ຳໜັກຂອງ MI ພາຍໃນໜ່ວຍ. ດ້ວຍການຊ່ວຍເຫຼືອຂອງວິທີການ MINE, ການເພີ່ມ GMI ສາມາດບັນລຸໄດ້ຢ່າງງ່າຍດາຍໃນລະດັບໂໜດ. • : ພວກເຮົາໄດ້ຢັ້ງຢືນປະສິດທິຜົນຂອງ GMI ໃນການຈັດປະເພດໂໜດທີ່ໄດ້ຮັບຄວາມນິຍົມຫລາຍແລະວຽກງານການຄາດຄະເນການເຊື່ອມຕໍ່ ຜົນການທົດລອງ ວຽກງານລວມທັງແບບ transductive ແລະ inductive. ການທົດລອງໄດ້ສະແດງໃຫ້ເຫັນວ່າວິທີການຂອງພວກເຮົາໃຫ້ປະສິດທິພາບທີ່ມີຄວາມຫວັງໃນຫລາຍແຜ່ນມາດຕະຖານແລະມັນຍັງບາງຄັ້ງກໍ່ເຮັດໄດ້ດີກວ່າຮູບແບບທີ່ມີການຊີ້ນໍາ. 2 ວຽກງານທີ່ກ່ຽວຂ້ອງ ສອດຄ່ອງກັບຈຸດສຸມຂອງວຽກງານຂອງພວກເຮົາ,ພວກເຮົາໄດ້ທົບທວນຄືນວຽກງານກ່ອນຫນ້ານີ້ໃນສອງຂົງເຂດດັ່ງນີ້: ການປະເມີນຂໍ້ມູນທີ່ກ່ຽວຂ້ອງ, ແລະ ໂຄງສ້າງ neural ສໍາລັບການຮຽນຮູ້ການເປັນຕົວແທນໃນກຣາຟ. 1. 2. . ຍ້ອນວ່າຫຼັກການ InfoMax [ ] ສະໜັບສະໜູນການເພີ່ມ MI ລະຫວ່າງ inputs ແລະ outputs ຂອງໂຄງສ້າງ neural, ວິທີການຈໍານວນຫລາຍເຊັ່ນ ICA algorithms [ , ] ພະຍາຍາມນໍາໃຊ້ແນວຄິດຂອງ MI ໃນການຮຽນຮູ້ຄຸນນະສົມບັດທີ່ບໍ່ມີການຊີ້ນໍາ. ຢ່າງໃດກໍຕາມ, ວິທີການເຫຼົ່ານີ້ບໍ່ສາມາດຂະຫຍາຍໄປສູ່ໂຄງສ້າງ neural ທີ່ເລິກເຊິ່ງໄດ້ງ່າຍເນື່ອງຈາກຄວາມຫຍຸ້ງຍາກໃນການຄິດໄລ່ MI ລະຫວ່າງຕົວແປຢ່າງຕໍ່ເນື່ອງທີ່ມີມິຕິສູງ. ໂຊກດີ, Mutual Information Neural Estimation (MINE) [ ] ເຮັດໃຫ້ການປະເມີນ MI ໃນໂຄງສ້າງ neural ທີ່ເລິກເຊິ່ງເປັນໄປໄດ້ໂດຍການຝຶກອົບຮົມໂຄງສ້າງສະຖິຕິເປັນ discriminator ເພື່ອຈໍາແນກຕົວຢ່າງທີ່ມາຈາກການແຈກຢາຍຮ່ວມແລະຜົນລວມຂອງ marginals ຂອງສອງຕົວແປສຸ່ມ. ໂດຍສະເພາະ, MINE ໃຊ້ການສ້າງ KL-based ທີ່ຖືກຕ້ອງຂອງ MI, ໃນຂະນະທີ່ທາງເລືອກ non-KL, Jensen-Shannon divergence (JSD) [ ], ສາມາດນໍາໃຊ້ໄດ້ໂດຍບໍ່ມີຄວາມກັງວົນກ່ຽວກັບຄຸນຄ່າທີ່ແນ່ນອນຂອງ MI. ການປະເມີນຂໍ້ມູນທີ່ກ່ຽວຂ້ອງ 3 1 21 2 30 . ດ້ວຍການພັດທະນາຢ່າງໄວວາຂອງ graph neural networks (GNNs), ບັນດາວິທີການຮຽນຮູ້ການເປັນຕົວແທນກຣາຟຈໍານວນຫລາຍທີ່ອີງໃສ່ GNNs ໄດ້ຖືກນໍາສະເໜີໃນຊຸມປີມໍ່ໆມານີ້, ເຊິ່ງສະແດງໃຫ້ເຫັນປະສິດທິພາບທີ່ແຂງແກ່ງກວ່າວິທີການ embedding ທີ່ອີງໃສ່ random walk ແລະ factorization ແບບດັ້ງເດີມ [ , , , , ]. ໂດຍທົ່ວໄປ, ວິທີການເຫຼົ່ານີ້ສາມາດແບ່ງອອກເປັນປະເພດ supervised ແລະ unsupervised. ໃນບັນດາພວກເຂົາ, ມີວັນນະຄະດີທີ່ອຸດົມສົມບູນກ່ຽວກັບການຮຽນຮູ້ການເປັນຕົວແທນ supervised ຜ່ານກຣາຟ [ , , , , ]. ເຖິງວ່າຈະມີຄວາມແຕກຕ່າງກັນໃນສະຖາປັດຕະຍະກໍາເຄືອຂ່າຍ, ພວກເຂົາບັນລຸຄວາມສໍາເລັດໃນການທົດລອງດ້ວຍການຊ່ວຍເຫຼືອຂອງປ້າຍທີ່ມັກຈະບໍ່ສາມາດເຂົ້າເຖິງໄດ້ໃນສະຖານະການຈິງ. ໃນກໍລະນີນີ້, ວິທີການຮຽນຮູ້ກຣາຟທີ່ບໍ່ມີການຊີ້ນໍາ [ , , ] ມີທ່າແຮງການນໍາໃຊ້ທີ່ກວ້າງຂວາງ. ວິທີການທີ່ຮູ້ຈັກດີແມ່ນ GraphSAGE [ ], framework inductive ເພື່ອຝຶກ GNNs ໂດຍ objective ທີ່ອີງໃສ່ random-walk ໃນ setting ທີ່ບໍ່ມີການຊີ້ນໍາ. ແລະເມື່ອບໍ່ດົນມານີ້, DGI [ ] ນໍາໃຊ້ແນວຄິດການເພີ່ມ MI ໄປສູ່ໂດເມນກຣາຟແລະໄດ້ຮັບປະສິດທິພາບທີ່ແຂງແກ່ງໃນຮູບແບບທີ່ບໍ່ມີການຊີ້ນໍາ. ຢ່າງໃດກໍຕາມ, DGI ປະຕິບັດການເພີ່ມປະສິດທິພາບທີ່ຫຍາບ ( , ການເພີ່ມ MI ຢູ່ລະດັບ graph/patch) ເຊິ່ງເຮັດໃຫ້ມັນຍາກທີ່ຈະຮັກສາຂໍ້ມູນທີ່ລະອຽດອ່ອນໃນ input graph. ນອກຈາກນັ້ນ, ເງື່ອນໄຂທີ່ກໍານົດໄວ້ໃນຟັງຊັນ readout ທີ່ໃຊ້ໃນ DGI ເບິ່ງຄືວ່າຈະມີຂໍ້ຈໍາກັດຫຼາຍເກີນໄປໃນກໍລະນີຈິງ. ໂດຍການປຽບທຽບ,ພວກເຮົາສຸມໃສ່ການກໍາຈັດຂໍ້ຈໍາກັດຂອງຟັງຊັນ readout ແລະບັນລຸການເພີ່ມ mutual information ກຣາຟໃນລະດັບ node ໂດຍການເພີ່ມ MI ລະຫວ່າງ inputs ແລະ outputs ຂອງຕົວເຂົ້າລະຫັດໂດຍກົງ. ການເປັນຕົວແທນທີ່ສະກັດໂດຍວິທີການຂອງພວກເຮົາແມ່ນມີຄວາມສະຫຼັບຊັບຊ້ອນຫຼາຍຂຶ້ນໃນການຮັກສາຂໍ້ມູນ input graph, ເຊິ່ງຮັບປະກັນທ່າແຮງຂອງມັນສໍາລັບວຽກງານຂຸດຄົ້ນກຣາຟ downstream, , ການຈັດປະເພດໂໜດ, ການຄາດຄະເນການເຊື່ອມຕໍ່, ແລະການແນະນໍາ. ໂຄງສ້າງ Neural ສໍາລັບການຮຽນຮູ້ການເປັນຕົວແທນກຣາຟ 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 ນັ້ນຄື ເຊັ່ນ: 3 GRAPHICAL MUTUAL INFORMATION: ຄໍານິຍາມ ແລະ ການເພີ່ມປະສິດທິພາບ ກ່ອນທີ່ຈະກ້າວໄປຂ້າງຫນ້າ,ພວກເຮົາໄດ້ສະຫນອງແນວຄິດ preliminary ທີ່ໃຊ້ໃນບົດຄວາມນີ້. ໃຫ້ G = (V, E) ຫມາຍເຖິງ graph ທີ່ມີ nodes ∈ V ແລະ edges = ( , ) ∈ E. ຄຸນລັກສະນະໂໜດ, ດ້ວຍການແຈກຢາຍຄວາມເປັນໄປໄດ້ empirical ທີ່ສົມມຸດ P, ຖືກໃຫ້ໂດຍ ∈ N vi eij vi vj X R × = { 1, · · · , } ບ່ອນທີ່ ∈ R ຫມາຍເຖິງຄຸນລັກສະນະສໍາລັບ node . ອາລະນິຍົມ adjacency ∈ R × ເປັນຕົວແທນການເຊື່ອມຕໍ່ edge, ບ່ອນທີ່ ທີ່ກ່ຽວຂ້ອງກັບ edge ອາດຈະເປັນຄ່າຕົວເລກຈິງຫຼື vector ຫຼາຍມິຕິ1. N D x x N xi D vi A N N Aij eij ເປົ້າຫມາຍຂອງການຮຽນຮູ້ການເປັນຕົວແທນກຣາຟແມ່ນການຮຽນຮູ້ຕົວເຂົ້າລະຫັດ : R × × R × → R × ′ , ດັ່ງນັ້ນ vectors ທີ່ເຊື່ອງໄວ້ = { 1, · · · , } = ( , ) ບົ່ງບອກເຖິງການເປັນຕົວແທນລະດັບສູງສໍາລັບທຸກ nodes. ຂະບວນການເຂົ້າລະຫັດສາມາດຂຽນຄືນໃນຮູບແບບ node-wise. f N D N N N D H h hN f X A ເພື່ອສະແດງສິ່ງນີ້,ພວກເຮົາກໍານົດ ແລະ ສໍາລັບ node ເປັນຕາມລໍາດັບຄຸນລັກສະນະຂອງເພື່ອນບ້ານຂອງມັນແລະ adjacency matrix ທີ່ສອດຄ້ອງກັນ Xi Ai i conditional ກ່ຽວກັບເພື່ອນບ້ານ. ໂດຍສະເພາະ, ປະກອບດ້ວຍ neighbors k-hop ທັງຫມົດຂອງ ດ້ວຍ ≤ ເມື່ອຕົວເຂົ້າລະຫັດ ເປັນ GNN -layer, ແລະມັນປະກອບມີ node ເອງ ຖ້າຫາກພວກເຮົາເພີ່ມ self-loops ໃນ adjacency matrix. ຢູ່ທີ່ນີ້,ພວກເຮົາເອີ້ນ sub-graph ທີ່ຂະຫຍາຍໂດຍ ແລະ ວ່າ ສໍາລັບ node , ຫມາຍເຖິງໂດຍ G . ດ້ວຍຄໍານິຍາມຂອງ support graph, ການເຂົ້າລະຫັດສໍາລັບແຕ່ລະ node ກາຍເປັນ = (G ) = ( , ). Xi vi k l f l i Xi Ai support graph i i hi f i f Xi Ai ໃນ Deep InfoMax [ ], ວັດຖຸການຝຶກອົບຮົມຂອງຕົວເຂົ້າລະຫັດແມ່ນການເພີ່ມ MI ລະຫວ່າງ inputs ແລະ outputs ຂອງມັນ. MI ຖືກປະເມີນໂດຍການນໍາໃຊ້ໂຄງສ້າງສະຖິຕິເປັນ discriminator ເພື່ອຈໍາແນກຕົວຢ່າງທີ່ມາຈາກການແຈກຢາຍຮ່ວມແລະຕົວຢ່າງທີ່ໄດ້ຮັບຈາກຜົນລວມຂອງ marginals. ໂດຍທໍາມະຊາດ, ເມື່ອປັບແນວຄິດຂອງ Deep InfoMax ໄປສູ່ກຣາຟ,ພວກເຮົາຄວນເພີ່ມ MI ລະຫວ່າງການເປັນຕົວແທນ ແລະ support graph G ສໍາລັບແຕ່ລະ node. ພວກເຮົາກຳນົດMI ກຣາຟດັ່ງກ່າວເປັນ ( ; G ). ຢ່າງໃດກໍຕາມ, ມັນບໍ່ແມ່ນເລື່ອງງ່າຍທີ່ຈະກໍານົດ I (hi ; Gi ). ຄວາມຫຍຸ້ງຍາກແມ່ນ: ຄວາມຫຍຸ້ງຍາກໃນການກໍານົດ mutual information ກຣາຟ. 20 hi i I hi i • MI ກຣາຟຄວນຈະບໍ່ປ່ຽນແປງກ່ຽວກັບດັດຊະນີໂໜດ. ດ້ວຍຄຳເວົ້າອື່ນ, ພວກເຮົາຄວນມີ ( ; G ) = ( ; G′ ), ຖ້າ G ແລະ G′ isomorphic ກັບກັນແລະກັນ. I hi i I hi i i i • ຖ້າພວກເຮົານຳໃຊ້ວິທີການ MINE ສໍາລັບການຄິດໄລ່ MI, discriminator ໃນ MINE ຮັບເອົາພຽງແຕ່ການປ້ອນເຂົ້າຂອງຂະໜາດຄົງທີ່. ນີ້ຍັງເປັນໄປບໍ່ໄດ້ສໍາລັບ G ຍ້ອນວ່າ G ທີ່ແຕກຕ່າງກັນໂດຍທົ່ວໄປປະກອບດ້ວຍຈໍານວນໂໜດທີ່ແຕກຕ່າງກັນແລະດັ່ງນັ້ນຈຶ່ງມີຂະໜາດທີ່ແຕກຕ່າງກັນ. i i ເພື່ອແກ້ໄຂບັນຫາການກໍານົດ mutual information ກຣາຟ, ພາກນີ້ເລີ່ມຕົ້ນດ້ວຍການນໍາສະເໜີແນວຄິດຂອງ Feature Mutual Information (FMI) ທີ່ອີງໃສ່ຄຸນລັກສະນະໂໜດເທົ່ານັ້ນ. ໂດຍໄດ້ຮັບແຮງບັນດານໃຈຈາກການແບ່ງປັນ FMI, ຈາກນັ້ນພວກເຮົາໄດ້ກໍານົດ Graphical Mutual Information (GMI), ເຊິ່ງຄໍານຶງເຖິງທັງຄຸນລັກສະນະໂໜດ ແລະ 3.1 Feature Mutual Information ພວກເຮົາກໍານົດການແຈກຢາຍຄວາມເປັນໄປໄດ້ empirical ຂອງຄຸນລັກສະນະໂໜດ ວ່າ ( ), ຄວາມເປັນໄປໄດ້ຂອງ ວ່າ ( ), ແລະການແຈກຢາຍຮ່ວມໂດຍ ( , ). ອີງຕາມຂໍ້ມູນທິດສະດີ, MI ລະຫວ່າງ ແລະ ຖືກກໍານົດເປັນ Xi p Xi hi p hi p hi Xi hi Xi ຫນ້າສົນໃຈ,ພວກເຮົາມີທິດສະດີການ