Aşqildagi ma'lumotlar asosida grafik ma'lumotlarida sun'iy intellektni nazoratsiz o'rgatishning yangi usuli.

Mualliflar: Zhen Peng Wenbing Huang Minnan Luo Qinghua Zheng Yu Rong Tingyang Xu Junzhou Huang ABSTRACT Ijtimoiy va kommunikatsiya tarmoqlari kabi turli xil axborot tarmoqlarining mazmunidagi boylik, tashqi nazoratsiz yuqori sifatli ifodali vakilliklarni oʻrganish uchun misli koʻrilmagan salohiyatni taqdim etadi. Ushbu maqola grafa tuzilishidagi maʼlumotlardan nazoratsiz usulda chuqurlashtirilgan joyga joylashtirish joyiga qanday saqlash va chiqarishni oʻrganadi. Buning uchun biz grafik oʻzaro axborot (GMI) deb nomlangan yangi tushunchani taklif etamiz, bu esa kiruvchi graflar va yuqori darajadagi yashirin vakilliklar orasidagi bogʻliqlikni oʻlchaydi. GMI anʼanaviy oʻzaro axborot hisob-kitoblari gʻoyasini vektor makonidan graf domeniga umumlashtiradi, bu erda tugun xususiyatlari va topologik tuzilishning ikkala jihatidan oʻzaro axborotni oʻlchash zarurdir. GMI bir nechta afzalliklarga ega: Birinchidan, u kiruvchi graflarning izomorfik transformatsiyasiga daxlsizdir—koʻplab mavjud graf vakilliklarini oʻrganish algoritmlarida muqarrar cheklov; Bundan tashqari, u MINE kabi mavjud oʻzaro axborotni baholash usullari tomonidan samarali baholanishi va maksimal darajada oshirilishi mumkin; Nihoyat, bizning nazariy tahlilimiz uning toʻgʻriligini va oqilonaligini tasdiqlaydi. GMI yordamida biz graf neyron enkoderining kirishi va chiqishi oʻrtasidagi GMI ni maksimal darajada oshirish orqali oʻqitilgan nazoratsiz oʻquv modelini ishlab chiqamiz. Transdusiv va induktiv tugun tasnifi hamda bogʻlanishlarni bashorat qilish boʻyicha keng qamrovli tajribalar bizning uslubimiz zamonaviy nazoratsiz hamkasblaridan ustun ekanligini, baʼzan esa nazorat ostidagi usullar natijasini ham oshirib yuborishini koʻrsatadi. 1 KIRISH Turli axborot tarmoqlari uchun ishonchli miqdoriy tahlilga erishish, graf tuzilishidagi maʼlumotlar uchun yuqori sifatli vakillik oʻrganish hozirgi kunda eng qiziqarli mavzulardan biriga aylandi. Ushbu maqsadga qaratilgan soʻnggi uslublar, odatda Graf Neyron Tarmoqlari (GNNs) deb tasniflanadi, ular tugun tasnifi [ , , ], bogʻlanishni bashoratlash [ , , ], graf hizalash [ , , ], molekulyar hosil qilish [ , , ] kabi koʻplab oʻquv vazifalarida ajoyib yutuqlarga erishdilar. Garchi samarali taraqqiyot boʻlsa-da, mavjud uslublarda GNNlarni oʻrgatish odatda maʼlum bir nazorat shaklini talab qiladi. Shak-shubhasiz, yorliqlash maʼlumotlarini olish qiyin—qoʻlda annotatsiya qilish yoki ruxsat olish uchun toʻlash, va hatto maxfiylik siyosati tufayli olinishi mumkin emas. Berilgan yorliqlarning ishonchliligi baʼzan shubhalidir. Shuning uchun, nazoratsiz yuqori sifatli graf vakilligiga qanday erishish koʻplab amaliy holatlar uchun zarur boʻlib qoldi, bu ushbu maqola tadqiqotiga turtki beradi. 35 42 50 26 27 49 12 19 43 4 5 46 Biz yigʻgan graf tuzilishidagi maʼlumotlarni diqqat bilan koʻrib chiqqandan soʻng, biz ularning ijtimoiy tarmoqlar, iqtibos tarmoqlari va kommunikatsiya tarmoqlari kabi turli manbalardan kelib chiqqanligini aniqladik, bu erda juda koʻp miqdorda mazmun va bogʻlanish maʼlumotlari mavjud. Misol uchun, Twitter, Flickr va Facebook kabi koʻplab ijtimoiy platformalardagi maʼlumotlar foydalanuvchi xususiyatlarini oʻz ichiga oladi, masalan, asosiy shaxsiy maʼlumotlar, matnlar, rasmlar, IP, va ularning munosabatlari, masalan, bir xil buyumni sotib olish, doʻst boʻlish. Ushbu boy mazmun maʼlumotlari keyingi qazish vazifalarini qoʻshimcha yoʻriqnoma boʻlmasdan qoʻllab-quvvatlash uchun etarli: agar ikkita obʼekt xususiyatlarda haddan tashqari oʻxshashlikni namoyon qilsa, ularning orasida bogʻlanish boʻlishi mumkin (bogʻlanish bashoratlash), va ular bir toifaga tegishli boʻlishi mumkin (tasniflash); agar ikkita obʼekt bir xil obʼektga bogʻlangan boʻlsa, ular ehtimol oʻxshash xususiyatlarga ega (tavsiya etish). Shu maʼnoda, axborot tarmoqlaridan iloji boricha koʻproq maʼlumotni chuqurlashtirilgan joyga joylashtirish joyiga saqlash va chiqarish nazoratsiz vazifalarni bajarishda istalgan natijaga erishadigan yuqori sifatli ifodali vakilliklarni oʻrganishni osonlashtiradi. Nazoratsiz graf vakilliklarini oʻrganish koʻplab holatlarda yorliqlardan ozod boʻlishi sababli afzalroqdir, ayniqsa biz dunyodagi katta miqdordagi yorliqlanmagan maʼlumotlardan foydalanishni maqsad qilsak. Grafikadagi boy maʼlumotlarni toʻliq meros qilib olish uchun, ushbu maqolada biz rasmlarda muvaffaqiyatli Deep Info-Max usuli [ ] dan ilhomlanib, Oʻzaro Axborot (MI) maksimalizatsiyasiga asoslangan grafni chuqurlashtirilgan joyga joylashtirishni amalga oshiramiz. Foydali vakilliklarni kashf qilish uchun Deep InfoMax enkoderini uning kirishlari (yaʼni, rasmlar) va chiqishlari (yaʼni, yashirin vektorlar) oʻrtasidagi MI ni maksimal darajada oshirishga oʻrgatadi. Grafiklar domeniga Deep InfoMaxni hisobga olganda, biz birinchi navbatda graflar va yashirin vektorlar orasidagi MIni aniqlashimiz kerak, chunki grafiklar topologiyasi rasmlarga qaraganda murakkabroq (1-rasmga qarang). Bir qiyinchiliklardan biri har bir tugunning yashirin vakilligi va uning qoʻshnisi kirish xususiyatlari orasidagi MI funksiyasi simmetrik xususiyatga rioya qilishini taʼminlashdir, yoki ekvivalent ravishda, qoʻshnilarning permutatsiyalariga daxlsiz boʻlishdir. MIni hisobga olgan soʻnggi ish sifatida, Deep Graph Infomax (DGI) [ ] avvalo kirish grafini va tegishli buzilgan grafni chuqurlashtiradi, keyin oʻqish funksiyasi orqali kirish grafini vektor sifatida jamlaydi, nihoyat bu jamlangan vektor va yashirin vakilliklar oʻrtasidagi MIni kirish grafini (ijobiy namuna) buzilgan grafdan (salbiy namuna) diskriminatsiya qilish orqali maksimal darajada oshiradi. 1-rasm DGI ning oson tushunarli umumiy koʻrinishini beradi. Bunday MI ni maksimal darajada oshirish kirish tugun xususiyatlari va yashirin vektorlar oʻrtasidagi MIni maksimal darajada oshirishga teng keladi, ammo bu ekvivalentlik bir nechta oldindan belgilangan sharoitlarda saqlanadi, masalan, oʻqish funksiyasi inʼektiv boʻlishi kerak, bu esa haqiqiy holatlarda juda cheklangan koʻrinadi. Hatki biz oʻziga xos dizayn bilan inʼektiv oʻqish funksiyasining mavjudligini kafolatlay olsak ham, masalan, DeepSets [ ] da ishlatilgani, oʻqish funksiyasining inʼektiv qobiliyati uning parametrlari qanday oʻqitilganiga ham taʼsir qiladi. Yaʼni, aslida inʼektiv boʻlgan funksiya hatto tashqi nazorat boʻlmasdan oʻqitilgan boʻlsa, inʼektiv boʻlmaslik xavfiga ega. Va agar oʻqish funksiyasi inʼektiv boʻlmasa, jamlangan vektordagi kirish graf maʼlumotlari graf hajmi oshishi bilan kamayadi. Bundan tashqari, DGI qoʻpol graf/patch-darajasidagi MI maksimalizatsiyasida qoladi. Shuning uchun DGI da enkoderga kirish maʼlumotlaridan etarli maʼlumotni distillashiga kafolat yoʻq, chunki u hech qachon yashirin vakilliklar bilan ularning asl kirishlarini alohida koʻrib chiqmaydi. 20 41 47 Ushbu maqolada biz hech qanday oʻqish yoki buzish funksiyasidan foydalanmasdan, grafik tuzilishlar nuqtai nazaridan MIni hisobga olishning yanada sodda usulini taklif etamiz. Biz MIni enkoderning kirishi (yaʼni, kirish qoʻshnidan iborat boʻlgan kichik graf) va chiqishi (yaʼni, har bir tugunning yashirin vakilligi)ni solishtirish orqali toʻgʻridan-toʻgʻri hosil qilamiz. Va qiziquvchanlik bilan, bizning nazariy taxlilimiz toʻgʻridan-toʻgʻri formulalangan MI har bir qoʻshni xususiyatlari va yashirin vektor oʻrtasidagi mahalliy MIlarining ogʻirliklar yigʻindisiga ajralishini koʻrsatadi. Shu yoʻl bilan, biz kirish xususiyatlarini ajratdik va MI hisob-kitobini osonlashtirdik. Bundan tashqari, ushbu shakldagi MI biz ogʻirliklar qiymatlarini moslashtirsak, simmetrik xususiyatni osonlik bilan qondirishi mumkin. Batafsil maʼlumotlarni § ga qoldiramiz. Yuqoridagi MI asosan tugun xususiyatlari darajasida oʻlchanishi sababli, biz uni Xususiyat Oʻzaro Axboroti (FMI) deb ataymiz. 3.1 FMI haqida qolgan ikkita masala: biriktiruvchi ogʻirliklar hali nomaʼlum va u topologiyani (yaʼni, qirralarning xususiyatlarini) hisobga olmaydi. Ushbu ikki masalani yanada hal qilish uchun, biz FMI ga asoslangan Grafik Oʻzaro Axborot (GMI) oʻlchovini aniqlaymiz. Xususan, GMI FMI dagi ogʻirliklarni har bir qoʻshni va maqsadli tugun oʻrtasidagi yaqinlikka tenglashtirib, intuitiv qiymatni taqsimlaydi. Topologik maʼlumotlarni saqlash uchun, GMI qoʻshimcha oʻzaro axborot termini orqali ushbu ogʻirliklarni kirish qirralari bilan bogʻlaydi. Natijada GMI topologik jihatdan invariant boʻlib, Oʻzaro Axborot Neyron Baholash (MINE) bilan ham hisoblanadi. Ishimizning asosiy hissalari quyidagilardir: 1. 2. • : Biz anʼanaviy MI baholashini graf domeniga umumlashtiramiz va shu sababli Grafik Oʻzaro Axborot (GMI) nomli yangi tushunchani taklif qilamiz. GMI oʻqish funksiyasi tufayli yuzaga kelishi mumkin boʻlgan xavflardan xoli, chunki u graf va yuqori darajadagi chuqurlashtirilgan vakilliklar oʻrtasidagi MIni toʻgʻridan-toʻgʻri usulda koʻrib chiqadi. Tushunchalar • : Nazariy tahlilimiz orqali biz GMI ning hisoblanadigan va osonlik bilan baholana oladigan shaklini beramiz, bu butun GMI ni mahalliy MIlarining ogʻirliklar yigʻindisiga ajratadi. MINE usuli yordamida GMI maksimalizatsiyasi tugun darajasida osongina erishilishi mumkin. Algoritmlar • : Biz GMI ning samaradorligini bir nechta mashhur tugun tasnifi va bogʻlanishni bashoratlash vazifalarida, shu jumladan transdusiv va induktiv vazifalarda tasdiqlaymiz. Tajribalar bizning uslubimiz turli benchmarklarda yaxshi natijalarga erishishini va hatto baʼzan nazorat ostidagi hamkasblaridan ustun ekanligini koʻrsatadi. Tajribaviy topilmalar 2 BOGʻLIQ ISHLAR Ishimizning diqqat markaziga mos ravishda, biz quyidagi ikki sohaga oid avvalgi ishlarni qisqacha koʻrib chiqamiz: oʻzaro axborot baholash va grafikalar boʻyicha vakillik oʻrganish uchun neyron tarmoqlar. 1. 2. . InfoMax prinsipi [ ] neyron tarmoqlarning kirishlari va chiqishlari orasidagi MIni maksimal darajada oshirishni qoʻllab-quvvatlaganligi sababli, ICA algoritmlari [ , ] kabi koʻplab uslublar MI gʻoyasini nazoratsiz xususiyatlarni oʻrganishda qoʻllashga harakat qiladi. Biroq, yuqori oʻlchovli uzluksiz oʻzgaruvchilar orasidagi MIni hisoblashning qiyinligi sababli, bu uslublar chuqur neyron tarmoqlarga osongina umumlashtirilmaydi. Yaxshiyamki, Oʻzaro Axborot Neyron Baholash (MINE) [ ] birlashgan taqsimot va ikkita tasodifiy oʻzgaruvchining chekli taqsimotlari mahsulotidan kelgan namunalarni ajratish uchun statistika tarmogʻini tasniflagich sifatida oʻqitish orqali chuqur neyron tarmoqlarda MIni baholashni mumkin qildi. Xususan, MINE KL ga asoslangan MI formulatsiyasidan foydalanadi, ammo KL ga mos kelmaydigan muqobil, Jensen-Shannon divergensi (JSD) [ ], MI ning aniq qiymati haqida tashvishlanmasdan ishlatilishi mumkin. Oʻzaro axborot baholash 3 1 21 2 30 . Graf neyron tarmoqlarining (GNNs) tez rivojlanishi bilan, soʻnggi yillarda GNNlarga asoslangan koʻplab graf vakilliklarini oʻrganish algoritmlari taklif etildi, ular anʼanaviy tasodifiy yurish asosidagi va faktoring asosidagi chuqurlashtirilgan uslublarga [ , , , , ] qaraganda kuchliroq natijalarni namoyon etadi. Odatda, bu uslublar nazorat ostidagi va nazoratsiz toifalarga boʻlinadi. Ularning orasida, grafiklar boʻyicha nazoratli vakillikni oʻrganish haqida boy adabiyot mavjud [ , , , , ]. Tarmoq arxitekturasidagi farqlariga qaramay, ular koʻpincha haqiqiy stsenariylarda mavjud boʻlmagan yorliqlarning yordami bilan empirik muvaffaqiyatlarga erishdilar. Bunday holda, nazoratsiz graf oʻrganish uslublari [ , , ] kengroq dasturiy salohiyatga ega. Mashhur uslub GraphSAGE [ ], uning nazoratsiz sozlamasida tasodifiy yurish asosidagi maqsad bilan GNNlarni oʻrgatish uchun induktiv freymvork. Va yaqinda DGI [ ] MI maksimalizatsiyasi gʻoyasini graf domeniga tatbiq etadi va nazoratsiz usulda kuchli natijalarga erishadi. Biroq, DGI qoʻpol-donali maksimalizatsiyani amalga oshiradi (yaʼni, MIni graf/patch darajasida maksimal darajada oshiradi), bu esa kirish grafidagi nozik maʼlumotlarni saqlashni qiyinlashtiradi. Bundan tashqari, DGI da ishlatiladigan oʻqish funksiyasiga qoʻyilgan shart haqiqiy holatlarda juda cheklangan koʻrinadi. Buning aksincha, biz oʻqish funksiyasini cheklashni olib tashlashga va enkoderning kirishlari va chiqishlari oʻrtasidagi MIni toʻgʻridan-toʻgʻri maksimal darajada oshirish orqali tugun darajasida grafik oʻzaro axborot maksimalizatsiyasiga erishishga qaratamiz. Bizning uslubimiz tomonidan olingan vakilliklar kirish graf maʼlumotlarini saqlashda yanada murakkabroq boʻlib, uning tugun tasnifi, bogʻlanish bashoratlash va tavsiya etish kabi keyingi graf qazish vazifalari uchun salohiyatini taʼminlaydi. Graf vakilliklarini oʻrganish uchun neyron tarmoqlar 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 3 GRAFIK OʻZARO AXBOROT: TAʼRIF VA MAKSIMALIZATSIYA Oldin davom etishdan oldin, ushbu maqolada ishlatiladigan dastlabki tushunchalarni taqdim etamiz. G = (V, E) grafigini N ta tugun vi ∈ V va qirralar eij = (vi , vj ) ∈ E bilan belgilaylik. Tugun xususiyatlari, taxmin qilingan empirik ehtimollik taqsimoti P bilan, X ∈ R N × D = {x 1, · · · , x N } koʻrinishida berilgan, bu yerda xi ∈ R D tugun vi uchun xususiyatni bildiradi. Adjacentsiya matritsasi A ∈ R N × N qirralarning ulanishlarini ifodalaydi, bu yerda Aij qirrasi eij ga bogʻlangan boʻlib, u haqiqiy son yoki koʻp oʻlchovli vektor boʻlishi mumkin1. Graf vakilliklarini oʻrganishning maqsadi enkoder f : R N × D × R N × N → R N × D ′ ni oʻrganishdir, shuning uchun yashirin vektorlar H = {h1, · · · , hN } = f (X , A) barcha tugunlar uchun yuqori darajadagi vakillikni koʻrsatadi. Kodlash jarayoni tugun boʻyicha shaklda qayta yozilishi mumkin. Buni koʻrsatish uchun, biz tugun i uchun Xi va Ai ni mos ravishda uning qoʻshnilari xususiyatlari va tegishli adjacensiya matritsasi sifatida aniqlaymiz qoʻshnilariga qarab shartli. Xususan, Xi barcha k-hop qoʻshnilarini oʻz ichiga oladi, bu yerda k ≤ l, agar enkoder f l-qatlamli GNN boʻlsa, va agar biz adjacensiya matritsasiga oʻz-oʻzini ulanishlarini qoʻshsak, u tugunni oʻzini oʻz ichiga oladi. Bu yerda biz Xi va Ai tomonidan kengaytirilgan kichik grafni tugun i uchun deb ataymiz va uni Gi deb belgilaymiz. Qoʻllab-quvvatlovchi grafning taʼrifi bilan har bir tugun uchun kodlash hi = f (Gi ) = f (Xi , Ai ) boʻladi. qoʻllab-quvvatlovchi graf Deep InfoMax [ ] da enkoderning oʻquv maqsadi uning kirishlari va chiqishlari oʻrtasidagi MIni maksimal darajada oshirishdir. MI statistika tarmogʻini diskriminator sifatida oʻqitib, birlashgan taqsimotdan kelgan namunalarni chekli taqsimotlar mahsulotidan olingan namunalardan ajratish orqali baholanadi. Tabiiyki, Deep InfoMax gʻoyasini grafikaga moslashtirganda, biz har bir tugun uchun vakillik hi va qoʻllab-quvvatlovchi graf Gi oʻrtasidagi MIni maksimal darajada oshirishimiz kerak. Biz bunday grafik MIni I (hi ; Gi ). Ammo, I (hi ; Gi ) ni aniqlash unchalik oson emas. Qiyinchiliklar quyidagilardir: Grafik oʻzaro axborotni aniqlashdagi qiyinchiliklar. 20 • Grafik MI tugun indeksiga nisbatan invariant boʻlishi kerak. Boshqacha qilib aytganda, agar Gi va G′i bir-biriga izomorf boʻlsa, biz I (hi ; Gi ) = I (hi ; G′i ) ga ega boʻlishimiz kerak. • Agar biz MI hisoblash uchun MINE usulini qabul qilsak, MINE dagi diskriminator faqat belgilangan oʻlchamdagi kirishlarni qabul qiladi. Bu Gi uchun mumkin emas, chunki har xil Gi odatda har xil miqdordagi tugunlarni oʻz ichiga oladi va shu sababli turli oʻlchamlarga ega. Grafik oʻzaro axborotni aniqlash muammosini hal qilish uchun, ushbu boʻlim faqat tugun xususiyatlariga asoslangan Xususiyat Oʻzaro Axboroti (FMI) tushunchasini kiritishdan boshlanadi. FMI ning parchalanishidan ilhomlanib, biz keyin Grafik Oʻzaro Axboroti (GMI) ni aniqlaymiz, bu esa tugun xususiyatlari va 3.1 XUSUSIYAT OʻZARO AXBOROTI Biz tugun xususiyatlari Xi ning empirik ehtimollik taqsimotini p(Xi), hi ning ehtimolligini p(hi) va birlashgan taqsimotni p(hi , Xi) deb belgilaymiz. Axborot nazariyasiga koʻra, hi va Xi oʻrtasidagi MI quyidagicha aniqlanadi Qiziquvchanlik bilan, biz I (hi ; Xi) ni hisoblash uchun quyidagi oʻzaro axborot parchalanish teoremasiga egamiz. 1-Teorema (Oʻzaro Axborotni Parçalanish). Agar shartli ehtimollik p(hi |Xi) multiplikativ boʻlsa (multiplikativ taʼrifini [ ] ga qarang), 1-tenglamada aniqlangan global oʻzaro axborot I (hi ; Xi) mahalliy MIlarining ogʻirliklar yigʻindisi sifatida ajralishi mumkin, yaʼni, 36 bu yerda, xj tugun i ning j-chi qoʻshnisi, in Xi ning barcha elementlari soni, va ogʻirlik wij esa 1 ≤ wij ≤ 1 har bir j uchun. Yuqoridagi teoremani isbotlash uchun, biz avval ikkita lemma va bir taʼrifni kiritamiz. 1-Lemma. Har qanday tasodifiy oʻzgaruvchilar X, Y va Z uchun, quyidagilarga egamiz 1-Teoremadagi parchalanish bilan, biz 2-tenglamaning oʻng tomonini MINE yordamida hisoblashimiz mumkin, chunki diskriminator kirishlari endi (hi , xj ) juftliklari boʻladi, ularning oʻlchami doimo bir xil saqlanadi (yaʼni, D′-by-D). Bundan tashqari, biz kirish graflarining izomorfik transformatsiyasini aks ettirish uchun ogʻirliklarni sozlashimiz mumkin. Masalan, agar Xi faqat tugun i ning bir martalik qoʻshnilarini oʻz ichiga olsa, barcha ogʻirliklarni bir xil qiymatga tenglashtirish turli tartibdagi kirish tugunlari uchun bir xil MIni keltirib chiqaradi. Parchalanishning baʼzi afzalliklariga qaramay, ogʻirliklar aniq qiymatlarini tavsiflash qiyin, chunki ular I (hi ; xj ) qiymatlari va ularning asosiy ehtimollik taqsimotlari bilan bogʻliq. Trivial usul barcha ogʻirliklarni 1 ga tenglashtirishdir, keyin 2-tenglamaning oʻng tomonini maksimal darajada oshirish I (hi ; Xi) ning quyi chegarasini maksimal darajada oshirishga teng keladi, shu bilan haqiqiy FMI ham maʼlum darajada maksimal darajada oshiriladi. Ushbu usuldan tashqari, biz ogʻirliklarni oʻqitiladigan eʼtiborlar sifatida koʻrib chiqish orqali qoʻshimcha ravishda takomillashtirilgan yechimni taqdim etamiz, bu esa keyingi boʻlimning mavzusidir. 1-Teoremadagi parchalanishdan ilhomlanib, biz wij qiymatlari yanada moslashuvchan boʻlishi va grafikalarining ichki xususiyatini qamrab olishi uchun boshqa jihatdan (yaʼni, grafikalar 3.2 Topologiyaga sezgir oʻzaro axborot topologik koʻrinishi) oʻqitiladigan ogʻirliklarni qurishga harakat qilamiz. Nihoyat, biz Grafik Oʻzaro Axborot (GMI) taʼrifini hosil qilamiz. 2-Taʼrif (Grafik Oʻzaro Axborot). Yashirin vektor h va uning qoʻllab-quvvatlovchi grafi G = (X , A ) orasidagi MI quyidagicha aniqlanadi bu yerda, xj va in ning taʼriflari 1-Teorema bilan bir xil, aij — adjacensiya matritsasidagi qirra ogʻirligi/xususiyati, va σ(·) — sigmoid funksiyasi. Intuitiv ravishda, 10-tenglamaning birinchi qismidagi wij ogʻirligi mahalliy MIning global MIga hissasini oʻlchaydi. Biz I (hi ; xj ) ning hissasini hi va hj (yaʼni, wij = σ(hThj )) vakilliklari orasidagi oʻxshashlik orqali amalga oshiramiz. Shu bilan birga, I (wij ; aij ) termini wij va grafning kirish qirra ogʻirligi/xususiyati (yaʼni, aij ) orasidagi MIni maksimal darajada oshiradi, bu esa wij ni topologik munosabatlarga mos kelishini taʼminlaydi. Shu maʼnoda, hissa darajasi topologik tuzilishdagi yaqinlikka mos keladi, bu odatda wij tugun j tugun i ga "yaqinroq" boʻlsa, kattaroq boʻlishi va aks holda kichikroq boʻlishi haqidagi haqiqat sifatida qabul qilinadi. Ushbu strategiya FMI faqat tugun xususiyatlariga eʼtibor qaratishidagi kamchilikni qoplaydi va mahalliy MIlarni moslashuvchan ravishda global MIga hissa qoʻshishiga imkon beradi. Ushbu strategiyadagi eʼtibor gʻoyasini yaxshiroq tushunish uchun, siz diqqatga sazovor GCN ga murojaat qilishingiz mumkin. Shuni taʼkidlash kerakki, 10-tenglama taʼr