Naujas būdas mokyti dirbtinį intelektą ant grafinių duomenų be priežiūros

Autoriai: Zhen Peng Wenbing Huang Minnan Luo Qinghua Zheng Yu Rong Tingyang Xu Junzhou Huang SANTRAUKA Įvairių informacinių tinklų, tokių kaip socialiniai tinklai ir ryšių tinklai, turinio turtingumas suteikia precedento neturinčias galimybes mokytis aukštos kokybės išraiškingų reprezentacijų be išorinės priežiūros. Šiame darbe nagrinėjama, kaip išsaugoti ir išskirti gausią informaciją iš grafų struktūrizuotų duomenų į įterpimo erdvę be priežiūros. Šiuo tikslu siūlome naują Grafinio Savitarpio Informacijos (GMI) koncepciją, skirtą įvesties grafų ir aukšto lygio paslėptų reprezentacijų koreliacijai matuoti. GMI apibendrina įprastų savitarpio informacijos skaičiavimų idėją iš vektorinės erdvės į grafų sritį, kur matuoti savitarpio informaciją iš dviejų aspektų – mazgo ypatybių ir topologinės struktūros – yra būtina. GMI turi keletą privalumų: pirma, ji yra nepriklausoma nuo įvesties grafų izomorfinių transformacijų – neišvengiamos daugelio esamų grafų reprezentacijų mokymosi algoritmų sąlygos; be to, ją galima efektyviai įvertinti ir padidinti dabartiniais savitarpio informacijos vertinimo metodais, tokiais kaip MINE; pagaliau, mūsų teorinė analizė patvirtina jos teisingumą ir racionalumą. Naudodami GMI, kuriame be priežiūros mokymosi modelį, apmokytą padidinant GMI tarp grafų neuronų kodavimo priemonės įvesties ir išvesties. Atlikti eksperimentai su transdukcine ir indukcine mazgų klasifikacija bei jungčių prognozavimu parodė, kad mūsų metodas pranoksta moderniausius be priežiūros metodus, o kartais net viršija prižiūrimųjų metodų našumą. 1 ĮVADAS Siekiant patikimai kiekybiškai analizuoti įvairius informacinius tinklus, aukštos kokybės grafų struktūrizuotų duomenų reprezentacijų mokymasis tapo viena iš dabartinių patraukliausių temų. Naujausi metodai, siekiantys šio tikslo, paprastai priskiriami Grafų Neuronų Tinklams (GNNs), padarė pastebimų pažangų daugelyje mokymosi užduočių, tokių kaip mazgų klasifikacija [ , , ], jungčių prognozavimas [ , , ], grafų suderinimas [ , , ], molekulių generavimas [ , , ] ir kt. Nepaisant vaisingos pažangos, esamų GNN mokymo metodų paprastai reikia tam tikros priežiūros. Neabejotinai žymėjimo informaciją brangu gauti – rankinis anotavimas arba mokėjimas už leidimą, ir netgi neįmanoma gauti dėl privatumo politikos. Jau nekalbant apie tai, kad pateiktų etikečių patikimumas kartais kelia abejonių. Todėl, kaip pasiekti aukštos kokybės grafų reprezentaciją be priežiūros, tampa būtina daugeliu praktinių atvejų, o tai skatina šio darbo tyrimą. 35 42 50 26 27 49 12 19 43 4 5 46 Atidžiai išnagrinėję surinktus grafų struktūrizuotus duomenis, nustatėme, kad jie paprastai gaunami iš įvairių šaltinių, tokių kaip socialiniai tinklai, citavimo tinklai ir ryšių tinklai, kur egzistuoja didžiulė turinio ir jungčių informacijos. Pavyzdžiui, daugelio socialinių platformų, tokių kaip Twitter, Flickr ir Facebook, duomenys apima vartotojų ypatybes, *pvz.*, pagrindinius asmeninius duomenis, tekstus, vaizdus, IP, ir jų santykius, *pvz.*, perkant tą patį daiktą, esant draugais. Šie turtingi turinio duomenys yra pakankami vėlesnėms gavybos užduotims atlikti be papildomo vadovavimo: jei dviem subjektams pasireiškia didelis ypatybių panašumas, tikėtina, kad tarp jų yra jungtis (jungčių prognozavimas), ir jie greičiausiai priklauso tai pačiai kategorijai (klasifikacija); jei du subjektai jungiasi prie to paties subjekto, jie tikriausiai turi panašių charakteristikų (rekomendacija). Šia prasme, išsaugant ir išskiriant kuo daugiau informacijos iš informacinių tinklų į įterpimo erdvę, palengvinamas aukštos kokybės išraiškingų reprezentacijų mokymasis, pasižyminčių pageidaujamu našumu gavybos užduotyse be jokios priežiūros. Be priežiūros grafų reprezentacijų mokymasis daugeliu atvejų yra palankesnis pasirinkimas dėl laisvės nuo etikečių, ypač kai siekiame pasinaudoti didele nepažymėtų duomenų baze lauke. Kad visiškai paveldėtume turtingą informaciją grafuose, šiame darbe atliekame grafų įterpimą remdamiesi Savitarpio Informacijos (MI) padidinimu, įkvėpti empirinės „Deep Info-Max“ metodo [ ] sėkmės, kuris veikia su vaizdais. Norint atrasti naudingas reprezentacijas, „Deep InfoMax“ apmoko kodavimo priemonę, kad padidintų MI tarp jos įvesčių ( *t. y.*, vaizdų) ir išvesčių ( *t. y.*, paslėptų vektorių). Apsvarstant „Deep InfoMax“ grafų srityje, pirmasis akmuo, kurį turime peržengti, yra tai, kaip apibrėžti MI tarp grafų ir paslėptų vektorių, kai grafų topologija yra sudėtingesnė nei vaizdų (žr. 1 pav. [ ). Viena iš iššūkių yra užtikrinti, kad kiekvieno mazgo paslėptos reprezentacijos ir jo kaimynystės įvesties ypatybių MI funkcija atitiktų simetriškumo savybę arba, atvirkščiai, būtų nepriklausoma nuo kaimynystės permutacijų. Kaip vienas naujausių MI svarstančių darbų, „Deep Graph Infomax“ (DGI) [ ] pirmiausia įterpia įvesties grafą ir atitinkamą sugadintą grafą, tada apibendrina įvesties grafą kaip vektorių per skaitymo funkciją, galiausiai padidina MI tarp šio apibendrinimo vektoriaus ir paslėptų reprezentacijų, diskriminuodamas įvesties grafą (teigiamas pavyzdys) nuo sugadinto grafą (neigiamas pavyzdys). 1 pav. [ pateikia lengvai suprantamą DGI apžvalgą. Padidinus tokį MI, įrodyta, kad jis yra lygus MI tarp įvesties mazgo ypatybių ir paslėptų vektorių padidinimui, tačiau šis ekvivalentiškumas galioja esant tam tikroms iš anksto nustatytoms sąlygoms, *pvz.*, skaitymo funkcija turėtų būti injektyvi, o tai daugeliu atvejų atrodo pernelyg apribota. Net jei galime garantuoti injektyvios skaitymo funkcijos egzistavimą tam tikru dizainu, *pvz.*, „DeepSets“ [ ] naudojamu, skaitymo funkcijos injektyvumas taip pat priklauso nuo to, kaip jos parametrai yra apmokyti. Tai reiškia, kad originaliai injektyvi funkcija vis tiek rizikuoja tapti neinjektyvia, jei ji yra apmokyta be jokios išorinės priežiūros. Ir jei skaitymo funkcija nėra injektyvi, įvesties grafų informacija, esanti apibendrinimo vektoriuje, sumažės didėjant grafų dydžiui. Be to, DGI išlieka grubioje grafų/pleistų lygio MI padidinimo srityje. Todėl DGI negarantuoja, kad kodavimo priemonė gali išgauti pakankamai informacijos iš įvesties duomenų, nes ji niekada kruopščiai nesusieja paslėptų reprezentacijų su jų originaliomis įvestimis. 20 1 41 1 47 Šiame darbe siūlome paprastesnį būdą nagrinėti MI grafų struktūrų požiūriu, nenaudojant jokios skaitymo ar korupcijos funkcijos. Mes tiesiogiai išvedame MI, palygindami kodavimo priemonės įvestį (*t. y.*, kaimynystės įvesties mazgą) ir išvestį (*t. y.*, kiekvieno mazgo paslėptą reprezentaciją). Ir įdomu, kad mūsų teoriniai išvedimai rodo, jog tiesiogiai suformuluota MI gali būti suskaidyta į svertinę vietinių MI tarp kiekvienos kaimynystės ypatybės ir paslėpto vektoriaus sumą. Tokiu būdu mes suskaidėme įvesties ypatybes ir padarėme MI skaičiavimą valdomą. Be to, tokia MI forma gali lengvai atitikti simetriškumo savybę, jei pakoreguosime svorių reikšmes. Daugiau detalių pateikiame 3.1 skyriuje. Kadangi ši MI daugiausia matuojama mazgo ypatybių lygiu, mes ją vadiname Ypatybių Savitarpio Informacija (FMI). Du likę klausimai apie FMI: **1.** kombinuojami svoriai vis dar nežinomi ir **2.** ji neatsižvelgia į topologiją (*t. y.*, kraštų ypatybes). Siekiant toliau spręsti šiuos du klausimus, mes apibrėžiame mūsų Grafinio Savitarpio Informacijos (GMI) matavimą remdamiesi FMI. Konkrečiai, GMI taiko intuityvų reikšmių priskyrimą, nustatydama svorius FMI lygius tarp kiekvienos kaimynystės ir tikslinio mazgo reprezentacijų erdvėje. Kadangi išlaikoma topologinė informacija, GMI papildomai susieja šiuos svorius su įvesties kraštų ypatybėmis per papildomą savitarpio informacijos terminą. Gautoji GMI yra topologiškai nepriklausoma ir taip pat apskaičiuojama naudojant Savitarpio Informacijos Neuronų Įvertinimą (MINE) [ ]. Pagrindiniai mūsų darbo indėliai yra šie: 2 • * **Koncepcijos** *: Mes apibendriname įprastą MI įvertinimą grafų sričiai ir atitinkamai siūlome naują Grafinio Savitarpio Informacijos (GMI) koncepciją. GMI yra laisva nuo potencialios rizikos, sukeltos skaitymo funkcijos, nes ji tiesioginiu būdu nagrinėja MI tarp įvesties grafų ir aukšto lygio įterpimų. • * **Algoritmai** *: Per mūsų teorinę analizę mes pateikiame valdomą ir apskaičiuojamą GMI formą, kuri suskaido visą GMI į svertinę vietinių MI sumą. Naudojant MINE metodą, GMI padidinimas gali būti lengvai pasiektas mazgo lygiu. • * **Eksperimentiniai Rezultatai** *: Mes patvirtiname GMI efektyvumą keliose populiariose mazgų klasifikacijos ir jungčių prognozavimo užduotyse, įskaitant transdukcinį ir indukcinį. Eksperimentai rodo, kad mūsų metodas pasiekia patikimą našumą įvairiuose etalonuose ir kartais net viršija prižiūrimuosius metodus. 2 SUSIJĘ DARBAI Pagal mūsų darbo kryptį, trumpai apžvelgiame ankstesnius darbus dviejose šiose srityse: **1.** savitarpio informacijos įvertinimas ir **2.** neuronų tinklai grafų reprezentacijų mokymuisi. . Kadangi „InfoMax“ principas [ ] skatina didinti MI tarp neuronų tinklų įvesčių ir išvesčių, daugelis metodų, tokių kaip ICA algoritmai [ , ], bando naudoti MI idėją be priežiūros mokymosi ypatybių srityje. Nepaisant to, šie metodai negali būti lengvai apibendrinti į gilų neuronų tinklą dėl sunkumų skaičiuojant MI tarp aukštadimenzių nenutrūkstamų kintamųjų. Laimei, „Mutual Information Neural Estimation“ (MINE) [ ] leidžia įvertinti MI giliuose neuronų tinkluose, apmokant statistikos tinklą kaip klasifikatorių, kad atskirtų pavyzdžius, gaunamus iš bendrojo pasiskirstymo ir pasiskirstymų sandaugos. Konkrečiai, MINE naudoja tikslią KL pagrįstą MI formulę, o ne-KL alternatyva, Jensen-Shannon divergencija (JSD) [ ], gali būti naudojama be rūpesčių dėl tikslios MI vertės. Savitarpio informacijos įvertinimas 3 1 21 2 30 . Greitai vystantis grafų neuronų tinklams (GNN), pastaraisiais metais buvo pasiūlyta daugybė GNN pagrįstų grafų reprezentacijų mokymosi algoritmų, kurie pasižymi stipresniu našumu nei tradiciniai atsitiktinio vaikščiojimo ir faktorizacijos pagrįsti įterpimo metodai [ , , , , ]. Paprastai šie metodai gali būti suskirstyti į prižiūrimus ir be priežiūros. Tarp jų yra daug literatūros apie prižiūrimą grafų reprezentacijų mokymąsi [ , , , , ]. Nepaisant jų tinklo architektūros skirtumų, jie pasiekia empirinę sėkmę su etikečių pagalba, kurios realiose situacijose dažnai nepasiekiamos. Šiuo atveju be priežiūros grafų mokymosi metodai [ , , ] turi platesnį taikymo potencialą. Žinomas metodas yra GraphSAGE [ ], induktyvi sistema GNN mokymui naudojant atsitiktinio vaikščiojimo pagrįstą tikslą joje be priežiūros. Neseniai DGI [ ] taiko MI padidinimo idėją grafų sričiai ir pasiekia stiprų našumą be priežiūros. Tačiau DGI įgyvendina grubų padidinimą (*t. y.*, MI padidinimą grafų/pleistų lygiu), todėl sunku išsaugoti subtilią informaciją įvesties grafe. Be to, DGI naudojamai skaitymo funkcijai taikoma sąlyga atrodo pernelyg apribota realiose situacijose. Priešingai, mes sutelkiame dėmesį į skaitymo funkcijos apribojimų pašalinimą ir grafinio savitarpio informacijos padidinimo pasiekimą mazgo lygiu tiesiogiai didinant MI tarp kodavimo priemonės įvesčių ir išvesčių. Mūsų metodo išvestos reprezentacijos yra sudėtingesnės išlaikant įvesties grafų informaciją, o tai užtikrina jos potencialą vėlesnėms grafų gavybos užduotims, *pvz.*, mazgų klasifikavimui, jungčių prognozavimui ir rekomendacijoms. Neuronų tinklai grafų reprezentacijų mokymuisi 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 3 GRAFINIS SAVITARPIO INFORMACIJA: APIBRĖŽIMAS IR DIDINIMAS Prieš tęsiant, pirmiausia pateikiame preliminarias šiam darbui naudojamas sąvokas. Tegul G = (V, E) žymi grafą su *N* mazgais *vi* ∈ V ir kraštais *eij* = (*vi*, *vj*) ∈ E. Mazgų ypatybės, su numatoma empirine tikimybių pasiskirstymu P, pateikiamos kaip *X* ∈ R = {*x* , ..., *x* }, kur *xi* ∈ R žymi ypatybę mazgui *vi*. Adjacencijos matrica *A* ∈ R atspindi kraštų jungtis, kur *Aij*, susijęs su kraštu *eij*, gali būti realus skaičius arba daugiamatis vektorius . N × D 1 N D N × N 1 Grafų reprezentacijų mokymosi tikslas yra išmokyti kodavimo priemonę *f*: R × R → R , tokią kad paslėpti vektoriai *H* = {*h* , ..., *h* } = *f*(*X*, *A*) nurodytų aukšto lygio reprezentacijas visiems mazgams. Kodavimo procesą galima perrašyti mazgo forma. N × D N × N N × D' 1 N Kad tai parodytume, apibrėžiame *Xi* ir *Ai* mazgui *i* kaip atitinkamai jo kaimynų ypatybes ir atitinkamą adžacencijos matricą sąlygotai kaimynų. Ypač, *Xi* sudaro visi k-ojo laipsnio kaimynai *vi*, kai *k* ≤ *l*, jei kodavimo priemonė *f* yra *l*-ojo sluoksnio GNN, ir jis apima patį mazgą *i*, jei adžacencijos matricoje papildomai įterpiame savikryptis. Čia *Xi* ir *Ai* išplėstą subgrafą vadiname „palaikančiuoju grafu“ mazgui *i*, pažymėtu G . Su palaikančiojo grafo apibrėžimu, kiekvieno mazgo kodavimas tampa *hi* = *f*(G ) = *f*(*Xi*, *Ai*). i i „Deep InfoMax“ [ ] metode kodavimo priemonės mokymo tikslas yra didinti MI tarp jos įvesčių ir išvesčių. MI įvertinama naudojant statistikos tinklą kaip diskriminatorių, kad būtų klasifikuojami pavyzdžiai, gaunami iš bendrojo pasiskirstymo, ir tie, kurie gaunami iš maržinalų sandaugos. Natūralu, kad pritaikant „Deep InfoMax“ idėją grafams, turėtume didinti MI tarp reprezentacijos *hi* ir palaikančiojo grafą G kiekvienam mazgui. Tokią grafinę MI žymime kaip *I* (*hi*; G ). Tačiau apibrėžti I (*hi*; Gi) nėra paprasta. Sunkumai yra šie: Grafinio savitarpio informacijos apibrėžimo sunkumai. 20 i i • Grafinė MI turėtų būti nepriklausoma nuo mazgo indekso. Kitaip tariant, turėtume turėti *I* (*hi*; G ) = *I* (*hi*; G' ), jei G ir G' yra izomorfiniai. i i i i • Jei MI skaičiavimui taikome MINE metodą, MINE diskriminatorius priima tik fiksuoto dydžio įvestis. Tai vis dar neįmanoma G , nes skirtingi G paprastai apima skirtingą mazgų skaičių ir todėl yra skirtingų dydžių. i i Norint išspręsti grafinio savitarpio informacijos apibrėžimo problemą, šis skyrius prasideda įvedant Ypatybių Savitarpio Informacijos (FMI) koncepciją, kuri priklauso tik nuo mazgo ypatybių. Įkvėpti FMI suskaidymo, vėliau apibrėžiame Grafinę Savitarpio Informaciją (GMI), kuri atsižvelgia tiek į mazgo ypatybes, tiek į 3.1 Ypatybių Savitarpio Informacija Žymime mazgo ypatybių *Xi* empirinę tikimybių pasiskirstymą kaip *p*(*Xi*), *hi* tikimybę kaip *p*(*hi*), o bendrą pasiskirstymą kaip *p*(*hi*, *Xi*). Pagal informacijos teoriją, MI tarp *hi* ir *Xi* apibrėžiama kaip Įdomu, kad turime šį savitarpio informacijos suskaidymo teoremą, skirtą skaičiuoti *I* (*hi*; *Xi*). 1 teorema (Savitarpio Informacijos Suskaidymas). *Jei sąlyginė tikimybė p*(*hi* |*Xi*) *yra daugiklinė (žr. daugiklinės sąvoką [ ]), globali savitarpio informacija I* (*hi*; *Xi*) *apibrėžta 1 lygybėje* (*1*) *gali būti suskaidyta į svertinę vietinių MI sumą, būtent*, 36 *kur, x yra j-oji mazgo i kaimynė, i yra visi X elementai, o svoris w tenkina* ≤ *w * ≤ 1 *kiekvienam j.* j n i ij 1 ij Norint įrodyti aukščiau pateiktą teoremą, pirmiausia įvedame du lemas ir vieną apibrėžimą. 1 lemma. *Bet kokiems atsitiktiniams kintamiesiems X, Y, ir Z, turime* Su 1 teoremos [ ] suskaidymu, galime apskaičiuoti 2 lygybės [ ] dešiniąją pusę naudodami MINE, nes diskriminatoriaus įvestys dabar tampa (*hi*, *xj*) poros, kurių dydis visada išlieka toks pat (*t. y.*, *D'* × *D*). Be to, galime pakoreguoti svorius, kad atspindėtume įvesties grafų izomorfinę transformaciją. Pavyzdžiui, jei *Xi* apima tik vieno laipsnio kaimynus mazgui *i*, nustatant visus svorius vienodai, bus gaunama ta pati MI įvesties mazgams skirtingomis tvarkomis. 1 2 Nepaisant tam tikrų suskaidymo privalumų, sunku nustatyti tikslias svorių reikšmes, nes jos susijusios su *I* (*hi*; *xj*) reikšmėmis ir jų pagrindiniais pasiskirstymais. Trivialus būdas yra nustatyti visus svorius į , tada 2 lygybės [ ] dešiniosios pusės padidinimas yra lygus *I* (*hi*; *Xi*) apatinės ribos padidinimui, kuriuo tikroji FMI taip pat tam tikru mastu padidinama. Be šio metodo, papildomai pateikiame patobulintą sprendimą, laikydami svorius mokomaisiais dėmesiais, o tai yra kitame poskyryje. 1 2 Įkvėpti 1 teoremos [ ] suskaidymo, mes bandome sukurti mokomus svorius iš kitos grafų perspektyvos (*t. y.*, 3.2 Topologiškai jautri savitarpio informacija 1 topologinio vaizdo), kad *w * reikšmės būtų lankstesnės ir atspindėtų esmines grafų savybes. Galiausiai išvedame Grafinio Savitarpio Informacijos (GMI) apibrėžimą. ij 2 apibrėžimas (Grafinis Savitarpio Informacija). *MI tarp paslėpto vektoriaus h ir jo palaikančiojo grafo* G = (*X*, *A*) *yra apibrėžta kaip* *kur xj ir in apibrėžimai yra tokie pat kaip 1 teoremoje, aij yra krašto svoris/ypatybė adžacencijos matricoje A, o σ(·) yra sigmoidinė funkcija.* Intuityviai, svoris *w * pirmajame 10 lygybės [ ] termine matuoja išspręsta eksperimentuose yra be svorio. Formaliai, mes apskaičiuojame I (*w *; *a *) = *a *log*w * + (1 - *a *)log(1 - *w *). (12) Padidinus I (*h *; *G *) naudojant 11 lygybės [ ] ir 12 lygybės [ ] sumą per visus paslėptus vektorius H, gauname mūsų visą tikslinę GMI optimizavimo funkciją. įnašą vietinio MI į globalųjį. Mes įgyvendiname I (*h *; *x *) indėlį per panašumą tarp reprezentacijų *h * ir *h * (*t. y.*, *w * = σ (*h* *h *)). Tuo tarpu terminas I (*w *; *a *) padidina MI tarp *w * ir įvesties grafų krašto svorio/ypatybės (*t. y.*, *a *), kad *w * atitiktų topologinius ryšius. Šia prasme įnašo laipsnis atitiks topologinės struktūros artumą, kas paprastai priimama kaip faktas, kad *w * gali būti didesnis, jei mazgas *j* yra „arčiau“ mazgo *i*, ir mažesnis kitu atveju. Ši strategija kompensuoja trūkumą, kad FMI sutelkia dėmesį tik į mazgo ypatybes ir daro vietinius MI indėlius į globalųjį adaptiškai. Norint geriau suprasti dėmesio idėją šioje strategijoje, galite remtis dėmesiu pagrįstu GCN. Atkreipkite dėmesį, kad 10 lygybės [ ] apibrėžimas taikomas bendrais atvejais. Tam tikrais specifiniais atvejais galime šiek tiek modifikuoti 10 lygybę [ ] efektyvumui. Pavyzdžiui, kai turime reikalų su ne svorio grafais (ty krašto reikšmė yra 1, jei sujungta, ir 0 kitaip), galime pakeisti antrąjį MI terminą I (*w *; *a *) neigiama kryžminės entropijos nuostoliu. Kryžminės entropijos mažinimas taip pat prisideda prie MI padidinimo ir suteikia efektyvesnį skaičiavimą. Daugiau detalių pateikiame kitame skyriuje. Apskritai, 10 lygybės [ ] apibrėžimas turi keletą privalumų. Pirma, tokio tipo MI yra nepriklausoma nuo įvesties grafų izomorfinės transformacijos. Antra, ji yra skaičiuojama, nes kiekvieną komponentę dešinėje pusėje galima įvertinti naudojant MINE. Svarbiausia, kad GMI yra galingesnė nei DGI išlaikant originalią įvesties informaciją dėl jos aiškios koreliacijos tarp paslėptų vektorių ir mazgų bei kraštų įvesties ypatybių smulkiu mazgo lygiu. ij 10 ij ij ij ij ij ij i i 11 12 i j i j ij T j ij ij ij ij ij ij 10 10 ij ij 10 3.3 GMI DIDINIMAS Dabar tiesiogiai didiname 10 lygybės [ ] dešiniąją pusę naudodami MINE. Atkreipkite dėmesį, kad MINE įvertina MI apatinę ribą naudodama Donsker-Varadhan (DV) [ ] KL divergencijos tarp bendrojo pasiskirstymo ir maržinalų sandaugos atstovavimą. Kadangi mes labiau sutelkiame dėmesį į MI didinimą, o ne į jos konkrečios vertės gavimą, galime naudoti kitas ne-KL alternatyvas, tokias kaip Jensen-Shannon MI estimator (JSD) [ ] ir Noise-Contrastive estimator (infoNCE) [ ]. Remiantis eksperimentiniais rezultatais ir analize [ ], mes naudojame JSD estimatorių šiame darbe dėl efektyvumo ir veiksmingumo, nes infoNCE estimatorių jautrus neigiamų pavyzdžių atrankos strategijoms (neigiamų pavyzdžių skaičiui), todėl gali tapti kliūtimi didelės apimties duomenų rinkiniams su fiksuota turima atmintimi. Priešingai, JSD estimatoriaus nejautrumas neigiamų pavyzdžių atrankos strategijoms ir jo pagarbus našumas daugelyje užduočių daro jį tinkamesnį mūsų užduočiai. Konkrečiai, mes apskaičiuojame *I* (*hi*; *xj*) 10 lygybės [ ] pirmajame termine 10 10 30 31 20 10 *kur D *: *D* × *D'* → R yra diskriminatorius, sudarytas iš neuronų tinklo su parametru w. *xj* yra neigiamai atrinktas iš P = P, o sp(*x*) = log(1 + exp(*x*)) žymi minkštąjį pliusą.* w Kaip minėta 9 skyriuje [ ], mes didiname *I* (*w *; *a *) apskaičiuodami jo kryžminę entropiją, o ne naudodami JSD estimatorių, nes grafai, su kuriais dirbome eksperimentuose, yra ne svorio. Formaliai, mes apskaičiuojame 3.2 ij ij *Padidinus I (h ; G ) su 11 lygybės ir 12 lygybės suma per visus paslėptus vektorius H, mes gauname mūsų visą tikslinę GMI optimizavimo funkciją. Be to, galime papildomai pridėti kompromisinius parametrus, kad subalansuotume 11 lygybę ir 12 lygybę didesniam lankstumui.* i i 4 EKSPERIMENTAI Šiame skyriuje empiriškai vertiname GMI našumą dviejose įprastose užduotyse: mazgų klasifikacija (transdukcinė ir indukcinė) ir jungčių prognozavimas. Papildomas gana sąžiningas GMI ir kitų dviejų be priežiūros algoritmų (EP-B ir DGI) palyginimas toliau parodo jos veiksmingumą. Taip pat pateikiame t-SNE grafikų vizualizaciją ir analizuojame modelio gylio įtaką. 4.1 Duomenų rinkiniai Kad įvertintume mūsų požiūrio kokybę kiekvienoje užduotyje, naudojame 4 ar 5 įprastus etaloninius duomenų rinkinius iš ankstesnių darbų [ , , ]. Išsamios statistikos pateikiamos 1 lentelėje [ . 16 25 41 1 Klasifikacijos užduotyje Cora, Citeseer ir PubMed [ ] yra citavimo tinklai, kuriuose mazgai atitinka dokumentus, o kraštai reiškia citatas. Kiekvienas dokumentas yra susijęs su žodžių maišelio atstovavimo vektoriumi ir priklauso vienai iš iš anksto apibrėžtų klasių. Vykdant transdukcinį nustatymą [ , ], mokymas atliekamas ant visų mazgų, o 1000 testavimo mazgų naudojami vertinimui. Reddit yra didelis socialinis tinklas, sudarytas iš daugybės tarpusavyje susijusių Reddit įrašų, sukurtų 2014 m. rugsėjo mėn. [ ]. Įrašai laikomi mazgais, o kraštai reiškia to paties vartotojo komentarus. 38 2 25 41 3 16 ![ 1 lentelė: Eksperimentuose naudotų duomenų rinkinių statistika. ](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-eph3eec.jpeg) Klasės etiketė yra bendruomenė, o mūsų tikslas yra prognozuoti, kuriai bendruomenei priklauso skirtingi įrašai. PPI yra baltymų sąveikos duomenų rinkinys, apimantis kelis grafus, susijusius su skirtingais žmogaus audiniais [ ]. Poziciniai genų rinkiniai, motyvų genų rinkiniai ir imunologinės parašo yra laikomi mazgo ypatybėmis, o kiekvienas mazgas turi iš viso 121 etiketę, gautą iš genų ontologijos rinkinių. Mūsų tikslas yra klasifikuoti baltymų funkcijas, kurios gali priklausyti kelioms žanrų rūšims įvairiuose PPI grafuose. Vykdant indukcinį nustatymą [ ], Reddit, įvedame į modelį pirmuosius 20 dienų sukurtus įrašus mokymui, o likusieji naudojami testavimui (30% naudojami validavimui); PPI, yra 20 grafų mokymui, 2 validavimui ir 2 testavimui. Reikėtų pabrėžti, kad Reddit ir PPI atveju testavimas atliekamas ant nematytų (nemokytų) mazgų ir grafų, o pirmieji trys duomenų rinkiniai naudojami transdukciniam mokymui. 3 52 16 Jungčių prognozavimo užduotyje BlogCatalog yra socialinis tinklaraštininkų tinklas, kuriame tinklaraštininkai seka vienas kitą ir registruoja savo tinklaraščius pagal iš anksto apibrėžtas 6 kategorijas. Tinklaraščių žymos laikomos mazgo ypatybėmis. Flickr yra nuotraukų dalijimosi svetainė, kurioje vartotojai bendrauja su kitais ir sudaro socialinį tinklą. Vartotojai įkelia nuotraukas su 9 iš anksto apibrėžtomis klasėmis ir pasirenka pridėtas žymes, kad atspindėtų savo interesus, kurie teikia atributų informaciją. Cora ir PPI aprašymai praleidžiami trumpumo dėlei. Vykdant [ ] eksperimentinius nustatymus ir vertinimo kriterijus, atsižvelgiant į grafą, kuriame pašalinta tam tikra dalis kraštų, siekiame prognozuoti šiuos trūkstamus jungtis. Cora, BlogCatalog ir Flickr atveju atsitiktinai pašaliname 20%, 50% ir 70% kraštų, užtikrindami, kad likęs tinklas po kraštų pašalinimo būtų sujungtas, ir naudojame pažeistą tinklą mokymui. Apie PPI, vietoj rankinio kraštų pašalinimo, dalį kraštų, nematytų mokymo metu, tiesiogiai laikome prognozavimo tikslais. 4 4 15 4.2 Eksperimentiniai nustatymai Naudojame standartinį Grafų Konvoliucinį Tinklą (GCN) modelį su tokiu sluoksnio plitimo taisykliu kaip kodavimo priemonė tiek klasifikavimo, tiek jungčių prognozavimo užduotims: Kodavimo priemonės dizainas. *Kur Aˆ = D AD A = A + I , D = ∑ A , H ir H yra l-ojo sluoksnio įvesties ir išvesties matricys, W yra sluoksnio specifinė mokoma svorio matrica. Čia naudojame nelinearinį transformaciją σ – PReLU funkciją (parametrinį ReLU) [ ]. Reikėtų pripažinti, kad mazgui i, jo palaikančiojo grafo Gi kaimynystė Xi apima patį mazgą i, nes savikryptis įterpiamos per A¯.* -1/2 -1/2 n ii j ij (1) (l+1) (l) 17 Konkrečiau, Citeseer ir PubMed kodavimo priemonė yra vieno sluoksnio GCN su išvesties dimensija D' = 512. Cora, Reddit, BlogCatalog, Flickr ir PPI atveju naudojame dviejų sluoksnių GCN kaip mūsų kodavimo priemonę. Čia paslėptos dimensijos yra D' = 512 kiekviename GCN sluoksnyje. Atkreipkite dėmesį, kad naudojant panašią GCN kodavimo priemonę tiek transdukcinei, tiek indukcinei klasifikavimo užduočiai, mūsų siūlomas metodas yra lengviau suprantamas ir masteliuojamas dideliems tinklams nei DGI, nes DGI turi kurti skirtingas kodavimo priemones, kad prisitaikytų prie skirtingų mokymosi užduočių, ypač indukcinėms užduotims naudojamos kodavimo priemonės yra per sudėtingos ir nepatogios praktiniams taikymams. 11 lygybės [ ] diskriminatorius vertina įvesties-išvesties ypatybių poras per paprastą biliarinę funkciją, panašią į 31 [ ] naudotą diskriminatorių: Diskriminatoriaus dizainas. 11 31 *kur Θ žymi mokomą balų matricą, o naudojama aktyvacijos funkcija σ yra sigmoidas, kurios tikslas yra paversti balus į (h, x) kaip teigiamo pavyzdžio tikimybes.* Tiesą sakant, 11 lygybės [ ] pirmojo termino svoriui *w *, eksperimentuose turime du būdus jį gauti. Pirmasis yra išlaikyti *w * = σ (*h* *h *), todėl vietiniai MI prisideda prie globalaus adaptiškai, ir šią variantą vadiname GMI-adaptive. Implementavimo detalės. 11 ij ij T j Kitas yra leisti *w * = 1/i , *t. y.*, kairysis intervalas, kuriame *w * priklauso (žr. 1 teoremą [ ]), o tai reiškia, kad kiekvieno vietinio MI indėlis yra lygus, ir šią variantą vadiname GMI-mean. Čia tiek GMI-mean, tiek GMI-adaptive yra įtraukti į palyginimo su baziniais metodais diapazoną. ij n i j 1 Visi eksperimentai įgyvendinti „PyTorch“ su „Glorot“ inicializacija ir atlikti su vienu „Tesla P40“ GPU. Perdozavimo metu atliekame eilutės normalizavimą ant Cora, Citeseer, PubMed, BlogCatalog ir Flickr pagal, ir taikome apdorojimo strategiją Reddit ir PPI. Mokymų metu naudojame Adam Optimizer su pradiniu 0.001 mokymu visuose septyniuose duomenų rinkiniuose. Kaip siūloma, naudojame ankstyvojo sustojimo strategiją su 20 lango dydžiu ant Cora, Citeseer ir PubMed, o modelį mokome fiksuotą epochų skaičių induktyviuose duomenų rinkiniuose (20 ant Reddit, 50 ant PPI). Neigiamų pavyzdžių skaičius nustatytas 5. Dėl didelio Reddit ir PPI masto, mums reikia naudoti [ ] įvestą papildomų pavyzdžių atrankos techniką, kad jie tilptų į GPU atmintį. Išsamiai, pirmiausia pasirenkama 256 mazgų mini partija, o tada kiekvienam pasirinktam mazgui atsitiktinai pasirenkame 8 ir 5 kaimynus pirmajame ir antrajame lygio kaimynystėse. Naudojame vieno laipsnio kaimynystę palaikančiajam grafui eksperimentuose kurti ir naudojame *XW* (*t. y.*, suspaustą įvesties ypatybę) FMI skaičiuoti, nes naudojant originalią įvesties ypatybę *X* sukelia GPU atminties perpildymą. Kompromisiniai parametrai derinami diapazone, siekiant subalansuoti 11 lygybę [ ] ir 12 lygybę [ ]. Batch Normalization strategija [ ] taikoma mokant mūsų modelį Reddit ir PPI. 16 (0) 11 12 22 Klasifikacijos užduočiai, mes pateikiame mokomąsias įterpimus per mokymo rinkinį logistinės regresijos klasifikatoriui ir pateikiame rezultatus testavimo mazguose [ , ]. Konkrečiai, transdukciniame mokyme, naudojame vidutinį klasifikavimo tikslumą po 50 paleidimų, kad įvertintume našumą, o induktyviame mokyme naudojame mikro vidutinį F1 balą, vidutiniškai po 50 paleidimų. Ir PPI atveju, kaip siūloma [ ], standartizuojame mokomąsias įterpimus prieš juos pateikiant logistinės regresijos klasifikatoriui. Jungčių prognozavimo užduočiai, kriterijus, kurį pasirinkome, yra AUC, kuris yra ROC kreivės plotas po ja. AUC skaičiavimui naudojami neigiami pavyzdžiai, gaunami atsitiktinai pasirenkant lygų skaičių mazgų porų be jungčių originaliame grafe. Kuo arčiau AUC balas yra 1, tuo geriau algoritmo našumas. Panašiai, mes pateikiame AUC balą, vidutinį po 10 paleidimų. Vertinimo kriterijai. 16 25 41 4.3 Klasifikacija 2 lentelė [ ] pateikia mūsų metodo ir kitų bazinių metodų vidutinį klasifikavimo tikslumą transdukcinėse užduotyse. Čia rezultatai EP-B [ ], DGI [ ], Planetoid-T [ ], GAT [ ], taip pat GWNN [ ] paimti iš jų originalių darbų, o rezultatai DeepWalk [ ], LP (Label Propagation) [ ] ir GCN [ ] nukopijuoti iš Kipf & Welling [ ]. Kalbant apie žalias ypatybes, mes jas tiekiame logistinės regresijos klasifikatoriui mokymui ir pateikiame rezultatus testavimo ypatybėms . Nors pateikiame eksperimentinius prižiūrimųjų ir be priežiūros metodų rezultatus, šiame darbe mes labiau sutelkiame dėmesį į palyginimą su be priežiūros metodais, kurie atitinka mūsų nustatymą. Transdukcinis mokymas. 2 11 41 45 40 44 33 51 25 25 5 Kaip matyti, mūsų siūlomi GMI-mean ir GMI-adaptive, palyginti su kitais be priežiūros metodais, pasiekia geriausią klasifikavimo tikslumą visuose trijuose duomenų rinkiniuose. Mes manome, kad toks stiprus našumas naudingas dėl idėjos tiesiogiai didinti grafinę MI tarp kodavimo priemonės įvesties ir išvesties porų smulkiu mazgo lygiu. Todėl užkoduota reprezentacija maksimaliai išsaugo mazgo ypatybių ir topologijos informaciją G, o tai prisideda prie klasifikavimo. Priešingai, EP-B nepaiso pagrindinės informacijos tarp įvesties duomenų ir mokomų reprezentacijų, o DGI išlieka grafų/pleistų lygio MI padidinimo srityje, o tai riboja jų gebėjimą išsaugoti ir išskirti originalią įvesties informaciją į įterpimo erdvę. Taigi šiek tiek silpnas našumas klasifikavimo užduotyse. Be to, be etikečių vadovavimo, mūsų metodas rodo palyginamus rezultatus su kai kuriais prižiūrimaisiais modeliais, tokiais kaip GCN ir GAT, ir netgi geresnius rezultatus nei jie ant Citeseer ir PubMed. Manome, kad reprezentacijos, mokytos per GMI padidinimą tarp įvesčių ir išvesčių, paveldėja turtingą informaciją grafe G, kurios pakanka klasifikavimui. Daugiau pastebėtina tai, kad daugelis turimų etikečių taip pat remiasi informacija G. Taigi, išlaikant kuo daugiau informacijos iš įvesties, tam tikru mastu galima kompensuoti etiketės teikiamą informaciją, o tai palaiko GMI našumą vėlesnėse grafų gavybos užduotyse. Galima teigti, kad mokymasis iš originalių įvesčių be etikečių žada didesnės kokybės reprezentacijas nei prižiūrimasis modelis, nes dėl kraštutinio mokymo etikečių retumo gali kilti persidengimo grėsmė arba pateiktų etikečių teisingumas gali būti nepatikimas. 2 lentelė [ ] taip pat apibendrina GMI ir kitų bazinių metodų mikro vidurkius F1 balus ant Reddit ir PPI. Mes cituojame DGI, GAT, FastGCN [ ] ir GaAN [ ] rezultatus jų originaliuose darbuose, o likusių septynių palygintų metodų rezultatus ištraukiame iš Hamilton et al. [ ] (čia mes pakartotinai naudojame be priežiūros GraphSAGE rezultatus, kad atitiktų mūsų nustatymą). Panašiai, mūsų darbo akcentas yra palyginimas su be priežiūros algoritmais. Indukcinis mokymas. 2 7 48 16 GMI-mean ir GMI-adaptive sėkmingai pranoksta visus kitus konkuruojančius be priežiūros algoritmus Reddit ir PPI, o tai patvirtina GMI padidinimo veiksmingumą induktyvios klasifikacijos srityje (generalizavimas nematytiems mazgams). Įdomu, kad mūsų metodo rezultatas Reddit yra konkurencingas su kai kuriais pažangiais prižiūrimaisiais modeliais, tačiau PPI situacija visiškai kitokia. Atlikę tolesnę analizę, pastebėjome, kad 42% mazgų PPI neturi ypatybių verčių, o tai reiškia, kad ypatybių matrica X yra labai retas [ ]. Tokiu atveju tiesioginis ir vien tik įvesties grafą G = (X, A) naudojimas riboja be priežiūros metodų, įskaitant DGI ir mūsų metodą, našumą, tuo tarpu mokymasis prižiūrimu būdu rodo daug geresnį našumą dėl papildomos informacijos, suteiktos papildomų etikečių. 16 Pagal 2 lentelę [ ], du GMI variantai (GMI-mean ir GMI-adaptive), kurie naudoja skirtingas strategijas vietinio MI indėliui matuoti (detaliau § 4.2 [ ]), pasiekia konkurencingus rezultatus vienas su kitu, tačiau GMI-adaptive rodo šiek tiek silpnesnį našumą nei GMI-mean. Atlikę tolesnę analizę, manome, kad tai gali būti dėl mokymosi sunkumų, sukeltų adaptivaus mokymosi pobūdžio. Galbūt GMI-adaptive našumas galėtų būti pagerintas su pažangia mokymo strategija. Šia prasme GMI-mean yra praktiškesnis ir realistiškesnis, todėl jį galima laikyti atstovu praktikoje. GMI dviejų variantų vertinimas. 2 4.2 4.4 Tikslinės funkcijos veiksmingumas Siekiant toliau paaiškinti grafinės MI padidinimo veiksmingumą be priežiūros grafų reprezentacijų mokymosi srityje ir pateikti gana sąžiningą palyginimą su DGI ir EP-B (du be priežiūros algoritmai), mes pakeičiame savo tikslinę funkciją atitinkamai jų nuostolio funkcijomis, išlaikydami kitus eksperimentinius nustatymus. 3 lentelė [ ] pateikia rezultatus transdukcinio ir indukcinio nustatymo sąlygomis. Kaip matyti, GMI (GMI-mean ir GMI-adaptive) pasiekia stipresnį našumą visuose penkiuose duomenų rinkiniuose, o tai atspindi DGI ir EP-B trūkumus tam tikruose grafų reprezentacijų mokymosi užduočių aspektuose. Konkrečiai, EP-B nuostolis taiko apribojimus tik kiekvienam mazgui ir jo kaimynams išvesties lygiu (įterpimo erdve), jis nepaiso sąveikos tarp kodavimo priemonės įvesties ir išvesties porų, todėl jo gebėjimas išlaikyti galiojančią informaciją G yra silpnas. DGI, nors ir neimplicitškai susieja paslėptas reprezentacijas su jų originaliomis įvesties ypatybėmis, MI aptaria grafų/pleistų lygiu, o tai yra gana grubus. 3 Įdomu tai, kad, palyginti su DGI, mūsų FMI (be topologijos informacijos) pastebimai pagerėja didėjant grafų dydžiui. Šį atradimą siejame su tuo, kad skaitymo funkcijos našumo degradacija leidžia DGI prarasti tam tikrą naudingą informaciją mazgų klasifikavimui didėjant grafų dydžiui, nors ji ir parodo gerą našumą mažuose grafuose, tokiuose kaip Cora ir Citeseer. Kai atspindima įvesties grafų topologija, mūsų GMI pranoksta visus kitus nuostolių tipus visuose duomenų rinkiniuose. Be to, atkreipkite dėmesį, kad visas GMI mokymo procesas yra panašus į generatyvinių modelių diskriminatorių mokymą, o GMI empiriškai parodo palyginamą mokymo greitį su EP-B ir DGI didžiausiame duomenų rinkinyje Reddit, o tai demonstruoja jo gerą mastelio keitimą. 4.5 Jungčių prognozavimas Remdamiesi aukščiau pateiktais eksperimentiniais rezultatais, nustatėme, kad DGI yra stiprus konkurentas GMI be priežiūros algoritmų srityje. Todėl šiame skyriuje ketiname toliau ištirti DGI ir GMI našumą kitoje gavybos užduotyje – jungčių prognozavime. Čia palyginimui su DGI pasirenkame FMI ir GMI-mean. 4 lentelėje [ ] pateikiami jų AUC balai keturiuose skirtinguose duomenų rinkiniuose. Esant skirtingoms kraštų pašalinimo normoms, GMI ir FMI abiem žymiai pranoksta DGI (išskyrus FMI 70,0% BlogCatalog atveju), rodydami, kad grafinės MI matavimas tarp įvesties grafų ir išvesties reprezentacijų smulkiu būdu yra pajėgus užfiksuoti turtingą informaciją įvesčiuose ir suteikti gerą generalizavimo gebėjimą. Apie DGI, pirma, jos grafų/pleistų lygio MI padidinimas, kuris yra gana grubus, riboja jos našumą tokioje smulkioje jungčių prognozavimo užduotyje; antra, korupcijos funkcijos netinkamumas susilpnina DGI gebėjimą mokytis tikslių reprezentacijų prognozuoti trūkstamas jungtis. Primename, kad DGI diskriminatoriaus neigiamas pavyzdys gaunamas sugadinant originalų įvesties grafą, o gerai suprojektuota korupcijos funkcija yra būtina ir reikalauja kai kurių įgudusių strategijų [ ]. Šioje užduotyje mes vis dar naudojame ypatybių maišymo funkciją, kuri parodė geriausius rezultatus klasifikavimo užduotyje, kad sukurtume neigiamus pavyzdžius. Bet tais atvejais, kai įvesties grafas yra neišsamus topologinių jungčių atžvilgiu, šio sugadinto grafą kaip neigiamo etiketės diskriminatoriuje teikiama pagalba tampa nepatikima dėl įvesties grafų netikslumo, todėl našumas yra prastas. Todėl užduočiai pritaikytos korupcijos funkcijos būtinybė yra DGI trūkumas. Priešingai, mūsų GMI neturi šios problemos, nes pašalina korupcijos funkciją ir tiesiogiai didina grafinę MI tarp kodavimo priemonės įvesčių ir išvesčių. Be to, galima pastebėti, kad FMI daugeliu atvejų yra konkurencinga su GMI, net Flickr atveju FMI yra pranašesnė už GMI. Manome, kad tai naudinga dėl tiesioginio ir kruopštaus ypatybių savitarpio informacijos didinimo mazgo lygiu. Remiantis Homofilijos hipoteze [ ] (*t. y.*, tinklo subjektai su panašiomis ypatybėmis yra linkę jungtis), įvesties ypatybių informacijos išlaikymas mokomose įterpimuose leidžia FMI turėti gerą gebėjimą inferuoti trūkstamas jungtis. 4 41 29 4.6 Vizualizacija Intuityviam iliustravimui, 5 lentelė [ ] pateikia t-SNE [ ] grafikų sugeneruotų įterpimų ant Cora ir Citeseer. Kokybiniu požiūriu, FMI ir DGI mokomų grafikų pasiskirstymas atrodo panašus, o GMI sugeneruoti įterpimai aiškesnius klasterius nei žaliavos ypatybės, FMI ir DGI. 5 28 Ypač ant Cora, klasterių kompaktiškumas ir atskiriamumas yra itin akivaizdūs, atspindintys septynias temines kategorijas. Kvantyviam analizei, mes bandome matuoti klasterių kokybę apskaičiuodami Silueto Koeficiento balą [ ]. Konkrečiai, mes naudojame *silhouette_score* funkciją iš scikit-learn Python paketo [ ] su visais numatytaisiais nustatymais ir vadovaujamės vartotojo vadovu vertinimui atlikti. GMI mokomų įterpimų klasteris gauna Silueto Koeficiento balą 0.425 ant Cora, 0.402 ant Citeseer ir 0.385 ant PubMed, o DGI gauna 0.417, 0.391, 0.373 ir EP-B gauna 0.384, 0.385, 0.379 atitinkamai trijuose duomenų rinkiniuose. Tiek kokybiškai, tiek kiekybiškai, tai parodo puikų GMI našumą, o tai iliustruoja grafinės savitarpio informacijos padidinimo racionalumą ir veiksmingumą be priežiūros grafų reprezentacijų mokymosi srityje. 37 32 4.7 Modelio gylio įtaka Šioje dalyje, mes koreguojame konvoliucinių sluoksnių skaičių kodavimo priemonėje, kad ištirtume modelio gylio įtaką klasifikavimo tikslumui. Atsižvelgdami į galimus gilių neuronų tinklų mokymosi sunkumus, kaip siūloma [ ], taip pat eksperimentuojame su standartinio GMI modelio liekamojo varianto atitikmeniu, kuris prideda tapatybės trumpojo jungimo jungtis tarp kiekvienų dviejų paslėptų sluoksnių, kad pagerintų gilių tinklų mokymą. Čia ir toliau kiekvienam paslėptam sluoksniui turime D' = 512 ypatybių ir pradedame taikyti tapatybės trumpuosius jungimus nuo antrojo sluoksnio, nes pirmojo sluoksnio įvestis ir išvestis nėra tokios pačios dimensijos. 18 Be to, palyginti su standartiniu GMI modeliu, kuris pasiekia GMI padidinimą tarp galutinės reprezentacijos ir originalaus įvesties grafų, mes svarstome kitą variantą, vadinamą tankiuoju GMI, kuris didina GMI tarp kiekvieno paslėpto sluoksnio ir įvesties grafų. 2 pav. [ ] pateikia išsamią architektūros iliustraciją. Įtraukti hiperparametrai išlieka nepakitę, išskyrus tai, kad mokome fiksuotas epochas (600 ant Cora ir Citeseer) be ankstyvojo sustojimo. Rezultatai pavaizduoti 3 pav. [ ]. 2 3 Viena vertus, modelio gylio padidėjimas žymiai padidina našumo skirtumą tarp modelių su trumpojo jungimo jungtimis ir be jų. Geriausias rezultatas Cora pasiekiamas naudojant dviejų sluoksnių GCN kodavimo priemonę, o geriausias rezultatas Citeseer pasiekiamas naudojant vieno sluoksnio GCN kodavimo priemonę. Be to, kad padidėjęs modelio gylis apsunkina mokymąsi nenaudojant trumpojo jungimo jungčių, mes taip pat manome, kad tolesnė kaimynystės informacija, atnešta kelių konvoliucinių sluoksnių, gali būti triukšmas savireprezentacijos mokymuisi. Konkrečiai, skirtingas kaimynų artumas reiškia skirtingą panašumo laipsnį, jei du atsitiktiniai mazgai yra tam tikru atstumu, jie greičiausiai bus visiškai skirtingi. Todėl standartiniame GMI modelyje informacija, surinkta iš tolesnės kaimynystės, gali turėti daug triukšmo, besiskiriančio nuo paties mazgo charakteristikų, o tai blogina mokomųjų įterpimų kokybę ir vėlesnį klasifikavimo našumą. Priešingai, papildomos tapatybės trumposios jungtys leidžia modeliui perduoti ankstesnio sluoksnio įvesties informaciją, kuri gali būti laikoma papildomu procesu panašiai kaimynystės informacijai iš sekliau esančių sluoksnių į gilesnius sluoksnius, todėl liekamasis variantas yra santykinai mažiau jautrus modelio gyliui. Kita vertus, pastebime, kad tankiojo GMI variantas taip pat tam tikru mastu palengvina našumo pablogėjimą, nors MI linkusi mažėti su gyliu dėl duomenų apdorojimo nelygybės [ ]. Tai vyksta dėl grafinės MI padidinimo tarp kiekvieno sluoksnio išvesties ir įvesties grafų, o tai taiko tiesioginį apribojimą kiekvienam paslėptam sluoksniui, kad įvesties informacijos išsaugojimas būtų kuo vientisesnis. Remiantis šiuo pastebėjimu, GMI padidinimo apribojimo taikymas paslėptuose sluoksniuose, siekiant sumažinti informacijos praradimą mokant gilius neuronų tinklus, gali būti gera praktika. 8 5 IŠVADA Siekdami įveikti turimos priežiūros trūkumo dilemą ir išvengti potencialios rizikos, kilusios dėl nepatikimų etikečių, mes įvedame naują grafinio savitarpio informacijos (GMI) koncepciją, kad grafų reprezentacijų mokymasis būtų atliekamas be priežiūros. Jo esmė yra tiesiogiai didinti savitarpio informaciją tarp grafų neuronų kodavimo priemonės įvesties ir išvesties pagal mazgo ypatybes ir topologinę struktūrą. Per mūsų teorinę analizę, mes pateikiame GMI apibrėžimą ir suskaidome ją į svertinės formos, kurią galima lengvai apskaičiuoti dabartiniu savitarpio informacijos įvertinimo metodu MINE. Atitinkamai, mes kuriame be priežiūros modelį ir atliekame dvi įprastas grafų gavybos užduotis. Rezultatai rodo, kad GMI pranoksta moderniausius be priežiūros bazinius metodus tiek klasifikavimo užduotyse (transdukcinėse ir induktyvinėse), tiek jungčių prognozavimo užduotyse, kartais net yra konkurencinga su prižiūrimaisiais algoritmais. Būsimi darbai sutelks dėmesį į užduočiai pritaikytą reprezentacijų mokymąsi arba GMI padidinimo idėjos pritaikymą kitiems grafų tipams, tokiems kaip heterogeniniai grafai ir hipergrafai. PADĖKA Šis darbas buvo remiamas Kinijos Nacionalinės Klostės Tyrimų ir Plėtros Programos (Nr. 2018AAA0101400), Kinijos Nacionalinio Gamtos Mokslų Fondų (Nr. 61872287 ir Nr. 61532015), Kinijos Nacionalinio Gamtos Mokslų Fondo Inovatyvios Tyrimų Grupės (Nr. 61721002), Švietimo Ministerijos Inovacijų Tyrimų Komandos (IRT_17R86) ir Kinijos Inžinerinių Mokslų ir Technologijos Žinių centro Projekto. Be to, šis tyrimas buvo finansuojamas Kinijos Mokslo ir Technologijos Ministerijos Nacionalinio Mokslo ir Technologijos Svarbiausio Projekto (Nr. 2018AAA0102900). NUORODOS Luís B Almeida. 2003. MISEP–Linear and Nonlinear ICA Based on Mutual Information. 4, Dec (2003), 1297–1318. Journal of machine learning research Mohamed Ishmael Belghazi, Aristide Baratin, Sai Rajeswar, Sherjil Ozair, Yoshua Bengio, Aaron Courville, and R Devon Hjelm. 2018. Mine: mutual information neural estimation. In . ICML Anthony J Bell and Terrence J Sejnowski. 1995. An information-maximization approach to blind separation and blind deconvolution. 7, 6 (1995), 1129–1159. Neural computation Esben Jannik Bjerrum and Richard Threlfall. 2017. Molecular generation with recurrent neural networks (RNNs). (2017). arXiv preprint arXiv:1705.04612 Xavier Bresson and Thomas Laurent. 2019. A Two-Step Graph Convolutional Decoder for Molecule Generation. (2019). arXiv preprint arXiv:1906.03412 Shaosheng Cao, Wei Lu, and Qiongkai Xu. 2015. Grarep: Learning graph repre-sentations with global structural information. In . CIKM Jie Chen, Tengfei Ma, and Cao Xiao. 2018. Fastgcn: fast learning with graph convolutional networks via importance sampling. (2018). arXiv preprint arXiv:1801.10247 Thomas M Cover and Joy A Thomas. 2012. . John Wiley & Sons. Elements of information theory Ming Ding, Jie Tang, and Jie Zhang. 2018. Semi-supervised learning on graphs with generative adversarial nets. In . CIKM Monroe D Donsker and SR Srinivasa Varadhan. 1983. Asymptotic evaluation of certain Markov process expectations for large time. IV. 36, 2 (1983), 183–212. Communications on pure and applied mathematics Alberto Garcia Duran and Mathias Niepert. 2017. Learning graph representations with embedding propagation. In . NeurIPS Evgeniy Faerman, Otto Voggenreiter, Felix Borutta, Tobias Emrich, Max Berrendorf, and Matthias Schubert. 2019. Graph Alignment Networks with Node Matching Scores. In . NeurIPS Xavier Glorot and Yoshua Bengio. 2010. Understanding the difficulty of training deep feedforward neural networks. In . AISTATS Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2014. Generative adversarial nets. In . NeurIPS Aditya Grover and Jure Leskovec. 2016. node2vec: Scalable feature learning for networks. In . KDD Will Hamilton, Zhitao Ying, and Jure Leskovec. 2017. Inductive representation learning on large graphs. In . NeurIPS Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2015. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In . ICCV Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2016. Deep residual learning for image recognition. In . CVPR Mark Heimann, Haoming Shen, Tara Safavi, and Danai Koutra. 2018. Regal: Representation learning-based graph alignment. In . CIKM R Devon Hjelm, Alex Fedorov, Samuel Lavoie-Marchildon, Karan Grewal, Phil Bachman, Adam Trischler, and Yoshua Bengio. 2018. Learning deep represen-tations by mutual information estimation and maximization. (2018). arXiv preprint arXiv:1808.06670 Aapo Hyvärinen and Petteri Pajunen. 1999. Nonlinear independent component analysis: Existence and uniqueness results. 12, 3 (1999), 429–439. Neural networks Sergey Ioffe and Christian Szegedy. 2015. Batch normalization: Accelerating deep network training by reducing internal covariate shift. (2015). arXiv preprint arXiv:1502.03167 Nikhil Ketkar. 2017. Introduction to pytorch. In . 195–208. Deep learning with python Diederik P Kingma and Jimmy Ba. 2014. Adam: A method for stochastic opti-mization. (2014). arXiv preprint arXiv:1412.6980 Thomas N Kipf and Max Welling. 2016. Semi-supervised classification with graph convolutional networks. (2016). arXiv preprint arXiv:1609.02907 Thomas N Kipf and Max Welling. 2016. Variational graph auto-encoders. (2016). arXiv preprint arXiv:1611.07308 David Liben-Nowell and Jon Kleinberg. 2007. The link-prediction problem for social networks. 58, 7 (2007), 1019–1031. Journal of the American society for information science and technology Laurens van der Maaten and Geoffrey Hinton. 2008. Visualizing data using t-SNE. 9, Nov (2008), 2579–2605. ournal of machine learning research Miller McPherson, Lynn Smith-Lovin, and James M Cook. 2001. Birds of a feather: Homophily in social networks. 27, 1 (2001), 415–444. Annual review of sociology Sebastian Nowozin, Botond Cseke, and Ryota Tomioka. 2016. f-gan: Training gen-erative neural samplers using variational divergence minimization. In . NeurIPS Aaron van den Oord, Yazhe Li, and Oriol Vinyals. 2018. Representation learning with contrastive predictive coding. (2018). arXiv preprint arXiv:1807.03748 Fabian Pedregosa, Gaël Varoquaux, Alexandre Gramfort, Vincent Michel, Bertrand Thirion, Olivier Grisel, Mathieu Blondel, Peter Prettenhofer, Ron Weiss, Vincent Dubourg, et al. 2011. Scikit-learn: Machine learning in Python. 12, Oct (2011), 2825–2830. Journal of machine learning research Bryan Perozzi, Rami Al-Rfou, and Steven Skiena. 2014. Deepwalk: Online learning of social representations. In . KDD Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Kuansan Wang, and Jie Tang. 2018. Network embedding as matrix factorization: Unifying deepwalk, line, pte, and node2vec. In . WSDM Meng Qu, Yoshua Bengio, and Jian Tang. 2019. GMNN: Graph Markov Neural Networks. In . ICML Renato Renner and Ueli Maurer. 2002. About the mutual (conditional) information. In . ISIT Peter J Rousseeuw. 1987. Silhouettes: a graphical aid to the interpretation and validation of cluster analysis. 20 (1987), 53–65. Journal of computational and applied mathematics Prithviraj Sen, Galileo Namata, Mustafa Bilgic, Lise Getoor, Brian Galligher, and Tina Eliassi-Rad. 2008. Collective classification in network data. 29, 3 (2008), 93–93. AI magazine Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. 2015. Line: Large-scale information network embedding. In . WWW Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. 2017. Graph attention networks. (2017). arXiv preprint arXiv:1710.10903 Petar Veličković, William Fedus, William L Hamilton, Pietro Liò, Yoshua Bengio, and R Devon Hjelm. 2018. Deep graph infomax. (2018). arXiv preprint arXiv:1809.10341 Jun Wu, Jingrui He, and Jiejun Xu. 2019. Net: Degree-specific Graph Neural Networks for Node and Graph Classification. (2019). arXiv preprint arXiv:1906.02319 Yuting Wu, Xiao Liu, Yansong Feng, Zheng Wang, Rui Yan, and Dongyan Zhao. 2019. Relation-aware entity alignment for heterogeneous knowledge graphs. In . IJCAI Bingbing Xu, Huawei Shen, Qi Cao, Yunqi Qiu, and Xueqi Cheng. 2019. Graph Wavelet Neural Network. (2019). arXiv preprint arXiv:1904.07785 Zhilin Yang, William W Cohen, and Ruslan Salakhutdinov. 2016. Revisiting semi-supervised learning with graph embeddings. (2016). arXiv preprint arXiv:1603.08861 Jiaxuan You, Bowen Liu, Zhitao Ying, Vijay Pande, and Jure Leskovec. 2018. Graph convolutional policy network for goal-directed molecular graph generation. In . NeurIPS Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabas Poczos, Ruslan R Salakhutdinov, and Alexander J Smola. 2017. Deep sets. In . 3391–3401. NeurIPS Jiani Zhang, Xingjian Shi, Junyuan Xie, Hao Ma, Irwin King, and Dit-Yan Yeung. 2018. Gaan: Gated attention networks for learning on large and spatiotemporal graphs. (2018). arXiv preprint arXiv:1803.07294 Muhan Zhang and Yixin Chen. 2018. Link prediction based on graph neural networks. In . NeurIPS Yingxue Zhang, Soumyasundar Pal, Mark Coates, and Deniz Ustebay. 2019. Bayesian graph convolutional neural networks for semi-supervised classification. In . AAAI Xiaojin Zhu, Zoubin Ghahramani, and John D Lafferty. 2003. Semi-supervised learning using gaussian fields and harmonic functions. In . ICML Marinka Zitnik and Jure Leskovec. 2017. Predicting multicellular function through multi-layer tissue networks. 33, 14 (2017), i190–i198. Bioinformatics This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on ieee.org