Mākslīgā intelekta apmācība uz grafu datiem bez uzraudzības – jauna pieeja

```html ``` Autori: Zhen Peng Wenbing Huang Minnan Luo Qinghua Zheng Yu Rong Tingyang Xu Junzhou Huang ABSTRAKT Bagātība dažādu informācijas tīklu, piemēram, sociālo tīklu un komunikācijas tīklu, saturā nodrošina nepieredzētu potenciālu augstas kvalitātes izteiksmīgu attēlojumu apguvei bez ārējas uzraudzības. Šajā rakstā tiek pētīts, kā saglabāt un izvilkt bagātīgo informāciju no grafu strukturētiem datiem iegultajā telpā nepiespiestā veidā. Šim nolūkam mēs piedāvājam jaunu koncepciju, grafisko savstarpējo informāciju (GMI), lai izmērītu korelāciju starp ievades grafiem un augsta līmeņa slēptajiem attēlojumiem. GMI vispārina tradicionālo savstarpējās informācijas aprēķinu ideju no vektoru telpas uz grafu domēnu, kur ir nepieciešams izmērīt savstarpējo informāciju gan no mezglu iezīmju, gan topoloģiskās struktūras viedokļa. GMI piedāvā vairākas priekšrocības: Pirmkārt, tā ir imūna pret ievades grafu izomorfu transformāciju — nenovēršama saistība daudzos esošajos grafu attēlojumu apguves algoritmos; Turklāt to var efektīvi novērtēt un maksimāli palielināt, izmantojot pašreizējās savstarpējās informācijas novērtēšanas metodes, piemēram, MINE; Visbeidzot, mūsu teorētiskā analīze apstiprina tās pareizību un racionalitāti. Ar GMI palīdzību mēs izstrādājam nepiespiestu mācīšanās modeli, ko apmāca, maksimāli palielinot GMI starp grafu neironu kodētāja ievadi un izvadi. Ievērojami eksperimenti ar transductive un inductive mezglu klasifikāciju un saišu prognozēšanu parāda, ka mūsu metode pārsniedz esošās nepiespiestās metodes, un dažreiz pat pārsniedz uzraudzīto metožu veiktspēju. 1 IEVADS Lai nodrošinātu uzticamu kvantitatīvo analīzi dažādiem informācijas tīkliem, augstas kvalitātes attēlojumu apguve grafu strukturētiem datiem ir kļuvusi par vienu no pašreizējiem aizraujošākajiem tematiem. Jaunākās metodes šī mērķa sasniegšanai, ko parasti iedala grafu neironu tīklos (GNN), ir panākušas ievērojamu progresu daudzos mācīšanās uzdevumos, piemēram, mezglu klasifikācijā [ , , ], saišu prognozēšanā [ , , ], grafu saskaņošanā [ , , ], molekulārās ģenerēšanā [ , , ] un citos. Lai gan tiek gūti auglīgi rezultāti, GNN apmācība esošajās pieejās parasti prasa noteikta veida uzraudzību. Neapšaubāmi, etiķešu informācija ir dārga, lai to iegūtu — manuāla anotācija vai atļaujas iegūšana, un pat nav iespējama privātuma politikas dēļ. Nemaz nerunājot par to, ka sniegto etiķešu uzticamība dažreiz ir apšaubāma. Tāpēc, kā panākt augstas kvalitātes grafu attēlojumu bez uzraudzības, ir nepieciešams daudziem praktiskiem gadījumiem, kas motivē šī raksta izpēti. 35 42 50 26 27 49 12 19 43 4 5 46 Uzmanīgi izpētot mūsu savāktos grafu strukturētos datus, mēs atklājam, ka tie parasti nāk no dažādiem avotiem, piemēram, sociālajiem tīkliem, citātu tīkliem un komunikācijas tīkliem, kur pastāv milzīgs satura un saišu informācijas daudzums. Piemēram, dati daudzās sociālajās platformās, piemēram, Twitter, Flickr un Facebook, ietver lietotāju iezīmes, *piemēram*, pamatinformāciju par personu, tekstus, attēlus, IP un to attiecības, *piemēram*, pērkot to pašu preci, esot draugiem. Šie bagātīgie satura dati ir pietiekami, lai atbalstītu turpmākos ieguves uzdevumus bez papildu norādījumiem: ja diviem elementiem ir ārkārtīga līdzība iezīmēs, pastāv liela varbūtība, ka starp tiem ir saite (saišu prognozēšana), un tie, visticamāk, pieder vienai kategorijai (klasifikācija); ja divi elementi abi saista ar vienu un to pašu elementu, tiem, iespējams, ir līdzīgas īpašības (ieteikums). Šajā ziņā, saglabājot un izvelkot pēc iespējas vairāk informācijas no informācijas tīkliem iegultajā telpā, tiek veicināta augstas kvalitātes izteiksmīgu attēlojumu apguve, kas parāda vēlamos rezultātus ieguves uzdevumos bez jebkādas uzraudzības. Nepiespiesta grafu attēlojumu apguve daudzos gadījumos ir vēlamāka izvēle, jo tā ir brīva no etiķetēm, īpaši, ja mēs vēlamies izmantot plašu neiezīmētu datu apjomu. Lai pilnībā pārmantotu bagātīgo informāciju grafos, šajā rakstā mēs veicam grafu iegulšanu, pamatojoties uz savstarpējās informācijas (MI) maksimālo palielināšanu, ko iedvesmo Deep Info-Max metodes [ ] empīriskais panākums, kas darbojas ar attēliem. Lai atklātu noderīgus attēlojumus, Deep InfoMax apmāca kodētāju, lai maksimāli palielinātu MI starp tā ievadiem ( *ti.e.*, attēliem) un izvadiem ( *ti.e.*, slēptajiem vektoriem). Apsverot Deep InfoMax grafu domēnā, pirmais šķērslis, kas mums jāpārvar, ir, kā definēt MI starp grafiem un slēptajiem vektoriem, turklāt grafu topoloģija ir sarežģītāka nekā attēli (skatīt 1. attēlu [ ). Viens no izaicinājumiem ir nodrošināt, ka MI funkcija starp katra mezgla slēpto attēlojumu un tā apkārtnes ievades iezīmēm atbilst simetrijas īpašībai, vai ekvivalenti, ir imūna pret apkārtņu permutācijām. Tāpat kā nesenā MI apspriežošanas metode, Deep Graph Infomax (DGI) [ ] vispirms iegulst ievades grafu un atbilstošu bojātu grafu, pēc tam apkopo ievades grafu kā vektoru, izmantojot nolasīšanas funkciju, un visbeidzot maksimāli palielina MI starp šo kopsavilkuma vektoru un slēptajiem attēlojumiem, atšķirojot ievades grafu (pozitīvs paraugs) no bojātā grafu (negatīvs paraugs). 1. attēls [ ] sniedz viegli saprotamu DGI pārskatu. Šī veida MI maksimālais palielinājums ir pierādīts kā ekvivalents MI maksimizēšanai starp ievades mezglu iezīmēm un slēptajiem vektoriem, taču šī ekvivalence attiecas uz vairākiem iepriekš iestatītiem nosacījumiem, *ti.e.*, nolasīšanas funkcijas jābūt injektīvai, kas reālos gadījumos šķiet pārmērīgi ierobežota. Pat ja mēs varam garantēt injektīvas nolasīšanas funkcijas esamību ar noteiktu dizainu, *ti.e.*, to, ko izmanto DeepSets [ ], nolasīšanas funkcijas injektivitāti ietekmē arī tas, kā tiek apmācīti tās parametri. Tas nozīmē, ka sākotnēji injektīva funkcija joprojām var kļūt ne-injektīva, ja tā tiek apmācīta bez jebkādas ārējas uzraudzības. Un, ja nolasīšanas funkcija nav injektīva, ievades grafu informācija, kas ietverta kopsavilkuma vektorā, samazinās, palielinoties grafu izmēram. Turklāt DGI paliek pie rupjas grafu/plākšņu līmeņa MI maksimizēšanas. Tādējādi DGI negarantē, ka kodētājs var destilēt pietiekamu informāciju no ievades datiem, jo tas nekad precīzi nesaista slēptos attēlojumus ar to sākotnējām ievadēm. 20 1 41 1 47 Šajā rakstā mēs piedāvājam vienkāršāku veidu, kā apskatīt MI attiecībā uz grafu struktūrām, neizmantojot nekādas nolasīšanas vai bojāšanas funkcijas. Mēs tieši izvedam MI, salīdzinot kodētāja ievadi (*ti.e.*, apakšgrafu, kas sastāv no ievades apkārtnes) un izvadi (*ti.e.*, katra mezgla slēgto attēlojumu). Un interesanti, mūsu teorētiskie atvasinājumi parāda, ka tieši formulētā MI var tikt sadalīta svērtā vietējo MI summā starp katru apkārtnes iezīmi un slēgto vektoru. Tādā veidā mēs esam sadalījuši ievades iezīmes un padarījuši MI aprēķinu traktējams. Turklāt šāda MI forma var viegli apmierināt simetrijas īpašību, ja mēs pielāgojam svaru vērtības. Sīkāku informāciju skatiet 3.1. nodaļā. Tā kā iepriekš minētā MI galvenokārt tiek mērīta mezglu iezīmju līmenī, mēs to saucam par iezīmju savstarpējo informāciju (FMI). Divi atlikušie jautājumi par FMI: **1.** kombinētie svari joprojām nav zināmi un **2.** tas neņem vērā topoloģiju (*ti.e.*, malu iezīmes). Lai vēl vairāk atrisinātu šos divus jautājumus, mēs definējam mūsu grafiskās savstarpējās informācijas (GMI) mērījumu, pamatojoties uz FMI. Konkrēti, GMI piemēro intuitīvu vērtību piešķiršanu, iestatot svarus FMI, kas ir vienādi ar katra kaimiņa un mērķa mezgla tuvumu attēlojumu telpā. Lai saglabātu topoloģisko informāciju, GMI tālāk korelē šos svarus ar ievades malu iezīmēm, izmantojot papildu savstarpējās informācijas terminu. Iegūtais GMI ir topoloģiski nemainīgs un arī aprēķināms, izmantojot savstarpējās informācijas neironu novērtēšanu (MINE) [ ]. Mūsu darba galvenie ieguldījumi ir šādi: 2 • * *: Mēs vispārinām parasto MI novērtējumu uz grafu domēnu un attiecīgi piedāvājam jaunu grafiskās savstarpējās informācijas (GMI) koncepciju. GMI ir brīva no Koncepcijas potenciālā riska, ko rada nolasīšanas funkcija, jo tā apskata MI starp ievades grafiem un augsta līmeņa ieguldi vienkāršā veidā. • * *: Caur mūsu teorētisko analīzi mēs piedāvājam traktējamu un aprēķināmu GMI formu, kas sadala Algoritmi visu GMI svērtā vietējo MI summā. Ar MINE metodes palīdzību GMI maksimālais palielinājums ir viegli sasniedzams mezglu līmenī. • * *: Mēs pārbaudām GMI efektivitāti vairākos populāros mezglu klasifikācijas un saišu prognozēšanas uzdevumos, ieskaitot gan transductive, gan inductive. Eksperimenti parāda, ka mūsu metode nodrošina daudzsološu veiktspēju dažādos etalonos, un tā dažreiz pat pārsniedz uzraudzīto metožu veiktspēju. Eksperimentālie atklājumi 2 SAISTĪTĀS DARBS Saskaņā ar mūsu darba fokusu mēs īsi apskatām iepriekšējos darbus divās šādās jomās: **1.** savstarpējās informācijas novērtēšana un **2.** neironu tīkli attēlojumu apguvei pār grafiem. . Tā kā InfoMax princips [ ] atbalsta MI palielināšanu starp neironu tīklu ievadiem un izvadiem, daudzas metodes, piemēram, ICA algoritmi [ , ], cenšas izmantot MI ideju nepiespiestā iezīmju apguvē. Tomēr šīs metodes nevar viegli vispārināt uz dziļajiem neironu tīkliem, jo ir grūti aprēķināt MI starp augstdimensionāliem nepārtrauktiem mainīgiem. Par laimi, savstarpējās informācijas neironu novērtēšana (MINE) [ ] padara MI novērtēšanu dziļajos neironu tīklos iespējamu, apmācot statistikas tīklu kā diskriminatoru, lai atšķirtu paraugus, kas nāk no kopīgā sadalījuma, un no atsevišķu sadalījumu reizinājumiem. Konkrēti, MINE izmanto precīzu KL balstītu MI formulējumu, savukārt ne-KL alternatīva, Jensen-Shannon divergence (JSD) [ ], var tikt izmantota bez bažām par precīzu MI vērtību. Savstarpējās informācijas novērtēšana 3 1 21 2 30 . Ar strauju grafu neironu tīklu (GNN) attīstību pēdējos gados ir piedāvāts liels skaits grafu attēlojumu apguves algoritmu, kas balstīti uz GNN, un tie parāda spēcīgāku veiktspēju nekā tradicionālās gadījuma gājienu un faktorizācijas metodes [ , , , , ]. Parasti šīs metodes var iedalīt uzraudzītajās un nepiespiestajās kategorijās. Starp tām ir bagātīga literatūra par uzraudzītu attēlojumu apguvi pār grafiem [ , , , , ]. Neskatoties uz to tīkla arhitektūras atšķirībām, tās panāk empīriskus panākumus ar etiķešu palīdzību, kas reālos scenārijos bieži nav pieejamas. Šajā gadījumā nepiespiestie grafu mācīšanās metodes [ , , ] ir plašākas lietojumprogrammu potenciāls. Labi zināmā metode ir GraphSAGE [ ], kas ir induktīvs ietvars GNN apmācībai ar gadījuma gājienu balstītu mērķi tās nepiespiestajā iestatījumā. Un nesen DGI [ ] piemēro MI maksimizēšanas ideju grafu domēnam un iegūst spēcīgu veiktspēju nepiespiestā veidā. Tomēr DGI īsteno rupju maksimizēšanu (*ti.e.*, MI maksimizēšanu grafu/plākšņu līmenī), kas apgrūtina smalkās informācijas saglabāšanu ievades grafā. Turklāt nosacījums, kas uzlikts DGI izmantotajai nolasīšanas funkcijai, reālos gadījumos šķiet pārmērīgi ierobežots. Turpretim mēs koncentrējamies uz nolasīšanas funkcijas ierobežojumu noņemšanu un sasniedzam grafisko savstarpējās informācijas maksimālu palielināšanu mezglu līmenī, tieši maksimāli palielinot MI starp kodētāja ievadiem un izvadiem. Mūsu metodes iegūtie attēlojumi ir izsmalcinātāki, saglabājot ievades grafu informāciju, kas nodrošina tās potenciālu turpmākiem grafu ieguves uzdevumiem, *ti.e.*, mezglu klasifikācijai, saišu prognozēšanai un ieteikumiem. Neironu tīkli grafu attēlojumu apguvei 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 3 GRAFISKĀ SAVSTARPĒJĀ INFORMĀCIJA: DEFINĪCIJA UN MAKSIMIZĀCIJA Pirms turpināt, mēs vispirms sniedzam šajā rakstā izmantotos priekšnoteikumus. Lai G = (V, E) apzīmē grafu ar *N* mezgliem *vi* ∈ V un malām *eij* = (*vi*, *vj*) ∈ E. Mezglu iezīmes, ar pieņemto empīrisko sadalījuma P, ir dotas ar ∈ X R*N* ×*D* = {*x* 1, · · · , *x* *N*} kur *xi* ∈ R*D* apzīmē iezīmi mezglam *vi*. Adjacency matrix *A* ∈ R*N* ×*N* attēlo malu savienojumus, kur *Aij*, kas saistīts ar malu *eij*, var būt reāls skaitlis vai daudzdimensiju vektors1. Grafu attēlojumu apguves mērķis ir apgūt kodētāju *f*: R*N* ×*D* × R*N* ×*N* → R*N* ×*D*', tā lai slēptie vektori *H* = {*h*1, · · · , *hN*} = *f* (*X*, *A*) norāda augsta līmeņa attēlojumus visiem mezgliem. Kodēšanas procesu var pārrakstīt kā mezglu veida formu. Lai to parādītu, mēs definējam *Xi* un *Ai* katram mezglam *i* kā attiecīgi tā kaimiņu iezīmes un atbilstošo adjacency matrix nosacīti attiecībā uz kaimiņiem. Konkrēti, *Xi* sastāv no visiem *k*-hop kaimiņiem *vi* ar *k* ≤ *l*, ja kodētājs *f* ir *l*-slāņa GNN, un tas ietver pašu mezglu *i*, ja mēs arī pievienojam pašsaites adjacency matrix. Šeit mēs saucam par *Xi* un *Ai* paplašināto apakšgrafu par *atbalsta grafu* mezglam *i*, ko apzīmē ar G*i*. Ar atbalsta grafu definīciju katra mezgla kodēšana kļūst *hi* = *f* (G*i*) = *f* (*Xi*, *Ai*). Deep InfoMax [ ] gadījumā kodētāja apmācības mērķis ir maksimāli palielināt MI starp tā ievadiem un izvadiem. MI tiek novērtēta, izmantojot statistikas tīklu kā diskriminatoru, lai klasificētu paraugus, kas nāk no kopīgā sadalījuma, un tos, kas iegūti no atsevišķu sadalījumu reizinājuma. Dabiski, adaptējot Deep InfoMax ideju grafiem, mums vajadzētu maksimāli palielināt MI starp attēlojumu *hi* un atbalsta grafu G*i* katram mezglam. Mēs apzīmējam šādu grafisko MI kā *I* (*hi*; G*i*). Tomēr nav vienkārši definēt I (*hi*; Gi). Grūtības ir: Grūtības grafiskās savstarpējās informācijas definēšanā. 20 • Grafiskai MI jābūt nemainīgai attiecībā pret mezgla indeksu. Citiem vārdiem sakot, mums jābūt *I* (*hi*; G*i*) = *I* (*hi*; G′*i*), ja G*i* un G′*i* ir savstarpēji izomorfi. • Ja MI aprēķināšanai izmantojam MINE metodi, MINE diskriminators pieņem tikai noteikta izmēra ievades. Tas ir nereāli priekš G*i*, jo dažādi G*i* parasti ietver dažādu skaitu mezglu un tādējādi ir dažādu izmēru. Lai apietu grafiskās savstarpējās informācijas definēšanas problēmu, šī sadaļa sākas ar iezīmju savstarpējās informācijas (FMI) koncepcijas ieviešanu, kas balstās tikai uz mezglu iezīmēm. Pamatojoties uz FMI sadalījumu, mēs pēc tam definējam grafisko savstarpējo informāciju (GMI), kas ņem vērā gan mezglu iezīmes, gan 3.1 Iezīmju savstarpējā informācija Mēs apzīmējam mezglu iezīmju empīrisko sadalījumu kā (*Xi*), varbūtību kā (*hi*), un kopīgo sadalījumu kā (*hi*, *Xi*). Saskaņā ar informācijas teoriju, MI starp un ir definēta kā Xi p hi p p hi Xi Interesanti, ka mums ir šāda savstarpējās informācijas sadalījuma teorēma, lai aprēķinātu (*hi*; *Xi*). I 1. teorēma (Savstarpējās informācijas sadalījums). *Ja nosacītā varbūtība p*(*hi* |*Xi*) *ir multiplikatīva (skatīt multiplikatīvas definīciju [ ]), tad globālā savstarpējā informācija I* (*hi*; *Xi*) *definēta Eq.* *var sadalīt kā svērto vietējo MI summu, proti,* 36 (1) *kur, xj* ir mezgla *i* *j*-tais kaimiņš, *in* ir visu elementu skaits *Xi*, un svars *wij* apmierina ≤ *wij* ≤ 1 *katram j*. 1 Lai pierādītu iepriekš minēto teorēmu, mēs vispirms iepazīstinām ar diviem lemmatiem un definīciju. 1. lemma. * Jebkuriem mainīgajiem X, Y un Z, mums ir* Ar 1. teorēmā [ ] doto sadalījumu mēs varam aprēķināt labo pusi no Eq. , izmantojot MINE, jo diskriminatora ievades tagad kļūst pāri ( , *xj*), kuru izmērs vienmēr saglabājas nemainīgs (*ti.e.*, *D*' × *D*). Turklāt mēs varam pielāgot svarus, lai atspoguļotu ievades grafu izomorfu transformāciju. Piemēram, ja *Xi* satur tikai mezgla *i* vienas hopas kaimiņus, iestatot visus svarus vienādi, tas radīs to pašu MI ievades mezgliem dažādos secībās. 1 (2) hi Neskatoties uz dažām sadalījuma priekšrocībām, ir grūti raksturot precīzas svaru vērtības, jo tās ir saistītas ar *I* (*hi*; *xj*) vērtībām un to zemākajiem sadalījumiem. Triviala veids ir iestatīt visus svarus uz , tad labās puses Eq. maksimālā palielināšana ir ekvivalenta *I* (*hi*; *Xi*) apakšējās robežas maksimālai palielināšanai, ar ko patiesā FMI arī zināmā mērā tiek maksimāli palielināta. Papildus šai metodei mēs piedāvājam uzlabotu risinājumu, apsverot svarus kā apmācāmus uzmanības līdzekļus, kas ir nākamās apakšsadaļas tēma. 1 (2) Iedvesmojoties no 1. teorēmas [ ] sadalījuma, mēs cenšamies konstruēt apmācāmus svarus no otras grafu perspektīvas (*ti.e.*, 3.2 Topoloģijai piešķirta savstarpējā informācija 1 topoloģiskā skatījuma), lai *wij* vērtības varētu būt elastīgākas un uztvertu grafu neatņemamās īpašības. Visbeidzot, mēs izvedam grafiskās savstarpējās informācijas (GMI) definīciju. 2. definīcija (Grafiskā savstarpējā informācija). *MI starp slēgto vektoru h un tā atbalsta grafu* G = (*X*, *A*) *ir definēta kā* *kur xj un in definīcijas ir tādas pašas kā 1. teorēmā, aij ir malu svars/iezīme adjacency matrix A, un σ(·) ir sigmoīda funkcija.* Intuitīvi, svars wij pirmajā Eq. (10) termīnā mēra eksperimentāli apstrādāts ne-svērtu. Formāli, mēs aprēķinām I (wij ; aij ) = aijloдwij + (1 − aij )loд(1 − wij ). (12) Maksimāli palielinot I (hi ; Gi ) ar Eq. (11) un Eq. (12) summu visiem slēptajiem vektoriem H, mēs nonākam pie mūsu pilnīgās mērķa funkcijas, lai vietējās MI ieguldījumu globālajā. Mēs realizējam I (hi ; xj ) ieguldījumu, izmantojot mezglu hi un hj attēlojumu līdzību (ti.e., wij = σ (hThj )). Tajā pašā laikā termins I (wij ; aij ) maksimāli palielina MI starp wij un ievades grafu malu svaru/iezīmi (ti.e., aij), lai piespiestu wij atbilst topoloģiskām attiecībām. Šajā ziņā ieguldījuma pakāpe būtu saskaņā ar topoloģiskās struktūras tuvumu, kas parasti tiek pieņemts kā fakts, ka wij varētu būt lielāks, ja mezgls j ir “ tuvāks” mezglam i un mazāks pretējā gadījumā. Šī stratēģija kompensē trūkumu, ka FMI koncentrējas tikai uz mezglu iezīmēm un liek vietējām MI adaptīvi ieguldīt globālajā. Lai labāk izprastu uzmanības ideju šajā stratēģijā, varat atsaukties uz uzmanības balstīto GCN [ ]. Ņemiet vērā, ka Eq. (10) definīcija ir piemērojama vispārīgiem gadījumiem. Noteiktos specifiskos gadījumos mēs varam nedaudz modificēt Eq. (10) efektivitātei. Piemēram, apstrādājot ne-svērtus grafus (t.i.e., malas vērtība ir 1, ja savienots, un 0 citādi), mēs varam aizstāt otro MI terminu I (wij ; aij ) ar negatīvu krustentropiju. Minimālais krustentropija arī veicina MI maksimālu palielināšanu, un tas nodrošina efektīvāku aprēķinu. Sīkāku informāciju skatiet nākamajā sadaļā. Kopumā Eq. (10) definīcijai ir vairākas priekšrocības. Pirmkārt, šāda veida MI ir nemainīga attiecībā pret ievades grafu izomorfu transformāciju. Otrkārt, tā ir aprēķināma, jo katru labās puses komponenti var novērtēt ar MINE. Vēl svarīgāk ir tas, ka GMI ir jaudīgāks nekā DGI, saglabājot sākotnējo ievades informāciju, jo tā skaidri korelē slēptos vektorus ar gan mezglu, gan malu ievades iezīmēm smalkā mezglu līmenī. 40 3.3 GMI maksimizācija Tagad mēs tieši maksimāli palielinām Eq. labo pusi ar MINE palīdzību. Ņemiet vērā, ka MINE novērtē MI apakšējo robežu ar Donsker-Varadhan (DV) [ ] KL-divergences starp kopīgo sadalījumu un atsevišķu sadalījumu reizinājumu. Tā kā mēs vairāk koncentrējamies uz MI maksimizēšanu, nevis tās konkrētās vērtības iegūšanu, var izmantot citas ne-KL alternatīvas, piemēram, Jensen-Shannon MI estimator (JSD) [ ] un Noise-Contrastive estimator (infoNCE) [ ]. Pamatojoties uz empīriskajiem atklājumiem un analīzi [ ], mēs šajā rakstā izmantojam JSD estimatoru efektivitātes un efektivitātes labad, jo infoNCE estimator ir jutīgs pret negatīvajām paraugu stratēģijām (negatīvo paraugu skaitu), tāpēc tas var kļūt par šķērsli liela mēroga datu kopām ar fiksētu pieejamo atmiņu. Gluži pretēji, JSD estimatora nejūtība pret negatīvajām paraugu stratēģijām un tā cienījamā veiktspēja daudzos uzdevumos padara to piemērotāku mūsu uzdevumam. Konkrēti, mēs aprēķinām (*hi*; *xj*) Eq. pirmajā termīnā, izmantojot (10) 10 30 31 20 I (10) *kur Dw : D × D′ → R ir diskriminators, kas veidots ar neironu tīklu ar parametru w. xj ir negatīvs paraugs no P = P, un sp(x) = loд(1 + ex) apzīmē soft-plus funkciju.* Kā minēts 3.2. nodaļā [§ ], mēs maksimāli palielinām (*wij*; *aij*) aprēķinot tā krustentropiju, nevis izmantojot JSD estimatoru, jo grafi, ko mēs apstrādājām eksperimentos, ir ne-svērti. Formāli, mēs aprēķinām 3.2 I *Maksimāli palielinot I (hi ; Gi ) ar Eq. (11) un Eq. (12) summu visiem slēptajiem vektoriem H, mēs nonākam pie mūsu pilnīgās mērķa funkcijas GMI optimizācijai. Turklāt mēs varam arī pievienot tirdzniecības parametrus, lai līdzsvarotu Eq. (11) un (12) elastībai.* 4 EKSPERIMENTI Šajā sadaļā mēs empīriski novērtējam GMI veiktspēju divos izplatītos uzdevumos: mezglu klasifikācija (transductive un inductive) un saišu prognozēšana. Papildu salīdzinošā salīdzināšana starp GMI un diviem citiem nepiespiestiem algoritmiem (EP-B un DGI) vēl vairāk parāda tā efektivitāti. Mēs arī piedāvājam t-SNE grafiku vizualizāciju un analizējam modeļa dziļuma ietekmi. 4.1 Datu kopas Lai novērtētu mūsu pieejas kvalitāti katrā uzdevumā, mēs izmantojam 4 vai 5 bieži lietotas etalonu datu kopas no iepriekšējiem darbiem [ , , ]. Detalizēta statistika ir sniegta 1. tabulā [ ]. 16 25 41 1 Klasifikācijas uzdevumā Cora, Citeseer un PubMed [ ]2 ir citātu tīkli, kur mezgli atbilst dokumentiem un malas attēlo citātus. Katrs dokuments ir saistīts ar bag-of-words attēlojuma vektoru un pieder vienai no iepriekš definētajām klasēm. Saskaņā ar transductive iestatījumu [ , ], apmācība tiek veikta visiem mezgliem, un 1000 testēšanas mezgli tiek izmantoti novērtēšanai. Reddit3 ir liels sociālais tīkls, kas sastāv no daudziem savstarpēji savienotiem Reddit postiem, kas izveidoti 2014. gada septembrī [ ]. Posti tiek uzskatīti par mezgliem, un malas nozīmē, ka tas pats lietotājs komentē. 38 25 41 16 ![ 1. tabula: Datu kopu statistika, ko izmanto eksperimentos. ](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-eph3eec.jpeg) Klases etiķete ir kopiena, un mūsu mērķis ir prognozēt, kurai kopienai pieder dažādi posti. PPI3 ir proteīnu-proteīnu mijiedarbības datu kopa, kas ietver vairākus grafus, kas saistīti ar dažādiem cilvēka audiem [ ]. Pozicionālie gēnu komplekti, motīvu gēnu komplekti un imūnoloģiskās parakstes tiek uzskatītas par mezglu iezīmēm, un katram mezglam ir kopumā 121 etiķete, ko sniedz gēnu ontoloģijas komplekti. Mūsu mērķis ir klasificēt proteīnu funkcijas, kas var piederēt vairākām žanriem dažādos PPI grafos. Saskaņā ar inductive iestatījumu [ ], Reddit, mēs ievadam pirmās 20 dienas izveidotos postus modelim apmācībai, savukārt atlikušie tiek izmantoti testēšanai (ar 30% izmantošanu validācijai); PPI, ir 20 grafi apmācībai, 2 validācijai un 2 testēšanai. Jāuzsviež, ka Reddit un PPI gadījumā testēšana tiek veikta uz neredzētiem (neapmācītiem) mezgliem un grafiem, savukārt pirmās trīs datu kopas tiek izmantotas transductive mācīšanai. 52 16 Saišu prognozēšanas uzdevumā BlogCatalog4 ir sociālo emuāru vietne, kurā emuāru autori seko viens otram un reģistrē savus emuārus iepriekš noteiktās 6 kategorijās. Emuāru tagi tiek izmantoti kā mezglu iezīmes. Flickr4 ir attēlu koplietošanas vietne, kurā lietotāji mijiedarbojas ar citiem un veido sociālo tīklu. Lietotāji augšupielādē attēlus ar 9 iepriekš noteiktām klasēm un izvēlas pievienotus tagus, lai atspoguļotu savas intereses, kas sniedz atribūtu informāciju. Cora un PPI apraksts ir izlaists īsums. Saskaņā ar eksperimentālajiem iestatījumiem un novērtēšanas metrikām [15], ņemot vērā grafu ar noteiktām malu daļām, kas noņemtas, mēs cenšamies prognozēt šīs trūkstošās saites. Cora, BlogCatalog un Flickr gadījumā mēs nejauši dzēšam 20%, 50% un 70% malu, nodrošinot, ka atlikušais tīkls pēc malu noņemšanas ir savienots, un izmantojam bojāto tīklu apmācībai. Attiecībā uz PPI, mēs tieši uzskatām, ka daļa no apmācības laikā neredzētajām malām ir prognozēšanas mērķi, nevis cilvēku radīta malu dzēšana. 4.2 Eksperimentālie iestatījumi Mēs izmantojam standarta grafu konvolucionālo tīklu (GCN) modeli ar šādu slāņu propagācijas noteikumu kā kodētāju gan klasifikācijas, gan saišu prognozēšanas uzdevumiem: Kodētāja dizains. *Kur Aˆ = D -1/2AD - 1/2A = A + In, Dii = Aij, H (1) un H (I + 1) ir l-tās kārtas ievades un izvades matricas, W (l) ir kārtai specifiska apmācāma svara matrica. Šeit σ ir neironu transformācija, ko mēs piemērojam, ir PReLU funkcija (parametriskā ReLU) [ ]. Jāatzīst, ka mezglam i, tā atbalsta grafā Gi esošā apkārtne Xi ietver pašu mezglu i, jo A¯ caur pašsaitēm tiek ievietotas.* 17 Lai būtu precīzāks, kodētājs, ko mēs izmantojām Citeseer un PubMed, ir vienas kārtas GCN ar izvades izmēru D ′ = 512. Cora, Reddit, BlogCatalog, Flickr un PPI gadījumā mēs izmantojam divu kārtu GCN kā mūsu kodētāju. Šeit mums ir slēptie izmēri D ′ = 512 katrā GCN kārtā. Ņemiet vērā, ka līdzīga GCN kodētāja izmantošana gan transductive, gan inductive klasifikācijas uzdevumiem padara mūsu ierosināto metodi vieglāk sekot un mērogot uz lieliem tīkliem nekā DGI, jo DGI jāprojektē dažādi kodētāji, lai pielāgotos atšķirīgiem mācīšanās uzdevumiem, īpaši inductive uzdevumos izmantotie kodētāji ir pārāk sarežģīti un apgrūtinoši, kas nav draudzīgi praktiskām lietojumprogrammām. Eq. diskriminators novērtē ievades-izvades iezīmju pārus caur vienkāršu bilineāru funkciju, kas ir līdzīga diskriminatoram, ko izmanto [ Diskriminatora dizains. (11) [31]: *kur Θ apzīmē apmācāmu novērtēšanas matricu un σ aktivizācijas funkciju, ko mēs izmantojam, ir sigmoīds, kura mērķis ir pārvērst punktus par (h, x) esamības pozitīva piemēra varbūtībām.* Faktiski, pirmajam termiņa Eq. svaram *wij* mēs eksperimentāli varam iegūt tā vērtību divos veidos. Pirmais ir paturēt *wij* = *σ* (*h*T*hj*), kas liek vietējām MI adaptīvi ieguldīt globālajā, un mēs šo variantu saucam par GMI-adaptive. Implementācijas detaļas. (10) Otrs ir ļaut *wij* = , *ti.e.*, intervāla kreisais galapunkts, kurā pieder *wi* *j* (atsauce uz 1. teorēmu [ ]), kas nozīmē, ka katras vietējās MI ieguldījums ir vienāds, un mēs šo variantu saucam par GMI-mean. Šeit gan GMI-mean, gan GMI-adaptive ir iekļauti salīdzinājumā ar bāzes līnijām. 1/in 1 Visi eksperimenti ir ieviesti PyTorch [ ] ar Glorot inicializāciju [ ] un veikti vienā Tesla P40 GPU. Priekšapstrādē mēs veicam rindu normalizāciju Cora, Citeseer, PubMed, BlogCatalog un Flickr saskaņā ar [ ], un piemērojam apstrādes stratēģiju [ ] Reddit un PPI. Apmācības laikā mēs izmantojam Adam Optimizer ar sākotnējo apmācību 0.001 visās septiņās datu kopās. Kā ierosināts [ ], mēs izmantojam agrīnas apturēšanas stratēģiju ar loga izmēru 20 Cora, Citeseer un PubMed, savukārt apmācām modeli noteiktu epohu skaitu inductive datu kopās (20 Reddit, 50 PPI). Negatīvo paraugu skaits ir iestatīts uz 5. Sakarā ar Reddit un PPI lielo apjomu, mums jāizmanto apakšparaugu ņemšanas prasme, kas ieviesta [ ], lai tās iederētos GPU atmiņā. Detalizēti, vispirms tiek izvēlēts 256 mezglu minibatčs, un pēc tam katram izvēlētajam mezglam mēs vienmērīgi izlasām 8 un 5 kaimiņus pirmajā un otrajā līmeņa apkārtnē attiecīgi. Eksperimentos mēs izmantojam vienas hopas apkārtni, lai veidotu atbalsta grafu, un izmantojam (0) (*ti.e.*, saspiesta ievades iezīme), lai aprēķinātu FMI, jo oriģinālās ievades iezīmes izmantošana izraisa GPU atmiņas pārpildīšanos. Tirdzniecības parametri tiek pielāgoti diapazonā [0,1], lai līdzsvarotu Eq. un Eq. . Batch Normalization stratēģija [ tiek izmantota, lai apmācītu mūsu modeli Reddit un PPI. 23 13 25 16 41 16 XW X (11) (12) [22] Klasifikācijas uzdevumam mēs sniedzam apgūtos ieguldījumus visā apmācības kopā loģistikas regresijas klasifikatoram un sniedzam rezultātus testēšanas mezgliem [ , ]. Konkrēti, transductive mācīšanā, mēs izmantojam vidējo klasifikācijas precizitāti pēc 50 skrējieniem, lai novērtētu veiktspēju, savukārt mikro-vidējais F1 rādītājs, kas vidēji pēc 50 skrējieniem, tiek izmantots inductive mācīšanā. Un PPI gadījumā, kā ierosināts [ ], mēs standartizējam apgūtos ieguldījumus pirms to ievadīšanas loģistikas regresijas klasifikatorā. Saišu prognozēšanas uzdevumam, kritērijs, ko mēs pieņēmām, ir AUC, kas ir ROC līknes laukums zem tā. Negatīvie paraugi, kas iesaistīti AUC aprēķinā, tiek ģenerēti, nejauši izvēloties vienādu skaitu mezglu pāru bez savienojumiem sākotnējā grafā. Jo tuvāks AUC rādītājs 1, jo labāka ir algoritma veiktspēja. Līdzīgi, mēs ziņojam par AUC rādītāju, kas vidēji pēc 10 skrējieniem. Novērtēšanas metrikas. 16 25 41 4.3 Klasifikācija 2. tabula [ ] parāda mūsu metodes un citu bāzes līniju vidējo klasifikācijas precizitāti transductive uzdevumos. Šeit rezultāti EP-B [ ], DGI [ ], Planetoid-T [ ], GAT [ ], kā arī GWNN [ ] tiek ņemti no viņu sākotnējiem rakstiem, un rezultāti DeepWalk [ ], LP (Label Propagation) [ ] un GCN [ ] ir kopēti no Kipf & Welling [ ]. Attiecībā uz izejas iezīmēm, mēs ievadam tās loģistikas regresijas klasifikatoram apmācībai un sniedzam rezultātus uz testēšanas iezīmēm5. Lai gan mēs sniedzam gan uzraudzīto, gan nepiespiesto metožu eksperimentālos rezultātus, šajā rakstā mēs vairāk koncentrējamies uz salīdzināšanu ar nepiespiestajām metodēm, kas atbilst mūsu iestatījumam. Transductive mācīšanās. 2 11 41 45 40 44 33 51 25 25 Kā redzams, mūsu piedāvātie GMI-mean un GMI-adaptive, salīdzinot ar citām nepiespiestajām metodēm, sasniedz vislabāko klasifikācijas precizitāti visās trīs datu kopās. Mēs uzskatām, ka šī spēcīgā veiktspēja nāk no idejas tieši maksimāli palielināt grafisko MI starp kodētāja E ievades un izvades pāriem smalkā mezglu līmenī. Tāpēc kodētais attēlojums maksimāli saglabā G mezglu iezīmju un topoloģijas informāciju, kas veicina klasifikāciju. Turpretim EP-B ignorē zemāk esošo informāciju starp ievades datiem un apgūtajiem attēlojumiem, un DGI paliek pie grafu/plākšņu līmeņa MI maksimizēšanas, kas ierobežo to spēju saglabāt un izvilkt sākotnējo ievades informāciju iegultajā telpā. Tādējādi nedaudz vājāka veiktspēja klasifikācijas uzdevumos. Turklāt, bez etiķešu vadības, mūsu metode uzrāda salīdzināmus rezultātus ar dažiem uzraudzītiem modeļiem, piemēram, GCN un GAT, pat labākus rezultātus nekā tie uz Citeseer un PubMed. Mēs uzskatām, ka ar GMI maksimizēšanu starp ievadēm un izvadiem apgūtie attēlojumi pārmanto bagātīgo informāciju grafā G, kas ir pietiekama klasifikācijai. Vēl ievērojamāk ir tas, ka daudzas pieejamās etiķetes tiek sniegtas arī, pamatojoties uz informāciju G. Tāpēc, saglabājot pēc iespējas vairāk informācijas no ievades, var zināmā mērā kompensēt etiķetes sniegto informāciju, kas uztur GMI veiktspēju turpmākos grafu ieguves uzdevumos. Var apgalvot, ka mācīšanās no sākotnējām ievadēm bez etiķetēm sola potenciālu augstākas kvalitātes attēlojumiem nekā uzraudzītais modelis, jo apmācības etiķešu ārkārtas sparsitāte var ciest no pārklasifikācijas draudiem vai sniegto etiķešu pareizība var nebūt uzticama. 2. tabula [ ] apkopo arī mikro-vidējos F1 rādītājus GMI un citām bāzes līnijām Reddit un PPI. Mēs citējam DGI, GAT, FastGCN [ ] un GaAN [ ] rezultātus viņu sākotnējos darbos, savukārt rezultāti pārējiem septiņiem salīdzinātajiem metodēm ir ņemti no Hamilton et al. [ ] (šeit mēs atkārtoti izmantojam nepiespiesto GraphSAGE rezultātus, lai atbilstu mūsu iestatījumam). Līdzīgi, salīdzinājums ar nepiespiestajiem algoritmiem ir mūsu darba uzsvars. Inductive mācīšanās. 2 7 48 16 GMI-mean un GMI-adaptive veiksmīgi pārsniedz visus citus konkurējošos nepiespiestos algoritmus Reddit un PPI, kas apliecina GMI maksimizēšanas efektivitāti inductive klasifikācijas domēnā (generalizācija uz neredzētiem mezgliem). Interesanti, ka mūsu metodes rezultāts Reddit ir konkurētspējīgs ar dažiem progresīviem uzraudzītiem modeļiem, taču situācija PPI ir ļoti atšķirīga. Pēc turpmākas analīzes veikšanas mēs atzīmējam, ka 42% mezglu ir nulles iezīmju vērtības PPI, kas nozīmē, ka iezīmju matrica X ir ļoti sparciāna [ ]. Šajā gadījumā tieša un tikai atkarība no ievades grafu G = ( , ) ierobežo nepiespiesto pieeju, tostarp DGI un mūsu metodes, veiktspēju, savukārt mācīšanās uzraudzītā veidā uzrāda daudz labāku veiktspēju, pateicoties papildu informācijai, ko sniedz papildu etiķetes. 16 X A Saskaņā ar 2. tabulu [ ], divi GMI varianti (GMI-mean un GMI-adaptive), kas izmanto dažādas stratēģijas, lai izmērītu katras vietējās MI ieguldījumu (sīkāka informācija 4.2. nodaļā [§ ]), sasniedz konkurētspējīgus rezultātus savā starpā, bet GMI-adaptive uzrāda nedaudz vājāku veiktspēju nekā GMI-mean. Pēc turpmākas analīzes mēs pieņemam, ka tas varētu būt saistīts ar apmācības grūtībām, ko rada adaptīvās mācīšanās daba. Iespējams, ka GMI-adaptive veiktspēju varētu uzlabot ar progresīvas apmācības stratēģijas palīdzību. Šajā ziņā GMI-mean ir praktiskāks un realizējamāks, tāpēc to var uzskatīt par reprezentatīvu praksē. Novērtējums par diviem GMI variantiem. 2 4.2 4.4 Mērķa funkcijas efektivitāte Lai vēl vairāk noskaidrotu grafiskās MI maksimizācijas efektivitāti nepiespiestā grafu attēlojumu apguvē un nodrošinātu relatīvi godīgu salīdzinājumu ar DGI un EP-B (diviem nepiespiestiem algoritmiem), mēs aizstājam mūsu mērķa funkciju ar viņu zaudējumu funkcijām attiecīgi, saglabājot citus eksperimentālos iestatījumus nemainīgus. 3. tabula [ ] uzskaita rezultātus zem transductive un inductive iestatījuma. Kā redzams, GMI (GMI-mean un GMI-adaptive) sasniedz spēcīgāku veiktspēju visās piecās datu kopās, kas atspoguļo, ka DGI un EP-B trūkst kādu apsvērumu grafu attēlojumu apguves uzdevumā. Konkrēti, EP-B zaudējums tikai uzliek ierobežojumus katram mezglam un tā kaimiņiem izvades līmenī (iegultajā telpā), tas ignorē mijiedarbību starp kodētāja ievades un izvades pāriem, kas rada tā slikto spēju saglabāt derīgo informāciju G. Attiecībā uz DGI, lai gan tas netieši korelē slēptos attēlojumus ar to sākotnējām ievades iezīmēm, tas apspriež MI grafu/plākšņu līmenī, kas ir zināmā mērā rupjš. 3 Interesanti, ka, salīdzinot ar DGI, mūsu FMI (bez topoloģijas informācijas) iegūst ievērojami vairāk uzlabojumu ar grafu izmēra palielināšanos. Mēs šo atklājumu attiecinām uz to, ka nolasīšanas funkcijas veiktspējas pasliktināšanās liek DGI zaudēt noteiktu noderīgu informāciju mezglu klasifikācijai, palielinoties grafu izmēram, lai gan tā uzrāda labu veiktspēju mazos grafos, piemēram, Cora un Citeseer. Kad ievades grafu topoloģija tiek atspoguļota, mūsu GMI pārsniedz visus citus zaudējumus visās datu kopās. Turklāt, ņemiet vērā, ka visa GMI apmācības procesa laikā ir līdzīga diskriminatoru apmācībai ģeneratīvos modeļos [14, 30], un GMI empīriski uzrāda salīdzināmu apmācības ātrumu ar EP-B un DGI lielākajā datu kopā Reddit, kas demonstrē tās labo mērogojamību. 4.5 Saišu prognozēšana Pamatojoties uz iepriekšējiem eksperimentālajiem rezultātiem, mēs atklājām, ka DGI ir spēcīgs konkurents GMI nepiespiesto algoritmu jomā. Tāpēc šajā sadaļā mēs plānojam tālāk izpētīt DGI un GMI veiktspēju citā ieguves uzdevumā — saišu prognozēšanā. Šeit mēs izvēlamies FMI un GMI-mean, lai salīdzinātu ar DGI. 4. tabula [ ] parāda viņu AUC rādītājus četrās dažādās datu kopās. Ar dažādām malu noņemšanas likmēm GMI un FMI abi ievērojami pārsniedz DGI (izņemot FMI 70.0% BlogCatalog), parādot, ka grafiskās MI mērīšana starp ievades grafu un izvades attēlojumiem smalkā veidā spēj saglabāt bagātīgo informāciju ievadēs un nodrošināt labu vispārināšanas spēju. Attiecībā uz DGI, pirmkārt, tās grafu/plākšņu līmeņa MI maksimizēšana, kas ir samērā rupja, ierobežo tās veiktspēju šādā smalkā saišu prognozēšanas uzdevumā; otrkārt, bojāšanas funkcijas neatbilstība vājina DGI spēju apgūt precīzus attēlojumus, lai prognozētu trūkstošās saites. Atcerieties, ka negatīvais paraugs diskriminatoram DGI gadījumā tiek ģenerēts, bojājot sākotnējo ievades grafu, un labi izstrādāta bojāšanas funkcija ir neaizstājama, kas prasa dažas prasmīgas stratēģijas [ ]. Šajā uzdevumā mēs joprojām izmantojam iezīmju jaukšanas funkciju, kas uzrāda labākos rezultātus klasifikācijas uzdevumā, lai veidotu negatīvus paraugus. Bet gadījumā, ja ievades grafs ir nepilnīgs topoloģisko saišu ziņā, šī bojātā grafika sniegtā vadlīnija kā negatīva etiķete diskriminatorā kļūst neuzticama, pateicoties ievades grafika neprecizitātei, kas noved pie sliktas veiktspējas. Tāpēc uzdevumam orientētas bojāšanas funkcijas nepieciešamība ir DGI vājums. Turpretim mūsu GMI ir brīva no šīs problēmas, novēršot bojāšanas funkciju un tieši maksimāli palielinot grafisko MI starp kodētāja ievadiem un izvadiem. Turklāt ir redzams, ka FMI lielākajā daļā gadījumu ir konkurētspējīgs ar GMI, pat Flickr FMI ir pārāks par GMI. Mēs pieņemam, ka tas ir saistīts ar priekšrocībām, ko sniedz tieša un izstrādāta iezīmju savstarpējās informācijas maksimāla palielināšana mezglu līmenī. Pamatojoties uz homofilijas hipotēzi [ ] (*ti.e.*, elementi tīklā ar līdzīgām iezīmēm, visticamāk, savstarpēji savienojas), ievades iezīmju informācija, kas saglabāta apgūtajos ieguldījumos, padara FMI par labu spēju secināt trūkstošās saites. 4 41 29 4.6 Vizualizācija Lai intuitīvi ilustrētu, 5. tabula [ ] parāda t-SNE [ ] grafikus apgūtajiem ieguldījumiem Cora un Citeseer. Kvalitatīvā perspektīvā FMI un DGI iegūto grafu sadalījums šķiet līdzīgs, un GMI ģenerētie ieguldījumi veido atšķirīgākus klasterus nekā izejas iezīmes, FMI un DGI. 5 28 Īpaši Cora gadījumā klasteru kompakts un atdalāmība ir ārkārtīgi acīmredzama, kas attēlo septiņas tēmu kategorijas. Attiecībā uz kvantitatīvo analīzi, mēs cenšamies izmērīt klasterizācijas kvalitāti, aprēķinot Silhouette Coefficient rādītāju [ ]. Konkrēti, mēs izmantojam *silhouette_score* funkciju no scikit-learn Python paketes [ ] ar visiem noklusējuma iestatījumiem un sekojam lietotāja rokasgrāmatai, lai veiktu novērtēšanu. GMI apgūto ieguldījumu klasterizācija sasniedz Silhouette Coefficient rādītāju 0.425 Cora, 0.402 Citeseer un 0.385 PubMed, savukārt DGI iegūst 0.417, 0.391, 0.373 un EP-B iegūst 0.384, 0.385, 0.379 attiecīgi uz trim datu kopām. Gan kvalitatīvi, gan kvantitatīvi tas demonstrē GMI lielo veiktspēju, kas ilustrē grafiskās savstarpējās informācijas maksimālas palielināšanas racionalitāti un efektivitāti nepiespiestā grafu attēlojumu apguvē. 37 32 4.7 Modeļa dziļuma ietekme Šajā daļā mēs pielāgojam konvolucionālo kārtainumu skaitu kodētājā, lai izpētītu modeļa dziļuma ietekmi uz klasifikācijas precizitāti. Apsverot dziļo neironu tīklu apmācības potenciālās grūtības, kā ierosināts [ ], mēs arī eksperimentējam ar standarta GMI modeļa pretējo atlikušo versiju, kas pievieno identitātes īsceļu savienojumus starp katrām divām slēptajām kārtām, lai uzlabotu dziļo tīklu apmācību. Šeit mēs joprojām izmantojam D ′ = 512 iezīmes katrai slēptajai kārtai un sākam piemērot identitātes īsceļus no otrās kārtas, jo pirmās kārtas ievades un izvades izmēri nav vienādi. 18 Turklāt, salīdzinot ar standarta GMI modeli, kas sasniedz GMI maksimālu palielināšanu starp galīgo attēlojumu un sākotnējo ievades grafu, mēs apsveram citu variantu, ko sauc par blīvu GMI, kas maksimāli palielina GMI starp katru slēpto kārtu un ievades grafu. 2. attēls [ ] sniedz detalizētu arhitektūras ilustrāciju. Iesaistītie hiperpametru parametri paliek nemainīgi, izņemot to, ka mēs apmācāmies fiksētās epohās (600 Cora un Citeseer) bez agrīnas apturēšanas. Rezultāti ir attēloti 3. attēlā [ ]. 2 3 Pirmkārt, modeļa dziļuma palielināšanās ievērojami paplašina modeļu ar un bez īsceļu savienojumiem veiktspējas atšķirību. Labākais rezultāts Cora tiek sasniegts ar divu kārtu GCN kodētāju, savukārt labākais rezultāts Citeseer tiek sasniegts ar vienas kārtas GCN kodētāju. Izņemot faktu, ka modeļa dziļuma palielināšana apgrūtina apmācību bez īsceļu savienojumu izmantošanas, mēs arī pieņemam, ka tālāko kaimiņu informācija, ko nodrošina vairākas konvolucionālās kārtas, var būt troksnis pašattēlojumu apguvei. Konkrēti, dažādā kaimiņu tuvība nozīmē atšķirīgu līdzības pakāpi, ja divi patvaļīgi mezgli ir noteiktā attālumā, tie, visticamāk, ir pilnīgi atšķirīgi. Tāpēc standarta GMI modelī informācija, kas apkopota no tālākas apkārtnes, var saturēt daudz trokšņu, kas ir atšķirīgi no paša mezgla raksturlielumiem, kas pasliktina apgūto ieguldījumu kvalitāti un turpmāko klasifikācijas veiktspēju. Turpretim papildu identitātes īsceļi ļauj modelim pārsūtīt iepriekšējās kārtas ievades informāciju, ko var uzskatīt par papildinošu procesu līdzīgai apkārtnes informācijai no seklākiem līdz dziļākiem slāņiem, tāpēc atlikušā versija ir salīdzinoši mazāk jutīga pret modeļa dziļumu. Otrkārt, mēs novērojam, ka blīvais GMI variants arī zināmā mērā mazina veiktspējas pasliktināšanos, lai gan MI mēdz samazināties ar dziļumu saskaņā ar datu apstrādes nevienlīdzību [ ]. Tas notiek, pateicoties grafiskās MI maksimālai palielināšanai starp katras kārtas izvadi un ievades grafu, kas uzliek tiešu ierobežojumu katrai slēptajai kārtai, lai saglabātu ievades informāciju pēc iespējas nemainītāku. Pamatojoties uz šo novērojumu, MI maksimizēšanas ierobežojuma uzlikšana slēptajām kārtām, lai samazinātu informācijas zudumu dziļo neironu tīklu apmācības laikā, varētu būt laba prakse. 8 5 SECINĀJUMS Lai pārvarētu pieejamās uzraudzības trūkuma dilemmu un izvairītos no potenciālā riska, ko rada neuzticamas etiķetes, mēs ieviešam jaunu grafiskās savstarpējās informācijas (GMI) koncepciju, lai nepiespiestā veidā veiktu grafu attēlojumu apguvi. Tās kodols ir tieša savstarpējās informācijas maksimāla palielināšana starp grafu neironu kodētāja ievadi un izvadi attiecībā uz mezglu iezīmēm un topoloģisko struktūru. Caur mūsu teorētisko analīzi mēs piedāvājam GMI definīciju un sadalām to svērtā formā, ko var viegli aprēķināt ar pašreizējo savstarpējās informācijas novērtēšanas metodi MINE. Attiecīgi mēs izstrādājam nepiespiestu modeli un veicam divus izplatītus grafu ieguves uzdevumus. Rezultāti parāda, ka GMI pārsniedz esošās nepiespiestās bāzes līnijas gan klasifikācijas uzdevumos (transductive un inductive), gan saišu prognozēšanas uzdevumos, dažreiz pat ir konkurētspējīgs ar uzraudzītajiem algoritmiem. Nākamais darbs koncentrēsies uz uzdevumam orientētu attēlojumu apguvi vai GMI maksimizēšanas idejas pielāgošanu citiem grafu tipiem, piemēram, heterogēniem grafiem un hipergrafiem. ATZINĪBAS Šis darbs tika atbalstīts ar Ķīnas Nacionālo galveno pētniecības un attīstības programmu (Nr. 2018AAA0101400), Ķīnas Nacionālo dabas zinātņu fondu (Nr. 61872287 un Nr. 61532015), Nacionālā dabas zinātņu fonda inovāciju pētniecības grupu (Nr. 61721002), Izglītības ministrijas inovāciju pētniecības komandu (IRT_17R86) un Ķīnas Inženierzinātņu un tehnoloģiju zināšanu centra projektu. Turklāt šis pētījums tika finansēts ar Ķīnas Zinātnes un tehnoloģiju ministrijas Nacionālo zinātnes un tehnoloģiju galveno projektu (Nr. 2018AAA0102900). ATSAUCES [1] Luís B Almeida. 2003. MISEP–Lineārā un nelineārā ICA balstīta uz savstarpējo informāciju. 4, Dec (2003), 1297–1318. Journal of machine learning research [2] Mohamed Ishmael Belghazi, Aristide Baratin, Sai Rajeswar, Sherjil Ozair, Yoshua Bengio, Aaron Courville, and R Devon Hjelm. 2018. Mine: mutual information neural estimation. In . ICML [3] Anthony J Bell and Terrence J Sejnowski. 1995. An information-maximization approach to blind separation and blind deconvolution. 7, 6 (1995), 1129–1159. Neural computation [4] Esben Jannik Bjerrum and Richard Threlfall. 2017. Molecular generation with recurrent neural networks (RNNs). (2017). arXiv preprint arXiv:1705.04612 [5] Xavier Bresson and Thomas Laurent. 2019. A Two-Step Graph Convolutional Decoder for Molecule Generation. (2019). arXiv preprint arXiv:1906.03412 [6] Shaosheng Cao, Wei Lu, and Qiongkai Xu. 2015. Grarep: Learning graph repre-sentations with global structural information. In . CIKM [7] Jie Chen, Tengfei Ma, and Cao Xiao. 2018. Fastgcn: fast learning with graph convolutional networks via importance sampling. (2018). arXiv preprint arXiv:1801.10247 [8] Thomas M Cover and Joy A Thomas. 2012. . John Wiley & Sons. Elements of information theory [9] Ming Ding, Jie Tang, and Jie Zhang. 2018. Semi-supervised learning on graphs with generative adversarial nets. In . CIKM [10] Monroe D Donsker and SR Srinivasa Varadhan. 1983. Asymptotic evaluation of certain Markov process expectations for large time. IV. 36, 2 (1983), 183–212. Communications on pure and applied mathematics [11] Alberto Garcia Duran and Mathias Niepert. 2017. Learning graph representations with embedding propagation. In . NeurIPS [12] Evgeniy Faerman, Otto Voggenreiter, Felix Borutta, Tobias Emrich, Max Berrendorf, and Matthias Schubert. 2019. Graph Alignment Networks with Node Matching Scores. In . NeurIPS [13] Xavier Glorot and Yoshua Bengio. 2010. Understanding the difficulty of training deep feedforward neural networks. In . AISTATS [14] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. 2014. Generative adversarial nets. In . NeurIPS [15] Aditya Grover and Jure Leskovec. 2016. node2vec: Scalable feature learning for networks. In . KDD [16] Will Hamilton, Zhitao Ying, and Jure Leskovec. 2017. Inductive representation learning on large graphs. In . NeurIPS [17] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2015. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In . ICCV [18] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2016. Deep residual learning for image recognition. In . CVPR [19] Mark Heimann, Haoming Shen, Tara Safavi, and Danai Koutra. 2018. Regal: Representation learning-based graph alignment. In . CIKM [20] R Devon Hjelm, Alex Fedorov, Samuel Lavoie-Marchildon, Karan Grewal, Phil Bachman, Adam Trischler, and Yoshua Bengio. 2018. Learning deep represen-tations by mutual information estimation and maximization. (2018). arXiv preprint arXiv:1808.06670 [21] Aapo Hyvärinen and Petteri Pajunen. 1999. Nonlinear independent component analysis: Existence and uniqueness results. 12, 3 (1999), 429–439. Neural networks [22] Sergey Ioffe and Christian Szegedy. 2015. Batch normalization: Accelerating deep network training by reducing internal covariate shift. (2015). arXiv preprint arXiv:1502.03167 [23] Nikhil Ketkar. 2017. Introduction to pytorch. In . 195–208. Deep learning with python [24] Diederik P Kingma and Jimmy Ba. 2014. Adam: A method for stochastic opti-mization. (2014). arXiv preprint arXiv:1412.6980 [25] Thomas N Kipf and Max Welling. 2016. Semi-supervised classification with graph convolutional networks. (2016). arXiv preprint arXiv:1609.02907 [26] Thomas N Kipf and Max Welling. 2016. Variational graph auto-encoders. (2016). arXiv preprint arXiv:1611.07308 [27] David Liben-Nowell and Jon Kleinberg. 2007. The link-prediction problem for social networks. 58, 7 (2007), 1019–1031. Journal of the American society for information science and technology [28] Laurens van der Maaten and Geoffrey Hinton. 2008. Visualizing data using t-SNE. 9, Nov (2008), 2579–2605. ournal of machine learning research [29] Miller McPherson, Lynn Smith-Lovin, and James M Cook. 2001. Birds of a feather: Homophily in social networks. 27, 1 (2001), 415–444. Annual review of sociology [30] Sebastian Nowozin, Botond Cseke, and Ryota Tomioka. 2016. f-gan: Training gen-erative neural samplers using variational divergence minimization. In . NeurIPS [31] Aaron van den Oord, Yazhe Li, and Oriol Vinyals. 2018. Representation learning with contrastive predictive coding. (2018). arXiv preprint arXiv:1807.03748 [32] Fabian Pedregosa, Gaël Varoquaux, Alexandre Gramfort, Vincent Michel, Bertrand Thirion, Olivier Grisel, Mathieu Blondel, Peter Prettenhofer, Ron Weiss, Vincent Dubourg, et al. 2011. Scikit-learn: Machine learning in Python. 12, Oct (2011), 2825–2830. Journal of machine learning research [33] Bryan Perozzi, Rami Al-Rfou, and Steven Skiena. 2014. Deepwalk: Online learning of social representations. In . KDD [34] Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Kuansan Wang, and Jie Tang. 2018. Network embedding as matrix factorization: Unifying deepwalk, line, pte, and node2vec. In . WSDM [35] Meng Qu, Yoshua Bengio, and Jian Tang. 2019. GMNN: Graph Markov Neural Networks. In . ICML [36] Renato Renner and Ueli Maurer. 2002. About the mutual (conditional) information. In . ISIT [37] Peter J Rousseeuw. 1987. Silhouettes: a graphical aid to the interpretation and validation of cluster analysis. 20 (1987), 53–65. Journal of computational and applied mathematics [38] Prithviraj Sen, Galileo Namata, Mustafa Bilgic, Lise Getoor, Brian Galligher, and Tina Eliassi-Rad. 2008. Collective classification in network data. 29, 3 (2008), 93–93. AI magazine [39] Jian Tang, Meng Qu, Mingzhe Wang, Ming Zhang, Jun Yan, and Qiaozhu Mei. 2015. Line: Large-scale information network embedding. In . WWW [40] Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. 2017. Graph attention networks. (2017). arXiv preprint arXiv:1710.10903 [41] Petar Veličković, William Fedus, William L Hamilton, Pietro Liò, Yoshua Bengio, and R Devon Hjelm. 2018. Deep graph infomax. (2018). arXiv preprint arXiv:1809.10341 [42] Jun Wu, Jingrui He, and Jiejun Xu. 2019. Net: Degree-specific Graph Neural Networks for Node and Graph Classification. (2019). arXiv preprint arXiv:1906.02319 [43] Yuting Wu, Xiao Liu, Yansong Feng, Zheng Wang, Rui Yan, and Dongyan Zhao. 2019. Relation-aware entity alignment for heterogeneous knowledge graphs. In . IJCAI [44] Bingbing Xu, Huawei Shen, Qi Cao, Yunqi Qiu, and Xueqi Cheng. 2019. Graph Wavelet Neural Network. (2019). arXiv preprint arXiv:1904.07785 [45] Zhilin Yang, William W Cohen, and Ruslan Salakhutdinov. 2016. Revisiting semi-supervised learning with graph embeddings. (2016). arXiv preprint arXiv:1603.08861 [46] Jiaxuan You, Bowen Liu, Zhitao Ying, Vijay Pande, and Jure Leskovec. 2018. Graph convolutional policy network for goal-directed molecular graph generation. In . NeurIPS [47] Manzil Zaheer, Satwik Kottur, Siamak Ravanbakhsh, Barnabas Poczos, Ruslan R Salakhutdinov, and Alexander J Smola. 2017. Deep sets. In . 3391–3401. NeurIPS [48] Jiani Zhang, Xingjian Shi, Junyuan Xie, Hao Ma, Irwin King, and Dit-Yan Yeung. 2018. Gaan: Gated attention networks for learning on large and spatiotemporal graphs. (2018). arXiv preprint arXiv:1803.07294 [49] Muhan Zhang and Yixin Chen. 2018. Link prediction based on graph neural networks. In . NeurIPS [50] Yingxue Zhang, Soumyasundar Pal, Mark Coates, and Deniz Ustebay. 2019. Bayesian graph convolutional neural networks for semi-supervised classification. In . AAAI [51] Xiaojin Zhu, Zoubin Ghahramani, and John D Lafferty. 2003. Semi-supervised learning using gaussian fields and harmonic functions. In . ICML [52] Marinka Zitnik and Jure Leskovec. 2017. Predicting multicellular function through multi-layer tissue networks. 33, 14 (2017), i190–i198. Bioinformatics Šis raksts ir ar CC by 4.0 Deed (Attribution 4.0 International) licenci. pieejams vietnē ieee.org