Een nieuwe manier om AI te trainen op grafiekgegevens zonder toezicht

```html Auteurs: Zhen Peng Wenbing Huang Minnan Luo Qinghua Zheng Yu Rong Tingyang Xu Junzhou Huang SAMENVATTING De rijkdom aan inhoud in diverse informatienetwerken zoals sociale netwerken en communicatienetwerken biedt een ongekend potentieel voor het leren van hoogwaardige, expressieve representaties zonder externe supervisie. Dit artikel onderzoekt hoe de overvloedige informatie uit graafgestructureerde gegevens kan worden behouden en geëxtraheerd naar de embeddingruimte op een ongesuperviseerde manier. Hiertoe stellen we een nieuw concept voor, Graphical Mutual Information (GMI), om de correlatie tussen invoergrafen en verborgen representaties op hoog niveau te meten. GMI generaliseert het idee van conventionele berekeningen van wederzijdse informatie van de vectorruimte naar het graafdomein, waar het meten van wederzijdse informatie vanuit twee aspecten van nodekenmerken en topologische structuur onmisbaar is. GMI biedt verschillende voordelen: Ten eerste is het invariant voor de isomorfe transformatie van invoergrafen — een onvermijdelijke beperking in veel bestaande algoritmen voor het leren van graafrepresentaties; Bovendien kan het efficiënt worden geschat en gemaximaliseerd door huidige methoden voor het schatten van wederzijdse informatie, zoals MINE; Ten slotte bevestigt onze theoretische analyse de correctheid en rationaliteit ervan. Met behulp van GMI ontwikkelen we een ongesuperviseerd leermodel dat wordt getraind door GMI tussen de invoer en uitvoer van een grafische neurale encoder te maximaliseren. Uitgebreide experimenten met transductieve en inductieve nodeclassificatie en linkvoorspelling tonen aan dat onze methode beter presteert dan de state-of-the-art ongesuperviseerde tegenhangers, en soms zelfs beter presteert dan gesuperviseerde methoden. 1 INTRODUCTIE Om een betrouwbare kwantitatieve analyse te bereiken voor diverse informatienetwerken, is het leren van hoogwaardige representaties voor graafgestructureerde gegevens een van de huidige fascinerende onderwerpen geworden. Recente methoden die naar dit doel streven, veelal gecategoriseerd als Graph Neural Networks (GNNs), hebben opmerkelijke vooruitgang geboekt in een groot aantal leertaken, zoals nodeclassificatie [ , , ], linkvoorspelling [ , , ], graafuitlijning [ , , ], moleculaire generatie [ , , ], om er een paar te noemen. Ondanks de vruchtbare vooruitgang vereist het trainen van GNNs in bestaande benaderingen meestal een bepaalde vorm van supervisie. Ongetwijfeld zijn labelinformatie duur om te verkrijgen — handmatige annotatie of betalen voor toestemming, en is zelfs onmogelijk te verkrijgen vanwege het privacybeleid. Om nog maar te zwijgen van het feit dat de betrouwbaarheid van gegeven labels soms twijfelachtig is. Hoe hoogwaardige graafrepresentatie zonder supervisie te bereiken wordt daarom noodzakelijk voor een groot aantal praktische gevallen, wat de studie van dit artikel motiveert. 35 42 50 26 27 49 12 19 43 4 5 46 Na zorgvuldige inspectie van onze verzamelde graafgestructureerde gegevens, stellen we vast dat ze over het algemeen afkomstig zijn van verschillende bronnen, zoals sociale netwerken, citatennetwerken en communicatienetwerken, waar een enorme hoeveelheid zowel inhoudelijke als koppelinginformatie bestaat. Gegevens op veel sociale platforms zoals Twitter, Flickr en Facebook bevatten bijvoorbeeld kenmerken van gebruikers, , basispersoonlijke gegevens, teksten, afbeeldingen, IP, en hun relaties, , hetzelfde artikel kopen, vrienden zijn. Deze rijke inhoudsgegevens zijn voldoende om latere miningtaken te ondersteunen zonder extra begeleiding: als twee entiteiten extreme gelijkenis vertonen in kenmerken, is er een grote waarschijnlijkheid van een link ertussen (linkvoorspelling), en behoren ze waarschijnlijk tot dezelfde categorie (classificatie); als twee entiteiten beide naar dezelfde entiteit linken, hebben ze waarschijnlijk vergelijkbare kenmerken (aanbeveling). In deze zin faciliteert het behouden en extraheren van zoveel mogelijk informatie uit informatienetwerken naar de embeddingruimte het leren van hoogwaardige expressieve representaties die wenselijke prestaties vertonen in miningtaken zonder enige vorm van supervisie. Ongesuperviseerd graafrepresentatie leren is in veel gevallen een gunstigere keuze vanwege de vrijheid van labels, vooral wanneer we willen profiteren van een grote hoeveelheid ongelabelde gegevens in het wild. bijv. bijv. Om de rijke informatie in grafen volledig te benutten, voeren we in dit artikel graaf-embedding uit op basis van Mutual Information (MI) maximalisatie, geïnspireerd door het empirische succes van de Deep Info-Max methode [ ] die op afbeeldingen werkt. Om bruikbare representaties te ontdekken, traint Deep InfoMax de encoder om de MI tussen zijn inputs ( , de afbeeldingen) en outputs ( , de verborgen vectoren) te maximaliseren. Bij het overwegen van Deep InfoMax in het graafdomein, is de eerste horde die we moeten overwinnen hoe MI tussen grafen en verborgen vectoren te definiëren, terwijl de topologie van grafen complexer is dan afbeeldingen (zie Figuur Een van de uitdagingen is om te zorgen dat de MI-functie tussen de verborgen representatie van elke node en de kenmerken van de naburige invoer voldoet aan de symmetrische eigenschap, of equivalent, invariant is voor permutaties van de naburige nodes. Zoals een recent werk dat MI beschouwt, embedt Deep Graph Infomax (DGI) [ ] eerst een invoergraaf en een corresponderende gecorrumpeerde graaf, sommeert vervolgens de invoergraaf tot een vector via een readoutfunctie, en maximaliseert ten slotte de MI tussen deze samenvattende vector en de verborgen representaties door de invoergraaf (positief monster) te discrimineren van de gecorrumpeerde graaf (negatief monster). Figuur geeft een gemakkelijk te begrijpen overzicht van DGI. Het maximaliseren van dit soort MI blijkt equivalent te zijn aan het maximaliseren van de MI tussen de invoernodekenmerken en de verborgen vectoren, maar deze equivalentie geldt onder verschillende vooraf ingestelde voorwaarden, , de readoutfunctie moet injectief zijn, wat in de praktijk toch te beperkend lijkt. Zelfs als we het bestaan van een injectieve readoutfunctie door een bepaald ontwerp kunnen garanderen, , die in DeepSets [ ] wordt gebruikt, wordt het injectievermogen van de readoutfunctie ook beïnvloed door hoe de parameters ervan worden getraind. Dat wil zeggen dat een oorspronkelijk injectieve functie nog steeds het risico loopt niet-injectief te worden als deze zonder enige externe supervisie wordt getraind. En als de readoutfunctie niet injectief is, neemt de invoergraafinformatie die in een samenvattende vector is vervat af naarmate de grootte van de graaf toeneemt. Bovendien blijft DGI in een grove maximalisatie van MI op graaf-/patchniveau. Vandaar dat er in DGI geen garantie is dat de encoder voldoende informatie uit de invoergegevens kan distilleren, omdat deze nooit de verborgen representaties expliciet correleert met hun oorspronkelijke invoer. 20 d.w.z. d.w.z. 1). 41 1 bijv. bijv. 47 In dit artikel stellen we een eenvoudigere manier voor om MI te beschouwen in termen van grafische structuren zonder gebruik te maken van een readoutfunctie en een corruptiefunctie. We leiden MI rechtstreeks af door de invoer ( , de subgraaf bestaande uit de invoernabijheid) en de uitvoer ( , de verborgen representatie van elke node) van de encoder te vergelijken. En interessant genoeg demonstreren onze theoretische afleidingen dat de rechtstreeks geformuleerde MI kan worden ontleed in een gewogen som van lokale MIs tussen elk naburig kenmerk en de verborgen vector. Op deze manier hebben we de invoerkenmerken ontleed en de MI-berekening beheersbaar gemaakt. Bovendien kan deze vorm van MI gemakkelijk voldoen aan de symmetrische eigenschap als we de waarden van de gewichten aanpassen. Meer details worden gegeven in § Aangezien de bovengenoemde MI voornamelijk wordt gemeten op het niveau van nodekenmerken, noemen we het Feature Mutual Information (FMI). d.w.z. d.w.z. 3.1. Twee resterende problemen met FMI: de combinerende gewichten zijn nog onbekend en het houdt geen rekening met de topologie ( , de edgekenmerken). Om deze twee problemen verder aan te pakken, definiëren we onze Graphical Mutual Information (GMI) meting op basis van FMI. In het bijzonder kent GMI een intuïtieve waarde toekenning toe door de gewichten in FMI gelijk te stellen aan de nabijheid tussen elke naburige node en de doelnode in de representatieruimte. Om de topologische informatie te behouden, correleert GMI deze gewichten verder met de invoer edgekenmerken via een aanvullende wederzijdse informatieterm. De resulterende GMI is topologisch invariant en ook berekenbaar met Mutual Information Neural Estimation (MINE) [ ]. De belangrijkste bijdragen van ons werk zijn als volgt: 1. 2. d.w.z. 2 • : We generaliseren de conventionele MI-schatting naar het graafdomein en stellen daarom een nieuw concept van Graphical Mutual Information (GMI) voor. GMI is vrij van het Concepten potentiële risico veroorzaakt door de readoutfunctie, omdat het MI tussen invoergrafen en hoog-niveau embeddings op een eenvoudige manier beschouwt. • : Door onze theoretische analyse geven we een beheersbare en berekenbare vorm van GMI die de Algoritmen volledige GMI ontleedt in een gewogen som van lokale MIs. Met behulp van de MINE-methode kan GMI-maximalisatie gemakkelijk op node-niveau worden bereikt. • : We verifiëren de effectiviteit van GMI op verschillende populaire nodeclassificatie- en linkvoorspellingstaken, waaronder zowel transductieve als inductieve. De experimenten tonen aan dat onze methode veelbelovende prestaties levert op een reeks benchmarks en soms zelfs beter presteert dan de gesuperviseerde tegenhangers. Experimentele bevindingen 2 GERELATEERD WERK In lijn met de focus van ons werk, bespreken we kort het voorgaande werk in de volgende twee gebieden: schatting van wederzijdse informatie, en neurale netwerken voor het leren van representaties over grafen. 1. 2. . Aangezien het InfoMax-principe [ ] pleit voor het maximaliseren van MI tussen de inputs en outputs van neurale netwerken, proberen veel methoden zoals ICA-algoritmen [ , ] het idee van MI in ongesuperviseerd feature learning toe te passen. Desalniettemin kunnen deze methoden niet gemakkelijk worden gegeneraliseerd naar diepe neurale netwerken vanwege de moeilijkheid bij het berekenen van MI tussen hoogdimensionale continue variabelen. Gelukkig maakt Mutual Information Neural Estimation (MINE) [ ] de schatting van MI op diepe neurale netwerken haalbaar door een statistisch netwerk te trainen als een discriminator om monsters te onderscheiden die afkomstig zijn van de gezamenlijke distributie en het product van de marginalen van twee willekeurige variabelen. Specifiek gebruikt MINE de exacte KL-gebaseerde formulering van MI, terwijl een niet-KL alternatief, de Jensen-Shannon divergentie (JSD) [ ], kan worden gebruikt zonder de zorg over de precieze waarde van MI. Schatting van wederzijdse informatie 3 1 21 2 30 . Met de snelle ontwikkeling van grafische neurale netwerken (GNNs) zijn de laatste jaren tal van algoritmen voor graafrepresentatie leren op basis van GNNs voorgesteld, die sterkere prestaties vertonen dan traditionele random walk-gebaseerde en factorisatie-gebaseerde embeddingbenaderingen [ , , , , ]. Doorgaans kunnen deze methoden worden onderverdeeld in gesuperviseerde en ongesuperviseerde categorieën. Onder hen is er een rijke literatuur over gesuperviseerd representatie leren op grafen [ , , , , ]. Ondanks hun variaties in netwerkarchitectuur, bereiken ze empirisch succes met behulp van labels die in realistische scenario's vaak niet toegankelijk zijn. In dit geval hebben ongesuperviseerde graafleermethoden [ , , ] een breder toepassingspotentieel. De bekende methode is GraphSAGE [ ], een inductief raamwerk om GNNs te trainen met een op random walk gebaseerd doel in zijn ongesuperviseerde instelling. En onlangs past DGI [ ] het idee van MI-maximalisatie toe op het graafdomein en behaalt sterke prestaties in een ongesuperviseerd patroon. DGI implementeert echter een grove maximalisatie ( , MI op graaf/patch-niveau maximaliseren) wat het moeilijk maakt om de subtiele informatie in de invoergraaf te behouden. Bovendien lijken de voorwaarden die worden opgelegd aan de readoutfunctie die in DGI wordt gebruikt, in de praktijk te beperkend. Daarentegen richten we ons op het verwijderen van de beperking van de readoutfunctie en het bereiken van grafische wederzijdse informatiemaximalisatie op node-niveau door direct MI tussen invoer en uitvoer van de encoder te maximaliseren. Representaties afgeleid door onze methode zijn geavanceerder in het behouden van invoergraafinformatie, wat potentieel garandeert voor downstream graafminingtaken, , nodeclassificatie, linkvoorspelling en aanbeveling. Neurale netwerken voor graafrepresentatie leren 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 d.w.z. bijv. 3 GRAFISCHE WEDERZIJDSE INFORMATIE: DEFINITIE EN MAXIMALISATIE Voordat we verder gaan, bieden we eerst de voorlopige concepten die in dit artikel worden gebruikt. Laat G = (V, E) een graaf voorstellen met nodes ∈ V en edges = ( , ) ∈ E. De nodekenmerken, met de aangenomen empirische kansverdeling P, worden gegeven door ∈ N vi eij vi vj X R × = { 1, · · · , } waarbij ∈ R de kenmerk voor node voorstelt. De adjacency matrix ∈ R × stelt edgeverbindingen voor, waarbij geassocieerd met edge een reëel getal of een multidimensionale vector1 kan zijn. N D x x N xi D vi A N N Aij eij Het doel van graafrepresentatie leren is het leren van een encoder : R × × R × → R × ′ , zodanig dat de verborgen vectoren = { 1, · · · , } = ( , ) hoog-niveau representaties voor alle nodes aangeven. Het encodingproces kan in een node-wise vorm worden herschreven. f N D N N N D H h hN f X A Om dit te tonen, definiëren we en voor node respectievelijk als de kenmerken van zijn buren en de corresponderende adjacency matrix Xi Ai i voorwaardelijk op de buren. Met name bestaat uit alle k-hop buren van met ≤ wanneer de encoder een -laags GNN is, en het bevat de node zelf als we zelflussen toevoegen in de adjacency matrix. Hier noemen we de subgraaf die wordt uitgebreid door en een voor node , aangeduid als G . Met de definitie van de ondersteuningsgraaf wordt de codering voor elke node = (G ) = ( , ). Xi vi k l f l i Xi Ai ondersteuningsgraaf i i hi f i f Xi Ai In Deep InfoMax [ ], is het trainingsdoel van de encoder het maximaliseren van MI tussen zijn inputs en outputs. De MI wordt geschat door een statistisch netwerk te gebruiken als een discriminator om samples te classificeren die afkomstig zijn van de gezamenlijke distributie en de samples die zijn getrokken uit het product van de marginalen. Natuurlijk, wanneer we het idee van Deep InfoMax toepassen op grafen, moeten we de MI maximaliseren tussen de representatie en de ondersteuningsgraaf G voor elke node. We noteren dergelijke grafische MI als ( ; G ). Het is echter niet eenvoudig om I (hi ; Gi ) te definiëren. De moeilijkheden zijn: Moeilijkheden bij het definiëren van grafische wederzijdse informatie. 20 hi i I hi i • De grafische MI moet invariant zijn ten opzichte van de node-index. Met andere woorden, we moeten hebben ( ; G ) = ( ; G′ ), als G en G′ isomorf zijn aan elkaar. I hi i I hi i i i • Als we de MINE-methode voor MI-berekening toepassen, accepteert de discriminator in MINE alleen inputs van een vaste grootte. Dit is nog steeds onhaalbaar voor G omdat verschillende G meestal verschillende aantallen nodes bevatten en dus van verschillende groottes zijn. i i Om het probleem van het definiëren van grafische wederzijdse informatie te omzeilen, begint dit gedeelte met het introduceren van het concept Feature Mutual Information (FMI) dat alleen afhankelijk is van nodekenmerken. Op basis van de ontleding van FMI definiëren we vervolgens Graphical Mutual Information (GMI), die zowel de nodekenmerken als 3.1 Kenmerk Wederzijdse Informatie We noteren de empirische kansverdeling van nodekenmerken als ( ), de kans op als ( ), en de gezamenlijke distributie door ( , ). Volgens de informatietheorie is de MI tussen en gedefinieerd als Xi p Xi hi p hi p hi Xi hi Xi Interessant is dat we de volgende wederzijdse informatietheorema hebben voor het berekenen van ( ; ). I hi Xi Stelling 1 (Wederzijdse Informatie Ontleding). ( | ) ( ; ) Als de voorwaardelijke kans p hi Xi multiplicatief is (zie de definitie van multiplicatief in [ ]), kan de globale wederzijdse informatie I 36 hi Xi gedefinieerd in Eq. (1) worden ontleed als een gewogen som van lokale MIs, namelijk, ≤ ≤ 1 waarbij xj de j-de buur van node i is, in het aantal alle elementen in Xi is, en het gewicht wij voldoet aan 1 wij voor elke j. Om de bovenstaande stelling te bewijzen, introduceren we eerst twee lemma's en een definitie. Lemma 1. Voor willekeurige random variabelen X, Y , en Z, hebben we Met de ontleding in Stelling kunnen we de rechterkant van Eq. berekenen via MINE, aangezien de inputs van de discriminator nu de paren ( , ) worden, waarvan de grootte altijd hetzelfde blijft ( , ′-by- ). Bovendien kunnen we de gewichten aanpassen om de isomorfe transformatie van invoergrafen te weerspiegelen. Als bijvoorbeeld alleen de buren van node op de eerste hop bevat, leidt het instellen van alle gewichten op identiek tot dezelfde MI voor de invoernodes in verschillende volgordes. 1, (2) hi xj d.w.z. D D Xi i Ondanks enkele voordelen van de ontleding, is het moeilijk om de exacte waarden van de gewichten te karakteriseren, aangezien ze gerelateerd zijn aan de waarden van ( ; ) en hun onderliggende kansverdelingen. I hi xj Een triviale manier is om alle gewichten op in te stellen, dan is het maximaliseren van de rechterkant van Eq. equivalent aan het maximaliseren van de ondergrens van ( ; ), waardoor de ware FMI ook tot op zekere hoogte wordt gemaximaliseerd. Naast deze methode bieden we bovendien een meer verbeterde oplossing door de gewichten als trainbare aandachtspunten te beschouwen, wat het onderwerp is in de volgende subsectie. 1 (2) I hi Xi Geïnspireerd door de ontleding in Stelling proberen we trainbare gewichten te construeren vanuit het andere aspect van grafen ( , 3.2 Topologie-bewuste wederzijdse informatie 1, d.w.z. topologisch zicht) zodat de waarden van flexibeler kunnen zijn en de inherente eigenschap van grafen kunnen vastleggen. Uiteindelijk leiden we de definitie van Graphical Mutual Information (GMI) af. wij Definitie 2 (Grafische Wederzijdse Informatie). G = ( , ) De MI tussen de verborgen vector h en zijn ondersteuningsgraaf X A wordt gedefinieerd als waarbij de definities van zowel xj als in hetzelfde zijn als in Stelling 1, aij is het edgegewicht/kenmerk in de adjacency matrix A, en σ (·) is een sigmoidfunctie. Intuïtief meet het gewicht wij in de eerste term van Eq. (10) de bijdrage van een lokale MI aan de globale MI. We implementeren de bijdrage van I (hi ; xj ) door de gelijkenis tussen representaties hi en hj (d.w.z., wij = σ (hThj )). Ondertussen maximaliseert de term I (wij ; aij ) MI tussen wij en het edgegewicht/kenmerk van de invoergraaf (d.w.z., aij ) om wij te dwingen topologische relaties te volgen. In deze zin zal de mate van bijdrage consistent zijn met de nabijheid in topologische structuur, wat algemeen wordt geaccepteerd als een feit dat wij groter kan zijn als node j "dichterbij" node i is en andersom kleiner. Deze strategie compenseert de tekortkoming dat FMI zich alleen richt op nodekenmerken en ervoor zorgt dat lokale MIs adaptief bijdragen aan de globale MI. Om het idee van aandacht in deze strategie beter te begrijpen, kunt u verwijzen naar de op aandacht gebaseerde GCN [40]. Merk op dat de definitie van Eq. (10) toepasbaar is voor algemene gevallen. Voor bepaalde specifieke situaties kunnen we Eq. (10) enigszins aanpassen voor efficiëntie. Bijvoorbeeld, bij het omgaan met ongewogen grafen (namelijk de edge-waarde is 1 indien verbonden en 0 anders), kunnen we de tweede MI-term I (wij ; aij ) vervangen door een negatieve cross-entropie loss. Het minimaliseren van de cross-entropie draagt ook bij aan MI-maximalisatie, en het levert een efficiëntere berekening op. Meer details worden in het volgende gedeelte gegeven. Over het algemeen zijn er verschillende voordelen van de definitie van Eq. (10). Ten eerste is dit soort MI invariant voor de isomorfe transformatie van invoergrafen. Ten tweede is het computationeel haalbaar omdat elke component aan de rechterkant kan worden geschat door MINE. Belangrijker is dat GMI krachtiger is dan DGI in het vastleggen van originele invoerinformatie vanwege de expliciete correlatie tussen verborgen vectoren en invoerkenmerken van zowel nodes als edges op een fijne node-niveau. 3.3 Maximalisatie van GMI Nu maximaliseren we de rechterkant van Eq. rechtstreeks met behulp van MINE. Merk op dat MINE een ondergrens van MI schat met de Donsker-Varadhan (DV) [ ] representatie van de KL-divergentie tussen de gezamenlijke distributie en het product van de marginalen. Aangezien we ons meer richten op het maximaliseren van MI dan op het verkrijgen van de specifieke waarde ervan, kunnen andere niet-KL alternatieven zoals de Jensen-Shannon MI-estimator (JSD) [ ] en de Noise-Contrastive estimator (infoNCE) [ ] worden gebruikt ter vervanging. Op basis van de experimentele bevindingen en analyse in [ ], kiezen we in dit artikel voor de JSD-estimator vanwege effectiviteit en efficiëntie, aangezien de infoNCE-estimator gevoelig is voor negatieve samplestrategieën (het aantal negatieve samples) en daardoor een knelpunt kan worden voor grootschalige datasets met een vast beschikbare geheugen. Daarentegen is de ongevoeligheid van de JSD-estimator voor negatieve samplestrategieën en zijn respectabele prestaties op veel taken geschikter voor onze taak. Specifiek berekenen we ( ; ) in de eerste term van Eq. met (10) 10 30 31 20 I hi xj (10) waarbij D : × ′ → R een discriminator is die is geconstrueerd door een neuraal netwerk met parameter . is een negatief monster getrokken uit P = P, en ( ) = (1 + ) duidt de soft-plus functie aan. w D D w x j sp x loд ex Zoals vermeld in § maximaliseren we ( ; ) door de cross-entropie ervan te berekenen in plaats van de JSD-estimator te gebruiken, omdat de grafen waarmee we in de experimenten te maken hadden ongewogen waren. Formeel berekenen we 3.2, I wij aij Door I (hi ; Gi ) te maximaliseren met de som van Eq. (11) en Eq. (12) over alle verborgen vectoren H , komen we tot onze volledige doelstellingsfunctie voor GMI-optimalisatie. Bovendien kunnen we handels-off parameters toevoegen om Eq. (11) en (12) voor meer flexibiliteit te balanceren. 4 EXPERIMENTEN In dit gedeelte evalueren we empirisch de prestaties van GMI op twee veelvoorkomende taken: nodeclassificatie (transductief en inductief) en linkvoorspelling. Een aanvullende relatief eerlijke vergelijking tussen GMI en twee andere ongesuperviseerde algoritmen (EP-B en DGI) toont verder de effectiviteit ervan aan. Ook bieden we de visualisatie van t-SNE-plots en analyseren we de invloed van modeldiepte. 4.1 Datasets Om de kwaliteit van onze aanpak voor elke taak te beoordelen, gebruiken we 4 of 5 veelgebruikte benchmark datasets uit eerder werk [ , , Gedetailleerde statistieken worden gegeven in Tabel 16 25 41]. 1. In de classificatietaak zijn Cora, Citeseer en PubMed [ ]2 citatennetwerken waarbij nodes documenten vertegenwoordigen en edges citaten. Elk document is geassocieerd met een bag-of-words representatievector en behoort tot een van de vooraf gedefinieerde klassen. Volgens de transductieve instelling in [ , ], wordt de training uitgevoerd op alle nodes, en worden 1000 testnodes gebruikt voor evaluatie. Reddit3 is een groot sociaal netwerk dat bestaat uit talrijke onderling verbonden Reddit-posts gemaakt in september 2014 [ ]. Posts worden behandeld als nodes en edges betekenen dat dezelfde gebruiker reageert. 38 25 41 16 ![ Tabel 1: Statistieken van de gebruikte datasets in de experimenten. ](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-eph3eec.jpeg) Het klasselabel is de community en ons doel is om te voorspellen tot welke community verschillende posts behoren. PPI3 is een eiwit-eiwitinteractie dataset die meerdere grafen bevat die gerelateerd zijn aan verschillende menselijke weefsels [ ]. De positionele genensets, motiefgenensets en immunologische signatures worden beschouwd als nodekenmerken, en elke node heeft een totaal van 121 labels gegeven door genenontologie sets. Het classificeren van eiwitfuncties die mogelijk tot meerdere genres behoren over verschillende PPI-grafen is ons doel. Volgens de inductieve instelling in [ ], op Reddit, voeren we posts in de eerste 20 dagen aan het model voor training, terwijl de rest wordt gebruikt voor testen (met 30% gebruikt voor validatie); op PPI zijn er 20 grafen voor training, 2 voor validatie en 2 voor testen. Benadrukt moet worden dat voor Reddit en PPI het testen wordt uitgevoerd op ongeziene (niet getrainde) nodes en grafen, terwijl de eerste drie datasets worden gebruikt voor transductief leren. 52 16 Voor de linkvoorspellingstaak gebruiken we BlogCatalog4, een sociale blogwebsite waar bloggers elkaar volgen en hun blogs registreren onder vooraf gedefinieerde 6 categorieën. De tags van blogs worden gebruikt als nodekenmerken. Flickr4 is een website voor het delen van afbeeldingen waar gebruikers met anderen interageren en een sociaal netwerk vormen. Gebruikers uploaden foto's met 9 vooraf gedefinieerde klassen en selecteren bijgevoegde tags om hun interesses te weerspiegelen, wat attribuutinformatie biedt. De beschrijving van Cora en PPI wordt weggelaten voor de beknoptheid. Volgens de experimentele instellingen en evaluatiemetrieken in [15], proberen we, gegeven een graaf met bepaalde delen van verwijderde edges, deze ontbrekende links te voorspellen. Voor Cora, BlogCatalog en Flickr verwijderen we willekeurig 20%, 50% en 70% van de edges, terwijl we ervoor zorgen dat het resterende netwerk na het verwijderen van de edges verbonden blijft en we het beschadigde netwerk gebruiken voor training. Wat PPI betreft, behandelen we een deel van de edges die niet tijdens de training zijn gezien, direct als voorspellingdoelstellingen in plaats van door de mens gemaakte edgeverwijdering. 4.2 Experimentele Instellingen We gebruiken een standaard Graph Convolutional Network (GCN) model met de volgende laag-wise propagatieregel als de encoder voor zowel classificatie- als linkvoorspellingstaken: Encoder ontwerp. Waarbij Aˆ = D -1/2AD - 1/2A = A + In, Dii = Aij, H (1) en H (I + 1) de invoer- en uitvoermatrices zijn van de -de laag, ( ) is een laag-specifieke trainbare gewichtsmatrix. Hier is de niet-lineaire transformatie die we toepassen de PReLU-functie (paramteric ReLU) [ ]. Er moet worden erkend dat voor node , de nabijheid in zijn ondersteuningsgraaf Gi node i zelf bevat omdat zelflussen worden ingevoegd via A¯ . l W l σ 17 i Xi Om specifieker te zijn, de encoder die we hebben gebruikt op Citeseer en PubMed is een eenlaags GCN met de outputdimensie ′ = 512. En op Cora, Reddit, BlogCatalog, Flickr en PPI gebruiken we een tweelaags GCN als onze encoder. Hier hebben we verborgen dimensies als ′ = 512 in elke GCN-laag. Merk op dat het gebruik van een vergelijkbare GCN-encoder voor zowel transductieve als inductieve classificatietaken onze voorgestelde methode gemakkelijker te volgen en te schalen maakt naar grote netwerken dan DGI, omdat DGI verschillende encoders moet ontwerpen om zich aan te passen aan verschillende leertaken, vooral de encoders die in inductieve taken worden gebruikt, zijn te ingewikkeld, wat niet handig is voor praktische toepassingen. D D De discriminator in Eq. scoort de invoer-uitvoer kenmerkparen via een eenvoudige bilaterale functie, die vergelijkbaar is met de discriminator gebruikt in Discriminator ontwerp. (11) [31]: waarbij Θ een trainbare scoringsmatrix vertegenwoordigt en de activatiefunctie die we gebruiken de sigmoid is, gericht op het omzetten van scores in waarschijnlijkheden van ( , ) als een positief voorbeeld. σ h x Eigenlijk hebben we voor het gewicht van de eerste term in Eq. twee manieren om de waarde ervan in experimenten te verkrijgen. De eerste is om = ( T ) te houden, wat ervoor zorgt dat lokale MIs adaptief bijdragen aan de globale MI, en we noemen deze variant GMI-adaptive. Implementatiedetails. wij (10) wij σ h hj De andere is om = , , het linkereindpunt van het interval waar bij hoort (zie Stelling wat betekent dat de bijdrage van elke lokale MI gelijk is, en we noemen deze variant GMI-mean. Hier zijn zowel GMI-mean als GMI-adaptive inbegrepen in de vergelijking met baselines. wij 1/in d.w.z. wi j 1), Alle experimenten zijn geïmplementeerd in PyTorch [23] met Glorot-initialisatie [13] en uitgevoerd op een enkele Tesla P40 GPU. Bij de preprocessing voeren we rij normalisatie uit op Cora, Citeseer, PubMed, BlogCatalog en Flickr volgens [25], en passen we de verwerkingsstrategie in [16] toe op Reddit en PPI. Tijdens de training gebruiken we de Adam Optimizer met een initiële training van 0.001 op alle zeven datasets. Zoals voorgesteld in [41], passen we een early stopping strategie toe met een venstergrootte van 20 op Cora, Citeseer en PubMed, terwijl we het model trainen voor een vast aantal epochs op de inductieve datasets (20 op Reddit, 50 op PPI). Het aantal negatieve samples is ingesteld op 5. Vanwege de grote schaal van Reddit en PPI moeten we de subsampling-vaardigheid gebruiken die is geïntroduceerd in [ ] om ze in GPU-geheugen te laten passen. In detail wordt eerst een minibatch van 256 nodes geselecteerd, en vervolgens worden voor elke geselecteerde node 8 en 5 buren op de eerste en tweede niveaus uniform gesampled. We gebruiken de een-hop nabijheid om de ondersteuningsgraaf in experimenten te construeren en (0) ( , een gecomprimeerde invoerkenmerk) om FMI te berekenen, aangezien het gebruik van het originele invoerkenmerk leidt tot GPU-geheugenoverloop. De handels-off parameters worden afgestemd in het bereik van [0,1] om Eq. en Eq. te balanceren. De Batch Normalization-strategie [ ] wordt gebruikt om ons model op Reddit en PPI te trainen. 16 XW d.w.z. X (11) (12) 22 Voor de classificatietaak geven we de geleerde embeddings uit de trainingsset aan een logistische regressieclassifier en geven we de resultaten op de testnodes [ , ]. Specifiek, in transductief leren, gebruiken we de gemiddelde classificatienauwkeurigheid na 50 runs om de prestaties te evalueren, terwijl de micro-gemiddelde F1-score gemiddeld na 50 runs wordt gebruikt in inductief leren. En voor PPI, zoals voorgesteld door [ ], standaardiseren we de geleerde embeddings voordat we ze aan de logistische regressieclassifier geven. Voor de linkvoorspellingstaak is de criteria die we hebben aangenomen AUC, de area under the ROC curve. De negatieve samples die betrokken zijn bij de AUC-berekening worden gegenereerd door een gelijk aantal nodeparen zonder verbindingen in de originele graaf willekeurig te selecteren. Hoe dichter de AUC-score 1 benadert, hoe beter de prestaties van het algoritme zijn. Op dezelfde manier rapporteren we de AUC-score gemiddeld na 10 runs. Evaluatiemetrieken. 16 25 41 4.3 Classificatie Tabel rapporteert de gemiddelde classificatienauwkeurigheid van onze methode en andere baselines op transductieve taken. Hier worden de resultaten voor EP-B [ ], DGI [ ], Planetoid-T [ ], GAT [ ], evenals GWNN [ ] overgenomen uit hun originele papers, en de resultaten voor DeepWalk [ ], LP (Label Propagation) [ ], en GCN [ ] worden gekopieerd uit Kipf & Welling [ ]. Wat ruwe kenmerken betreft, voeren we deze in een logistische regressieclassifier voor training en geven we de resultaten op de testkenmerken5. Hoewel we experimentele resultaten van zowel gesuperviseerde als ongesuperviseerde methoden bieden, richten we ons in dit artikel meer op vergelijkingen met ongesuperviseerde methoden, wat consistent is met onze opzet. Transductief leren. 2 11 41 45 40 44 33 51 25 25 Zoals te zien is, bereiken onze voorgestelde GMI-mean en GMI-adaptive, vergeleken met andere ongesuperviseerde methoden, de beste classificatienauwkeurigheid over alle drie de datasets. We beschouwen deze sterke prestaties als voordelen van het proberen om grafische MI direct te maximaliseren tussen invoer- en uitvoerparen van de encoder E op een fijn node-niveau. Daarom behoudt de gecodeerde representatie maximaal de informatie van nodekenmerken en topologie in G, wat bijdraagt aan classificatie. Daarentegen negeert EP-B de onderliggende informatie tussen invoergegevens en geleerde representaties, en DGI blijft steken in een MI-maximalisatie op graaf/patch-niveau, wat hun vermogen om de originele invoerinformatie te behouden en te extraheren in de embeddingruimte beperkt. Dus enigszins zwakkere prestaties op classificatietaken. Bovendien, zonder de begeleiding van labels, vertoont onze methode vergelijkbare resultaten met sommige gesuperviseerde modellen zoals GCN en GAT, zelfs betere resultaten dan zij op Citeseer en PubMed. Wij geloven dat representaties geleerd via GMI-maximalisatie tussen inputs en outputs de rijke informatie in graaf G overnemen, wat voldoende is voor classificatie. Nog opmerkelijker is dat veel beschikbare labels ook gebaseerd zijn op de informatie in G. Dus het zo veel mogelijk behouden van informatie uit de invoer kan de informatie van het label tot op zekere hoogte compenseren, wat de prestaties van GMI in downstream graafminingtaken ondersteunt. Men zou kunnen beweren dat leren van originele inputs zonder labels potentieel biedt voor hogere kwaliteitsrepresentaties dan het gesuperviseerde patroon, aangezien de extreme spaarzaamheid van de trainingslabels kan lijden onder de dreiging van overfitting of de correctheid van gegeven labels mogelijk niet betrouwbaar is. Tabel vat ook de micro-gemiddelde F1-scores van GMI en andere baselines op Reddit en PPI samen. We citeren de resultaten van DGI, GAT, FastGCN [ ], en GaAN [ ] in hun originele papers, terwijl de resultaten voor de overige zeven vergeleken methoden zijn geëxtraheerd uit Hamilton et al. [ ] (hier hergebruiken we de ongesuperviseerde GraphSAGE resultaten om bij onze opzet te passen). Op dezelfde manier is de vergelijking met ongesuperviseerde algoritmen de focus van ons werk. Inductief leren. 2 7 48 16 GMI-mean en GMI-adaptive presteren succesvol beter dan alle andere concurrerende ongesuperviseerde algoritmen op Reddit en PPI, wat de effectiviteit van GMI-maximalisatie op het gebied van inductieve classificatie (generalisatie naar ongeziene nodes) onderbouwt. Interessant is dat het resultaat van onze methode op Reddit concurrerend is met enkele geavanceerde gesuperviseerde modellen, maar de situatie op PPI is heel anders. Na verdere analyse hebben we vastgesteld dat 42% van de nodes nul kenmerkwaarden heeft in PPI, wat betekent dat de kenmerkmatrix X erg spaarzaam is [ ]. In dit geval beperkt het rechtstreeks en alleen vertrouwen op de invoergraaf G = ( , ) de prestaties van ongesuperviseerde benaderingen, waaronder DGI en onze methode, terwijl leren op een gesuperviseerde manier veel betere prestaties vertoont vanwege de hulp informatie die door extra labels wordt gebracht. 16 X A Volgens Tabel behalen de twee varianten van GMI (GMI-mean en GMI-adaptive), die verschillende strategieën gebruiken om de bijdrage van elke lokale MI te meten (details in § concurrerende resultaten met elkaar, maar GMI-adaptive vertoont iets zwakkere prestaties dan GMI-mean. Na verdere analyse, nemen we aan dat dit te wijten kan zijn aan trainingsproblemen veroorzaakt door de aard van adaptief leren. Misschien kunnen de prestaties van GMI-adaptive worden verbeterd met behulp van een geavanceerde trainingsstrategie. In die zin is GMI-mean praktischer en haalbaarder, dus het kan in de praktijk als representatief worden beschouwd. Evaluatie van twee varianten van GMI. 2 4.2), 4.4 Effectiviteit van Doelfunctie Om de effectiviteit van het maximaliseren van grafische MI in ongesuperviseerd graafrepresentatie leren verder te verduidelijken en een relatief eerlijke vergelijking te bieden met DGI en EP-B (twee ongesuperviseerde algoritmen), vervangen we onze doelfunctie door hun respectieve loss-functies, terwijl we andere experimentele instellingen ongewijzigd laten. Tabel toont de resultaten onder de transductieve en inductieve instelling. Zoals te zien is, bereikt GMI (GMI-mean en GMI-adaptive) sterkere prestaties op alle vijf datasets, wat weerspiegelt dat DGI en EP-B enkele overwegingen missen in de taak van graafrepresentatie leren. Specifiek legt de EP-B loss alleen beperkingen op aan elke node en zijn buren op outputniveau (embeddingruimte), het negeert de interactie tussen invoer- en uitvoerparen van de encoder, wat resulteert in zijn slechte vermogen om de geldige informatie in G te behouden. Voor DGI, hoewel het verborgen representaties impliciet correleert met hun originele invoerkenmerken, bespreekt het MI op graaf/patch-niveau, wat enigszins grof is. 3 Interessant is dat, vergeleken met DGI, onze FMI (zonder topologie-informatie) significantere verbeteringen oplevert met de toename van de graafgrootte. We schrijven deze ontdekking toe aan het feit dat de prestatievermindering van de readoutfunctie ervoor zorgt dat DGI bepaalde nuttige informatie verliest voor nodeclassificatie met de toename van de graafgrootte, hoewel het goede prestaties levert op kleine grafen zoals Cora en Citeseer. Wanneer de topologie van de invoergraaf wordt weerspiegeld, presteert onze GMI beter dan alle andere soorten losses op alle datasets. Bovendien merken we op dat het gehele trainingsproces van GMI vergelijkbaar is met de training van discriminatoren in generatieve modellen [14, 30], en GMI empirisch een vergelijkbare trainingssnelheid vertoont met EP-B en DGI op de grootste dataset Reddit, wat de goede schaalbaarheid aantoont. 4.5 Linkvoorspelling Op basis van de bovenstaande experimentele resultaten stellen we vast dat DGI een sterke concurrent is voor GMI binnen het domein van ongesuperviseerde algoritmen. Daarom willen we in dit gedeelte de prestaties van DGI en GMI in een andere miningtaak — linkvoorspelling — verder onderzoeken. Hier kiezen we FMI en GMI-mean om te vergelijken met DGI. Tabel toont hun AUC-scores op vier verschillende datasets. Onder verschillende edgeverwijderingspercentages presteren GMI en FMI beide opmerkelijk beter dan DGI (behalve FMI in 70,0% BlogCatalog), wat aantoont dat het meten van grafische MI tussen invoergraaf en uitvoerrepresentaties op een fijne manier in staat is om rijke informatie in invoer vast te leggen en een goed generalisatievermogen te leveren. Wat DGI betreft, ten eerste beperkt de MI-maximalisatie op graaf/patch-niveau, die relatief grof is, de prestaties in zo'n fijne linkvoorspellingstaak; ten tweede verzwakt de ongeschiktheid van de corruptiefunctie het vermogen van DGI om nauwkeurige representaties te leren om ontbrekende links te voorspellen. Vergeet niet dat het negatieve sample voor de discriminator in DGI wordt gegenereerd door de originele invoergraaf te corrumperen, en een goed ontworpen corruptiefunctie is onmisbaar en vereist enkele slimme strategieën [ ]. In deze taak passen we nog steeds de functie voor het schudden van kenmerken toe die de beste resultaten oplevert in de classificatietaak om negatieve samples te bouwen. Maar in het geval dat een invoergraaf onvolledig is qua topologische links, wordt de begeleiding die door deze gecorrumpeerde graaf als negatief label in de discriminator wordt geboden onbetrouwbaar vanwege de onnauwkeurigheid van de invoergraaf, wat leidt tot slechte prestaties. Daarom is de noodzaak van een taakgerichte corruptiefunctie een zwakte van DGI. Daarentegen is onze GMI vrij van dit probleem doordat de corruptiefunctie wordt geëlimineerd en de grafische MI tussen inputs en outputs van de encoder rechtstreeks wordt gemaximaliseerd. Verder kan worden waargenomen dat FMI in de meeste gevallen concurrerend is met GMI, zelfs op Flickr presteert FMI beter dan GMI. We nemen aan dat dit te danken is aan de voordelen van de directe en uitgebreide feature mutual information maximalisatie op node-niveau. Gebaseerd op de homofiliehypothese [ ] ( , entiteiten in het netwerk met vergelijkbare kenmerken zijn waarschijnlijk met elkaar verbonden), maakt de invoerkenmerk informatie die behouden blijft in geleerde embeddings FMI een goed vermogen om ontbrekende links af te leiden. 4 41 29 d.w.z. 4.6 Visualisatie Voor een intuïtieve illustratie toont Tabel t-SNE [ ] plots van de geleerde embeddings op Cora en Citeseer. Vanuit een kwalitatief perspectief lijken de distributies van de plots geleerd door FMI en DGI vergelijkbaar, en de embeddings gegenereerd door GMI vertonen meer afgebakende clusters dan ruwe kenmerken, FMI en DGI. 5 28 Vooral op Cora zijn de compactheid en scheidbaarheid van de clusters extreem duidelijk, wat de zeven categorien weergeeft. Wat kwantitatieve analyse betreft, proberen we de clusteringkwaliteit te meten door de Silhouette Coefficient score [ ] te berekenen. Specifiek gebruiken we de functie uit het scikit-learn Python pakket [ ] met alle standaardinstellingen en volgen we de gebruikershandleiding om de evaluatie uit te voeren. De clustering van embeddings geleerd via GMI behaalt een Silhouette Coefficient score van 0.425 op Cora, 0.402 op Citeseer en 0.385 op PubMed, terwijl DGI 0.417, 0.391, 0.373 en EP-B 0.384, 0.385, 0.379 op de drie datasets krijgt, respectievelijk. Zowel kwalitatief als kwantitatief toont dit de grote prestaties van GMI aan, wat de rationaliteit en effectiviteit van grafische wederzijdse informatiemaximalisatie in ongesuperviseerd graafrepresentatie leren illustreert. 37 silhouette_score 32 4.7 Invloed van Modeldiepte In dit deel passen we het aantal convolutielagen in de encoder aan om de invloed van de modeldiepte op de classificatienauwkeurigheid te onderzoeken. Gezien de potentiële moeilijkheid van het trainen van diepe neurale netwerken, zoals gesuggereerd door [ ], experimenteren we ook met een tegenhanger residu versie van het standaard GMI model, die identiteitssnelkoppelingen toevoegt tussen elke twee verborgen lagen om de training van diepe netwerken te verbeteren. Hier hebben we nog steeds D ′ = 512 kenmerken voor elke verborgen laag en beginnen we met het toepassen van identiteitssnelkoppelingen vanaf de tweede laag, aangezien de input en output van de eerste laag niet dezelfde dimensie hebben. 18 Bovendien, vergeleken met het standaard GMI model dat GMI maximalisatie bereikt tussen de uiteindelijke representatie en de originele invoergraaf, beschouwen we een andere variant, genaamd dichte GMI, die GMI maximaliseert tussen elke verborgen laag en de invoergraaf. Figuur geeft een gedetailleerde architectuurillustratie. De betrokken hyperparameters blijven ongewijzigd, behalve dat we trainen voor vaste epochs (600 op Cora en Citeseer) zonder early stopping. De resultaten worden weergegeven in Figuur 2 3. Ten eerste, de toename van de modeldiepte vergroot aanzienlijk het prestatieverschil tussen modellen met en zonder snelkoppelingen. Het beste resultaat voor Cora wordt verkregen met een tweelaags GCN-encoder, terwijl het beste resultaat voor Citeseer wordt bereikt met een eenlaags GCN-encoder. Behalve het feit dat de toename van de modeldiepte de training zonder snelkoppelingen bemoeilijkt, nemen we ook aan dat de informatie van verdere nabijheid die door meerdere convolutielagen wordt meegebracht, ruis kan zijn voor zelf-representatie leren. Specifiek betekenen de verschillende nabijheid tussen buren verschillende mate van gelijkenis; als twee willekeurige nodes een bepaalde afstand hebben, zijn ze waarschijnlijk compleet verschillend. Daarom kan in het standaard GMI model de informatie die is geaggregeerd uit de verdere nabijheid veel ruis bevatten die verschilt van het kenmerk van de node zelf, wat de kwaliteit van de geleerde embeddings en de daaropvolgende classificatieprestaties degradeert. Daarentegen maken aanvullende identiteitssnelkoppelingen het model mogelijk om de informatie van de input van de vorige laag over te dragen, wat kan worden beschouwd als een aanvullend proces voor vergelijkbare nabijheidsinformatie van de ondiepere lagen naar de diepere lagen, dus de residu versie is relatief minder gevoelig voor modeldiepte. Ten tweede, we observeren dat de dichte GMI-variant de prestatievermindering tot op zekere hoogte ook kan verlichten, hoewel MI de neiging heeft af te nemen met de diepte door de dataverwerkingsongelijkheid [ ]. Dit dankzij het maximaliseren van grafische MI tussen de uitvoer van elke laag en de invoergraaf, wat een directe beperking oplegt aan elke verborgen laag om de invoerinformatie zo intact mogelijk te behouden. Op basis van deze observatie kan het opleggen van de beperking van het maximaliseren van MI op verborgen lagen om informatieverlies te verminderen bij het trainen van diepe neurale netwerken een goede praktijk zijn. 8 5 CONCLUSIE Om het dilemma van het gebrek aan beschikbare supervisie te overwinnen en het potentiële risico van onbetrouwbare labels te vermijden, introduceren we een nieuw concept van grafische wederzijdse informatie (GMI) om graafrepresentatie leren op een ongesuperviseerde manier uit te voeren. De kern ervan ligt in het direct maximaliseren van de wederzijdse informatie tussen de invoer en uitvoer van een grafische neurale encoder in termen van nodekenmerken en topologische structuur. Door onze theoretische analyse geven we een definitie van GMI en ontleden we deze in een gewogen som die gemakkelijk kan worden berekend door de huidige methode voor het schatten van wederzijdse informatie, MINE. Dienovereenkomstig ontwikkelen we een ongesuperviseerd model en voeren we twee veelvoorkomende graafminingtaken uit. De resultaten tonen aan dat GMI beter presteert dan state-of-the-art ongesuperviseerde baselines in zowel classificatietaken (transductief en inductief) als linkvoorspellingstaken, soms zelfs concurrerend is met gesuperviseerde algoritmen. Toekomstig werk zal zich richten op taakgerichte representatie leren of het aanpassen van het idee van GMI-maximalisatie aan andere typen grafen, zoals heterogene grafen en hypergrafen. ERKENNINGEN Dit werk werd ondersteund door het National Key Research and Development Program of China (nr. 2018AAA0101400), de National Nature Science Foundation of China (nr. 61872287 en nr. 61532015), de Innovative Research Group van de National Natural Science Foundation of China (nr. 61721002), het Innovation Research Team van het Ministerie van Onderwijs (IRT_17R86), en het Project van het China Knowledge Center for Engineering Science and Technology. Bovendien werd dit onderzoek gefinancierd door het National Science and Technology Major Project van het Ministerie van Wetenschap en Technologie van China (nr. 2018AAA0102900). REFERENTIES [1] Luís B Almeida. 2003. MISEP–Linear and Nonlinear ICA Based on Mutual Information. 4, Dec (2003), 1297–1318. Journal of machine learning research [2] Mohamed Ishmael Belghazi, Aristide Baratin, Sai Rajeswar, Sherjil Ozair, Yoshua Bengio, Aaron Courville, en R Devon Hjelm. 2018. Mine: mutual information neural estimation. In . ICML [3] Anthony J Bell en Terrence J Sejnowski. 1995. An information-maximization approach to blind separation and blind deconvolution. 7, 6 (1995), 1129–1159. Neural computation [4] Esben Jannik Bjerrum en Richard Threlfall. 2017. Molecular generation with recurrent neural networks (RNNs). (2017). arXiv preprint arXiv:1705.04612 [5] Xavier Bresson en Thomas Laurent. 2019. A Two-Step Graph Convolutional Decoder for Molecule Generation. (2019). arXiv preprint arXiv:1906.03412 [6] Shaosheng Cao, Wei Lu, en Qiongkai Xu. 2015. Grarep: Learning graph representations with global structural information. In