Een nieuwe manier om AI te trainen op graafgegevens zonder supervisie

Auteurs: Zhen Peng Wenbing Huang Minnan Luo Qinghua Zheng Yu Rong Tingyang Xu Junzhou Huang ABSTRACT De rijkdom aan inhoud in diverse informatienetwerken zoals sociale netwerken en communicatienetwerken biedt een ongekend potentieel voor het leren van hoogwaardige expressieve representaties zonder externe supervisie. Dit paper onderzoekt hoe de overvloedige informatie uit grafisch gestructureerde data te behouden en te extraheren in een embeddingruimte op een ongesuperviseerde manier. Hiertoe introduceren we een nieuw concept, Graphical Mutual Information (GMI), om de correlatie tussen inputgrafieken en hoogwaardige verborgen representaties te meten. GMI generaliseert het idee van conventionele wederzijdse informatiesberekeningen van vectorruimte naar het graafdomein, waar het meten van wederzijdse informatie vanuit twee aspecten van knooppuntkenmerken en topologische structuur onmisbaar is. GMI biedt verschillende voordelen: ten eerste is het invariant voor isomorfe transformaties van inputgrafieken – een onvermijdelijke beperking in veel bestaande algoritmen voor het leren van graafrepresentaties; bovendien kan het efficiënt worden geschat en gemaximaliseerd door huidige methoden voor het schatten van wederzijdse informatie, zoals MINE; ten slotte bevestigt onze theoretische analyse de correctheid en rationaliteit ervan. Met behulp van GMI ontwikkelen we een ongesuperviseerd leermodel dat getraind wordt door GMI tussen de input en output van een grafische neurale encoder te maximaliseren. Uitgebreide experimenten met transductieve en inductieve knooppuntclassificatie en linkvoorspelling tonen aan dat onze methode beter presteert dan state-of-the-art ongesuperviseerde tegenhangers, en soms zelfs beter presteert dan gesuperviseerde methoden. 1 INTRODUCTIE Voor het bereiken van betrouwbare kwantitatieve analyse voor diverse informatienetwerken is het leren van hoogwaardige representaties voor grafisch gestructureerde data een van de huidige fascinerende onderwerpen geworden. Recente methoden die naar dit doel streven, algemeen gecategoriseerd als Graph Neural Networks (GNNs), hebben opmerkelijke vooruitgang geboekt in een groot aantal leertaken, zoals knooppuntclassificatie [ , , ], linkvoorspelling [ , , ], graafuitlijning [ , , ], moleculaire generatie [ , , ], om er een paar te noemen. Ondanks de vruchtbare vooruitgang vereist het trainen van GNNs in bestaande benaderingen doorgaans een bepaalde vorm van supervisie. Ongetwijfeld zijn labelinformatie duur om te verkrijgen – handmatige annotatie of betalen voor toestemming, en is zelfs onmogelijk te verkrijgen vanwege privacybeleid. Om nog maar te zwijgen van het feit dat de betrouwbaarheid van gegeven labels soms twijfelachtig is. Hoe men hoogwaardige graafrepresentaties zonder supervisie kan bereiken, wordt daarom noodzakelijk voor een groot aantal praktische gevallen, wat de motivatie is voor de studie in dit paper. 35 42 50 26 27 49 12 19 43 4 5 46 Na zorgvuldige inspectie van onze verzamelde grafisch gestructureerde data, stellen we vast dat deze over het algemeen afkomstig zijn uit verschillende bronnen, zoals sociale netwerken, citatennetwerken en communicatienetwerken, waar een enorme hoeveelheid zowel inhoudelijke als verbindingsinformatie bestaat. Bijvoorbeeld, data op veel sociale platforms zoals Twitter, Flickr en Facebook bevatten kenmerken van gebruikers, , basis persoonlijke details, teksten, afbeeldingen, IP, en hun relaties, , hetzelfde item kopen, vrienden zijn. Deze rijke inhoudsdata zijn voldoende om daaropvolgende mijnbouwtaken te ondersteunen zonder extra begeleiding: als twee entiteiten extreme gelijkenis in kenmerken vertonen, is er een hoge waarschijnlijkheid van een link daartussen (linkvoorspelling), en behoren ze waarschijnlijk tot dezelfde categorie (classificatie); als twee entiteiten beide naar dezelfde entiteit linken, hebben ze waarschijnlijk vergelijkbare kenmerken (aanbeveling). In die zin, het behouden en extraheren van zoveel mogelijk informatie uit informatienetwerken in de embeddingruimte faciliteert het leren van hoogwaardige expressieve representaties die wenselijke prestaties vertonen in mijnbouwtaken zonder enige vorm van supervisie. Ongesuperviseerd graafrepresentatie leren is in veel gevallen een gunstigere keuze vanwege de vrijheid van labels, met name wanneer we willen profiteren van grootschalige ongelabelde data in het wild. bijv. bijv. Om de rijke informatie in grafieken volledig te ervaren, voeren we in dit paper graafembedding uit op basis van Mutual Information (MI) maximalisatie, geïnspireerd door het empirische succes van de Deep Info-Max methode [ ] die op afbeeldingen werkt. Om nuttige representaties te ontdekken, traint Deep InfoMax de encoder om MI tussen zijn inputs ( , de afbeeldingen) en outputs ( , de verborgen vectoren) te maximaliseren. Bij het beschouwen van Deep InfoMax in het graafdomein, is de eerste hobbel die we moeten nemen hoe MI te definiëren tussen grafieken en verborgen vectoren, terwijl de topologie van grafieken complexer is dan afbeeldingen (zie Figuur Een van de uitdagingen is om ervoor te zorgen dat de MI-functie tussen de verborgen representatie van elke knooppunt en de invoerkenmerken van zijn buurt voldoet aan de symmetrische eigenschap, of equivalent, invariant is voor permutaties van de buurten. Als een recent werk dat MI beschouwt, embedt Deep Graph Infomax (DGI) [ ] eerst een invoergraaf en een corresponderende gecorrumpeerde graaf, vat vervolgens de invoergraaf samen als een vector via een readout-functie, en maximaliseert ten slotte MI tussen deze samenvattingsvector en verborgen representaties door de invoergraaf (positief monster) te onderscheiden van de gecorrumpeerde graaf (negatief monster). Figuur geeft een gemakkelijk te begrijpen overzicht van DGI. Het maximaliseren van dit soort MI is bewezen equivalent te zijn aan het maximaliseren van die tussen de invoerknooppuntkenmerken en verborgen vectoren, maar deze gelijkwaardigheid geldt onder verschillende vooraf ingestelde voorwaarden, , de readout-functie moet injectief zijn, wat in de praktijk toch te beperkt lijkt. Zelfs als we het bestaan van een injectieve readout-functie door een bepaald ontwerp kunnen garanderen, , degene gebruikt in DeepSets [ ], wordt het injectieve vermogen van de readout-functie ook beïnvloed door hoe de parameters ervan worden getraind. Dat wil zeggen dat een oorspronkelijk injectieve functie nog steeds het risico loopt niet-injectief te worden als deze zonder externe supervisie wordt getraind. En als de readout-functie niet injectief is, neemt de invoergraafinformatie in een samenvattingsvector af naarmate de grootte van de graaf toeneemt. Bovendien blijft DGI bij een grove MI-maximalisatie op graaf-/patchniveau. Daarom is er in DGI geen garantie dat de encoder voldoende informatie uit invoerdata kan distilleren, omdat deze nooit bewust verborgen representaties correleert met hun oorspronkelijke inputs. 20 d.w.z. d.w.z. 1). 41 1 bijv. bijv. 47 In dit paper presenteren we een eenvoudigere manier om MI te beschouwen in termen van grafische structuren zonder gebruik te maken van een readout-functie of corruptiefunctie. We leiden MI rechtstreeks af door de input ( , de subgraaf bestaande uit de invoerbuurt) en de output ( , de verborgen representatie van elke knooppunt) van de encoder te vergelijken. En interessant genoeg demonstreren onze theoretische afleidingen dat de direct geformuleerde MI kan worden ontleed in een gewogen som van lokale MIs tussen elk buurkenmerk en de verborgen vector. Op deze manier hebben we de invoerkenmerken ontleed en de MI-berekening hanteerbaar gemaakt. Bovendien kan deze vorm van MI gemakkelijk de symmetrische eigenschap bevredigen als we de waarden van de gewichten aanpassen. Meer details vindt u in § Aangezien deze MI voornamelijk op kenmerkenniveau van knooppunten wordt gemeten, noemen we het Feature Mutual Information (FMI). d.w.z. d.w.z. 3.1. Twee resterende kwesties over FMI: de combinerende gewichten zijn nog steeds onbekend en het houdt geen rekening met de topologie ( , de kantkenmerken). Om deze twee kwesties verder aan te pakken, definiëren we onze Graphical Mutual Information (GMI) meting op basis van FMI. Met name past GMI een intuïtieve waardetoewijzing toe door de gewichten in FMI gelijk te stellen aan de nabijheid tussen elke buur en het doelknop in de representatieruimte. Om de topologische informatie te behouden, correleert GMI deze gewichten verder met de invoerkantkenmerken via een extra wederzijdse informatieterm. De resulterende GMI is topologisch invariant en ook berekenbaar met Mutual Information Neural Estimation (MINE) [ ]. De belangrijkste bijdragen van ons werk zijn als volgt: 1. 2. d.w.z. 2 • : We generaliseren de conventionele MI-schatting naar het graafdomein en stellen dienovereenkomstig een nieuw concept van Graphical Mutual Information (GMI) voor. GMI is vrij van het Concepten potentiële risico veroorzaakt door de readout-functie, omdat het MI tussen invoergrafieken en hoogwaardige embeddings op een directe manier beschouwt. • : Via onze theoretische analyse geven we een hanteerbare en berekenbare vorm van GMI die de Algoritmen totale GMI ontleedt in een gewogen som van lokale MIs. Met behulp van de MINE-methode kan GMI-maximalisatie eenvoudig op knooppuntniveau worden bereikt. • : We verifiëren de effectiviteit van GMI op verschillende populaire knooppuntclassificatie- en linkvoorspellingstaken, waaronder zowel transductieve als inductieve taken. De experimenten demonstreren dat onze methode veelbelovende prestaties levert op een verscheidenheid aan benchmarks en soms zelfs beter presteert dan de gesuperviseerde tegenhangers. Experimentele bevindingen 2 GERELATEERD WERK In lijn met de focus van ons werk, bespreken we kort eerder werk op de volgende twee gebieden: schatting van wederzijdse informatie, en neurale netwerken voor het leren van representatie over grafieken. 1. 2. . Zoals het InfoMax-principe [ ] pleit voor het maximaliseren van MI tussen de inputs en outputs van neurale netwerken, proberen veel methoden zoals ICA-algoritmen [ , ] het idee van MI toe te passen in ongesuperviseerd feature leren. Desalniettemin kunnen deze methoden niet gemakkelijk worden gegeneraliseerd naar diepe neurale netwerken vanwege de moeilijkheid bij het berekenen van MI tussen hoogdimensionale continue variabelen. Gelukkig maakt Mutual Information Neural Estimation (MINE) [ ] de schatting van MI op diepe neurale netwerken haalbaar door een statistisch netwerk te trainen als een discriminator om samples te onderscheiden die afkomstig zijn van de gezamenlijke distributie en het product van de marginalen van twee willekeurige variabelen. Specifiek gebruikt MINE de exacte KL-gebaseerde formulering van MI, terwijl een niet-KL alternatief, de Jensen-Shannon divergentie (JSD) [ ], kan worden gebruikt zonder de zorg over de precieze waarde van MI. Schatting van wederzijdse informatie 3 1 21 2 30 . Met de snelle ontwikkeling van graph neural networks (GNNs), zijn er de afgelopen jaren een groot aantal algoritmen voor graafrepresentatie leren op basis van GNNs voorgesteld, die sterkere prestaties vertonen dan traditionele random walk-gebaseerde en factorisatie-gebaseerde embeddingbenaderingen [ , , , , ]. Doorgaans kunnen deze methoden worden onderverdeeld in gesuperviseerde en ongesuperviseerde categorieën. Onder hen is er een rijke literatuur over gesuperviseerd representatie leren over grafieken [ , , , , ]. Ondanks hun variatie in netwerkarchitectuur, behalen ze empirisch succes met behulp van labels die vaak niet toegankelijk zijn in realistische scenario's. In dit geval hebben ongesuperviseerde graafleermethoden [ , , ] een breder toepassingspotentieel. De bekende methode is GraphSAGE [ ], een inductief raamwerk om GNNs te trainen met een op random walk gebaseerd doel in de ongesuperviseerde setting. En onlangs past DGI [ ] het idee van MI-maximalisatie toe op het graafdomein en behaalt het sterke prestaties in een ongesuperviseerd patroon. DGI implementeert echter een grove maximalisatie ( , het maximaliseren van MI op graaf-/patchniveau), wat het moeilijk maakt om de delicate informatie in de invoergraaf te behouden. Bovendien lijkt de voorwaarde op de readout-functie die in DGI wordt gebruikt, in de praktijk te beperkend. Daarentegen richten we ons op het verwijderen van de beperking van de readout-functie en het bereiken van grafische wederzijdse informatiemaximalisatie op knooppuntniveau door direct MI tussen inputs en outputs van de encoder te maximaliseren. Representaties afgeleid door onze methode zijn geavanceerder in het behouden van invoergraafinformatie, wat zorgt voor potentieel voor downstream graafmijnbeveilingstaken, , knooppuntclassificatie, linkvoorspelling en aanbeveling. Neurale netwerken voor graafrepresentatie leren 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 d.w.z. bijv. 3 GRAFISCHE WEDERZIJDSE INFORMATIE: DEFINITIE EN MAXIMALISATIE Voordat we verder gaan, introduceren we eerst de voorlopige concepten die in dit paper worden gebruikt. Laat G = (V, E) een graaf aanduiden met knooppunten ∈ V en randen = ( , ) ∈ E. De knooppuntkenmerken, met de aangenomen empirische kansverdeling P, worden gegeven door ∈ N vi eij vi vj X R × = { 1, · · · , } waarbij ∈ R het kenmerk voor knooppunt aanduidt. De adjacency matrix ∈ R × vertegenwoordigt randverbindingen, waarbij geassocieerd met rand een reëel getal of multidimensionale vector kan zijn1. N D x x N xi D vi A N N Aij eij Het doel van graafrepresentatie leren is het leren van een encoder : R × × R × → R × ′, zodat de verborgen vectoren = { 1, · · · , } = ( , ) hoogwaardige representaties voor alle knooppunten aangeven. Het encoderingsproces kan node-wise worden herschreven. f N D N N N D H h hN f X A Om dit te tonen, definiëren we en voor knooppunt respectievelijk als de kenmerken van zijn buren en de corresponderende adjacency matrix Xi Ai i conditioneel op de buren. In het bijzonder bestaat uit alle k-hop buren van met ≤ wanneer de encoder een -laags GNN is, en het bevat knooppunt zelf als we zelfloops toevoegen aan de adjacency matrix. Hier noemen we de subgraaf die door en wordt uitgebreid een voor knooppunt , aangeduid met G . Met de definitie van de ondersteuningsgraaf wordt de codering voor elk knooppunt = (G ) = ( , ). Xi vi k l f l i Xi Ai ondersteuningsgraaf i i hi f i f Xi Ai In Deep InfoMax [ ] is het trainingsdoel van de encoder het maximaliseren van MI tussen zijn inputs en outputs. De MI wordt geschat door een statistisch netwerk als discriminator te gebruiken om samples te classificeren die afkomstig zijn van de gezamenlijke distributie en die getrokken zijn uit het product van marginalen. Natuurlijk, bij het aanpassen van het idee van Deep InfoMax aan grafieken, moeten we MI maximaliseren tussen de representatie en de ondersteuningsgraaf G voor elk knooppunt. We duiden dergelijke grafische MI aan als ( ; G ). Het is echter niet eenvoudig om I (hi ; Gi ) te definiëren. De moeilijkheden zijn: Moeilijkheden bij het definiëren van grafische wederzijdse informatie. 20 hi i I hi i • De grafische MI moet invariant zijn ten opzichte van de knooppuntindex. Met andere woorden, we moeten hebben ( ; G ) = ( ; G′ ), als G en G′ isomorf zijn aan elkaar. I hi i I hi i i i • Als we de MINE-methode gebruiken voor MI-berekening, accepteert de discriminator in MINE alleen inputs van een vaste grootte. Dit is nog steeds onhaalbaar voor G , aangezien verschillende G meestal verschillende aantallen knooppunten bevatten en dus van verschillende groottes zijn. i i Om het probleem van het definiëren van grafische wederzijdse informatie te omzeilen, begint dit gedeelte met de introductie van het concept Feature Mutual Information (FMI) dat alleen afhankelijk is van knooppuntkenmerken. Op basis van de ontleding van FMI definiëren we vervolgens Graphical Mutual Information (GMI), die zowel de knooppuntkenmerken als 3.1 Kenmerk Wederzijdse Informatie We duiden de empirische kansverdeling van knooppuntkenmerken aan als ( ), de kans op als ( ), en de gezamenlijke distributie als ( , ). Volgens de informatietheorie wordt de MI tussen en gedefinieerd als Xi p Xi hi p hi p hi Xi hi Xi Interessant is dat we de volgende stelling voor de ontleding van wederzijdse informatie hebben om ( ; ) te berekenen. I hi Xi Stelling 1 (Ontleding van Wederzijdse Informatie). ( | ) ( ; ) Als de conditionele kans p hi Xi multiplicatief is (zie de definitie van multiplicatief in [ ]), kan de globale wederzijdse informatie I 36 hi Xi gedefinieerd in Eq. (1) worden ontleed als een gewogen som van lokale MI's, namelijk, ≤ ≤ 1 waarbij xj de j-de buur van knooppunt i is, in het aantal elementen in Xi is, en het gewicht wij voldoet aan 1 wij voor elke j. Om de bovenstaande stelling te bewijzen, introduceren we eerst twee lemma's en een definitie. Lemma 1. Voor willekeurige random variabelen X, Y , en Z, hebben we Met de ontleding in Stelling kunnen we de rechterkant van Eq. berekenen via MINE, aangezien de inputs voor de discriminator nu de paren ( , ) worden, waarvan de grootte altijd hetzelfde blijft ( , ′-bij- ). Bovendien kunnen we de gewichten aanpassen om de isomorfe transformatie van invoergrafieken te weerspiegelen. Bijvoorbeeld, als alleen één-hop buren van knooppunt bevat, zal het instellen van alle gewichten identiek zijn, wat leidt tot dezelfde MI voor de invoerknooppunten in verschillende volgordes. 1, (2) hi xj d.w.z. D D Xi i Ondanks enkele voordelen van de ontleding, is het moeilijk om de exacte waarden van de gewichten te karakteriseren, omdat ze gerelateerd zijn aan de waarden van ( ; ) en hun onderliggende kansverdelingen. I hi xj Een triviale manier is om alle gewichten op in te stellen, dan is het maximaliseren van de rechterkant van Eq. equivalent aan het maximaliseren van de ondergrens van ( ; ), waardoor de ware FMI ook tot op zekere hoogte wordt gemaximaliseerd. Naast deze methode bieden we bovendien een meer verbeterde oplossing door de gewichten te beschouwen als trainbare attenties, wat het onderwerp is in de volgende subsectie. 1 (2) I hi Xi Geïnspireerd door de ontleding in Stelling proberen we trainbare gewichten te construeren vanuit het andere aspect van grafieken ( , 3.2 Topologie-Aware Wederzijdse Informatie 1, d.w.z. topologisch beeld) zodat de waarden van flexibeler kunnen zijn en de inherente eigenschap van grafieken kunnen vastleggen. Uiteindelijk leiden we de definitie van Graphical Mutual Information (GMI) af. wij Definitie 2 (Grafische Wederzijdse Informatie). G = ( , ) De MI tussen de verborgen vector h en zijn ondersteuningsgraaf X A wordt gedefinieerd als waarbij de definities van zowel xj als in hetzelfde zijn als in Stelling 1, aij het randgewicht/kenmerk in de adjacency matrix A is, en σ (·) een sigmoidfunctie is. Intuitief meet het gewicht wij in de eerste term van Eq. (10) de coped with in experiments are unweighted. Formally, we compute I (wij ; aij ) = aijloдwij + (1 − aij )loд(1 − wij ). (12) By maximizing I (hi ; Gi ) with the sum of Eq. (11) and Eq. (12) over all hidden vectors H , we arrive at our complete objective function for bijdrage van een lokale MI aan de globale MI. We implementeren de bijdrage van I (hi ; xj ) door de gelijkenis tussen representaties hi en hj (d.w.z., wij = σ (hThj )). Ondertussen maximaliseert de term I (wij ; aij ) MI tussen wij en het randgewicht/kenmerk van de invoergraaf (d.w.z., aij ) om wij te dwingen topologische relaties te volgen. In die zin zal de mate van bijdrage consistent zijn met de nabijheid in topologische structuur, wat algemeen wordt geaccepteerd als een feit dat wij groter kan zijn als knooppunt j "dichterbij" knooppunt i is en anders kleiner. Deze strategie compenseert het gebrek dat FMI zich alleen richt op knooppuntkenmerken en lokale MIs adaptief bijdraagt aan de globale MI. Voor een beter begrip van het idee van attentie in deze strategie, kunt u verwijzen naar de op attentie gebaseerde GCN. Merk op dat de definitie van Eq. (10) van toepassing is op algemene gevallen. Voor bepaalde specifieke situaties kunnen we Eq. (10) enigszins aanpassen voor efficiëntie. Bijvoorbeeld, bij het omgaan met ongeladen grafieken (namelijk de randwaarde is 1 indien verbonden en 0 anders), kunnen we de tweede MI-term I (wij ; aij ) vervangen door een negatieve kruis-entropieverlies. Het minimaliseren van de kruis-entropie draagt ook bij aan MI-maximalisatie, en het levert een efficiëntere berekening op. Meer details vindt u in het volgende gedeelte. Over het algemeen zijn er verschillende voordelen door de definitie van Eq. (10). Ten eerste is dit soort MI invariant voor de isomorfe transformatie van invoergrafieken. Ten tweede is het rekenkundig haalbaar omdat elke component aan de rechterkant kan worden geschat door MINE. Belangrijker nog, GMI is krachtiger dan DGI in het vastleggen van originele invoerinformatie vanwege de expliciete correlatie tussen verborgen vectoren en invoerkenmerken van zowel knooppunten als randen op een fijnmazig knooppuntniveau. 3.3 Maximalisatie van GMI Nu maximaliseren we rechtstreeks de rechterkant van Eq. met behulp van MINE. Merk op dat MINE een ondergrens van MI schat met de Donsker-Varadhan (DV) [ ] representatie van de KL-divergentie tussen de gezamenlijke distributie en het product van de marginalen. Aangezien we ons meer richten op het maximaliseren van MI dan op het verkrijgen van de specifieke waarde ervan, kunnen andere niet-KL alternatieven zoals Jensen-Shannon MI estimator (JSD) [ ] en Noise-Contrastive estimator (infoNCE) [ ] worden gebruikt om het te vervangen. Op basis van de experimentele bevindingen en analyse in [ ], grijpen we in dit paper terug naar de JSD-estimator vanwege de effectiviteit en efficiëntie, aangezien de infoNCE-estimator gevoelig is voor negatieve samplingstrategieën (het aantal negatieve samples) en daardoor een knelpunt kan worden voor grootschalige datasets met een vast beschikbaar geheugen. Daarentegen is de ongevoeligheid van de JSD-estimator voor negatieve samplingstrategieën en de respectabele prestaties ervan op veel taken geschikter voor onze taak. Specifiek berekenen we ( ; ) in de eerste term van Eq. met (10) 10 30 31 20 I hi xj (10) waarbij D : × ′ → R een discriminator is, geconstrueerd door een neuraal netwerk met parameter . is een negatief gesampled uit P = P, en ( ) = (1 + ) staat voor de soft-plus functie. w D D w x j sp x loд ex Zoals vermeld in § maximaliseren we ( ; ) door de kruis-entropie ervan te berekenen in plaats van JSD-estimator te gebruiken, aangezien de grafieken waarmee we in de experimenten te maken hadden, ongeladen zijn. Formeel berekenen we 3.2, I wij aij Door I (hi ; Gi ) te maximaliseren met de som van Eq. (11) en Eq. (12) over alle verborgen vectoren H , komen we tot onze volledige doelfunctie voor GMI-optimalisatie. Bovendien kunnen we afwegingsparameters toevoegen om Eq. (11) en (12) voor meer flexibiliteit in balans te brengen. 4 EXPERIMENTEN In dit gedeelte evalueren we empirisch de prestaties van GMI op twee veelvoorkomende taken: knooppuntclassificatie (transductief en inductief) en linkvoorspelling. Een aanvullende relatief eerlijke vergelijking tussen GMI en twee andere ongesuperviseerde algoritmen (EP-B en DGI) toont verder de effectiviteit ervan aan. Ook bieden we de visualisatie van t-SNE-plots en analyseren we de invloed van modeldiepte. 4.1 Datasets Om de kwaliteit van onze aanpak voor elke taak te beoordelen, gebruiken we 4 of 5 veelgebruikte benchmarkdatasets uit eerder werk [ , , Gedetailleerde statistieken worden gegeven in Tabel 16 25 41]. 1. In de classificatietaak zijn Cora, Citeseer en PubMed [ ]2 citatennetwerken waarbij knooppunten documenten vertegenwoordigen en randen citaten weergeven. Elk document is geassocieerd met een bag-of-words representatievector en behoort tot een van de vooraf gedefinieerde klassen. Volgens de transductieve setup in [ , ] wordt training uitgevoerd op alle knooppunten, en worden 1000 testknooppunten gebruikt voor evaluatie. Reddit3 is een groot sociaal netwerk bestaande uit talloze onderling verbonden Reddit-posts gemaakt in september 2014 [ ]. Posts worden behandeld als knooppunten en randen betekenen dat dezelfde gebruiker reageert. 38 25 41 16 ![ Tabel 1: Statistieken van de gebruikte datasets in de experimenten. ](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-eph3eec.jpeg) Het klasselabel is de community en ons doel is om te voorspellen tot welke community verschillende posts behoren. PPI3 is een eiwit-eiwitinteractie dataset met meerdere grafieken gerelateerd aan verschillende menselijke weefsels [ ]. De positionele genenreeksen, motiefgenenreeksen en immunologische handtekeningen worden beschouwd als knooppuntkenmerken, en elk knooppunt heeft een totaal van 121 labels gegeven door genenontologie-reeksen. Het classificeren van eiwitfuncties die mogelijk tot meerdere genres behoren over verschillende PPI-grafieken is ons doel. Volgens de inductieve setup in [ ], voeren we op Reddit posts in de eerste 20 dagen aan het model voor training, terwijl de resterende worden gebruikt voor testen (met 30% gebruikt voor validatie); op PPI zijn er 20 grafieken voor training, 2 voor validatie en 2 voor testen. Het moet worden benadrukt dat, voor Reddit en PPI, testen wordt uitgevoerd op ongeziene (niet-getrainde) knooppunten en grafieken, terwijl de eerste drie datasets worden gebruikt voor transductief leren. 52 16 Voor de linkvoorspellingstaak is BlogCatalog4 een sociale blogwebsite waar bloggers elkaar volgen en hun blogs registreren onder vooraf gedefinieerde 6 categorieën. De tags van blogs worden gebruikt als knooppuntkenmerken. Flickr4 is een website voor het delen van foto's waar gebruikers met anderen interageren en een sociaal netwerk vormen. Gebruikers uploaden foto's met 9 vooraf gedefinieerde klassen en selecteren bijbehorende tags om hun interesses weer te geven, wat attributie-informatie biedt. De beschrijving van Cora en PPI wordt weggelaten voor beknoptheid. Volgens de experimentele instellingen en evaluatiemetrieken in, geven we, gegeven een graaf met bepaalde delen van de randen verwijderd, deze ontbrekende links voorspellen. Voor Cora, BlogCatalog en Flickr verwijderen we willekeurig 20%, 50% en 70% van de randen, terwijl we ervoor zorgen dat het resterende netwerk na de randverwijdering verbonden is en we het beschadigde netwerk gebruiken voor training. Wat PPI betreft, behandelen we een deel van de randen die niet tijdens de training zijn gezien als voorspellingdoelen in plaats van handmatig verwijderde randen. 4.2 Experimentele Instellingen We gebruiken een standaard Graph Convolutional Network (GCN) model met de volgende laag-voor-laag propagatieregel als de encoder voor zowel classificatie- als linkvoorspellingstaken: Encoder ontwerp. Waar Aˆ = D -1/2AD - 1/2A = A + In, Dii = Aij, H (1) en H (I + 1) de input- en outputmatrices zijn van de -de laag, ( ) is een laag-specifieke trainbare gewichtsmatrix. Hier is de niet-lineaire transformatie die we toepassen de PReLU-functie (parametrische ReLU) [ ]. Het moet worden erkend dat voor knooppunt , de buurt in zijn ondersteuningsgraaf Gi knooppunt i zelf bevat, aangezien zelfloops worden ingevoegd via A¯ . l W l σ 17 i Xi Meer specifiek is de encoder die we hebben gebruikt op Citeseer en PubMed een één-laags GCN met de outputdimensie als ′ = 512. En op Cora, Reddit, BlogCatalog, Flickr en PPI gebruiken we een twee-laags GCN als onze encoder. Hier hebben we verborgen dimensies als ′ = 512 in elke GCN-laag. Merk op dat het gebruik van een vergelijkbare GCN-encoder voor zowel transductieve als inductieve classificatietaken onze voorgestelde methode gemakkelijker te volgen en schaalbaar te maken voor grote netwerken dan DGI, aangezien DGI verschillende encoders moet ontwerpen om zich aan te passen aan verschillende leertaken, vooral de encoders die worden gebruikt in inductieve taken zijn te ingewikkeld, wat niet vriendelijk is voor praktische toepassingen. D D De discriminator in Eq. scoort de input-output kenmerkparen via een eenvoudige bilineaire functie, vergelijkbaar met de discriminator gebruikt in Discriminator ontwerp. (11) : waarbij Θ een trainbare scorematrix vertegenwoordigt en de activeringsfunctie die we gebruiken de sigmoid is, gericht op het omzetten van scores in waarschijnlijkheden dat ( , ) een positief voorbeeld is. σ h x Eigenlijk hebben we voor het gewicht van de eerste term in Eq. twee manieren om de waarde ervan in experimenten te verkrijgen. De eerste is om = ( T ) te houden, wat lokale MI's adaptief bijdraagt aan de globale, en we noemen deze variant GMI-adaptive. Implementatie details. wij (10) wij σ h hj De andere is om = te laten, , het linkereindpunt van het interval waar toe behoort (zie Stelling wat betekent dat de bijdrage van elke lokale MI gelijk is, en we noemen deze variant GMI-mean. Hier zijn zowel GMI-mean als GMI-adaptive inbegrepen in het vergelijkingsbereik met baselines. wij 1/in d.w.z. wi j 1), Alle experimenten zijn geïmplementeerd in PyTorch met Glorot initialisatie en uitgevoerd op een enkele Tesla P40 GPU. In preprocessing voeren we rijnormalisatie uit op Cora, Citeseer, PubMed, BlogCatalog en Flickr volgens, en passen we de verwerkingsstrategie in toe op Reddit en PPI. Tijdens training gebruiken we Adam Optimizer met een initiële training van 0.001 op alle zeven datasets. Zoals voorgesteld door, gebruiken we een early stopping strategie met een venstergrootte van 20 op Cora, Citeseer en PubMed, terwijl we het model trainen voor een vast aantal epochs op de inductieve datasets (20 op Reddit, 50 op PPI). Het aantal negatieve samples is ingesteld op 5. Vanwege de grootschaligheid van Reddit en PPI, moeten we de subsampling skill geïntroduceerd in [ ] gebruiken om ze in het GPU-geheugen te laten passen. In detail wordt eerst een minibatch van 256 knooppunten geselecteerd, en vervolgens wordt voor elk geselecteerd knooppunt uniform 8 en 5 buren op zijn eerste en tweede niveau buurten gesampled. We gebruiken de één-hop buurt om de ondersteuningsgraaf in experimenten te construeren en (0) ( , een gecomprimeerde invoerkenmerk) om FMI te berekenen, aangezien het gebruik van het oorspronkelijke invoerkenmerk GPU-geheugencrashes veroorzaakt. De afwegingsparameters worden afgesteld in het bereik van om Eq. en Eq. in balans te brengen. De Batch Normalization strategie [ ] wordt toegepast om ons model op Reddit en PPI te trainen. 16 XW d.w.z. X (11) (12) 22 Voor de classificatietaak voeren we de geleerde embeddings over de trainingsset naar de logistieke regressieclassifier en geven de resultaten op de testknooppunten [ , ]. Specifiek, bij transductief leren, gebruiken we de gemiddelde classificatie nauwkeurigheid na 50 runs om de prestaties te evalueren, terwijl de micro-gemiddelde F1-score gemiddeld na 50 runs wordt gebruikt bij inductief leren. En voor PPI, zoals voorgesteld door [ ], standaardiseren we de geleerde embeddings voordat we ze naar de logistieke regressieclassifier voeren. Voor de linkvoorspellingstaak is het criterium dat we hanteren AUC, wat de oppervlakte onder de ROC-curve is. De negatieve samples die betrokken zijn bij de berekening van AUC worden gegenereerd door willekeurig een gelijk aantal knooppuntparen te selecteren zonder verbindingen in de oorspronkelijke graaf. Hoe dichter de AUC-score 1 benadert, hoe beter de prestaties van het algoritme zijn. Op dezelfde manier rapporteren we de AUC-score gemiddeld na 10 runs. Evaluatiemetrieken. 16 25 41 4.3 Classificatie Tabel rapporteert de gemiddelde classificatienauwkeurigheid van onze methode en andere baselines op transductieve taken. Hier worden resultaten voor EP-B [ ], DGI [ ], Planetoid-T [ ], GAT [ ], evenals GWNN [ ] uit hun originele papers gehaald, en resultaten voor de overige zeven vergeleken methoden worden gekopieerd uit Kipf & Welling [ ] (DeepWalk [ ], LP (Label Propagation) [ ], en GCN [ ]). Wat ruwe kenmerken betreft, voeren we deze in een logistieke regressieclassifier voor training en geven de resultaten op de testkenmerken5. Hoewel we experimentele resultaten van zowel gesuperviseerde als ongesuperviseerde methoden bieden, richten we ons in dit paper meer op vergelijkingen met ongesuperviseerde methoden, wat consistent is met onze setup. Transductief leren. 2 11 41 45 40 44 25 33 51 25 Zoals te zien is, behalen onze voorgestelde GMI-mean en GMI-adaptive, vergeleken met andere ongesuperviseerde methoden, de beste classificatienauwkeurigheid over alle drie de datasets. We beschouwen deze sterke prestaties als een voordeel van het idee om direct grafische MI tussen input- en outputparen van de encoder E op fijnmazig knooppuntniveau te maximaliseren. Daarom behoudt de gecodeerde representatie maximaal de informatie van knooppuntkenmerken en topologie in G, wat bijdraagt aan classificatie. Daarentegen negeert EP-B de onderliggende informatie tussen invoerdata en geleerde representaties, en DGI blijft bij een MI-maximalisatie op graaf-/patchniveau, wat hun vermogen om de originele invoerinformatie te behouden en te extraheren in de embeddingruimte beperkt. Daardoor enigszins zwakkere prestaties op classificatietaken. Bovendien, zonder de begeleiding van labels, vertoont onze methode vergelijkbare resultaten met sommige gesuperviseerde modellen zoals GCN en GAT, zelfs betere resultaten dan zij op Citeseer en PubMed. We zijn van mening dat representaties geleerd via GMI-maximalisatie tussen inputs en outputs de rijke informatie in graaf G erven, wat voldoende is voor classificatie. Meer opmerkelijk is dat veel beschikbare labels ook gebaseerd zijn op de informatie in G. Dus het zo veel mogelijk behouden van informatie uit de input kan de informatie die door het label wordt geleverd tot op zekere hoogte compenseren, wat de prestaties van GMI in downstream graafmijnbeveilingstaken ondersteunt. Er kan worden gesteld dat leren van originele inputs zonder labels het potentieel belooft voor hogere kwaliteit representaties dan het gesuperviseerde patroon, aangezien de extreme schaarste van de trainingslabels kan lijden onder de dreiging van overfitting of de correctheid van de gegeven labels mogelijk niet betrouwbaar is. Tabel vat ook de micro-gemiddelde F1-scores van GMI en andere baselines samen op Reddit en PPI. We citeren de resultaten van DGI, GAT, FastGCN [ ] en GaAN [ ] in hun originele papers, terwijl resultaten voor de overige zeven vergeleken methoden zijn gehaald uit Hamilton et al. [ ] (hier hergebruiken we de ongesuperviseerde GraphSAGE resultaten om bij onze setup te passen). Evenzo is de vergelijking met ongesuperviseerde algoritmen de nadruk van ons werk. Inductief leren. 2 7 48 16 GMI-mean en GMI-adaptive presteren succesvol beter dan alle andere concurrerende ongesuperviseerde algoritmen op Reddit en PPI, wat de effectiviteit van GMI-maximalisatie op het gebied van inductieve classificatie (generalisatie naar ongeziene knooppunten) onderbouwt. Interessant is dat het resultaat van onze methode op Reddit concurrerend is met enkele geavanceerde gesuperviseerde modellen, maar de situatie op PPI is heel anders. Na verdere analyse stellen we vast dat 42% van de knooppunten nul kenmerkwaarden heeft in PPI, wat betekent dat de kenmerkmatrix X erg spaar is [ ]. In dit geval beperkt het direct en enkel vertrouwen op de invoergraaf G = ( , ) de prestaties van ongesuperviseerde benaderingen, waaronder DGI en onze methode, terwijl leren op een gesuperviseerde manier veel betere prestaties levert vanwege de hulp van extra labels. 16 X A Volgens Tabel behalen de twee varianten van GMI (GMI-mean en GMI-adaptive), die verschillende strategieën gebruiken om de bijdrage van elke lokale MI te meten (details in § competitieve resultaten met elkaar, maar GMI-adaptive vertoont iets zwakkere prestaties dan GMI-mean. Na verdere analyse nemen we aan dat dit mogelijk komt door de trainingsmoeilijkheden die voortkomen uit de aard van adaptief leren. Misschien kunnen de prestaties van GMI-adaptive worden verbeterd met behulp van een geavanceerde trainingsstrategie. In die zin is GMI-mean praktischer en haalbaarder, dus het kan in de praktijk als representatief worden beschouwd. Evaluatie op twee varianten van GMI. 2, 4.2), 4.4 Effectiviteit van Doelfunctie Om de effectiviteit van het maximaliseren van grafische MI in ongesuperviseerd graafrepresentatie leren verder te verduidelijken en een relatief eerlijke vergelijking te bieden met DGI en EP-B (twee ongesuperviseerde algoritmen), vervangen we onze doelfunctie door hun respectievelijke verliesfuncties, terwijl andere experimentele instellingen ongewijzigd blijven. Tabel toont de resultaten onder de transductieve en inductieve setup. Zoals te zien is, behalen GMI (GMI-mean en GMI-adaptive) sterkere prestaties op alle vijf datasets, wat weerspiegelt dat DGI en EP-B enige overweging missen in de taak van graafrepresentatie leren. Specifiek legt het EP-B-verlies alleen beperkingen op aan elk knooppunt en zijn buren op outputniveau (embeddingruimte), het negeert de interactie tussen input- en outputparen van de encoder, wat resulteert in zijn slechte vermogen om de geldige informatie in G te behouden. Voor DGI, hoewel het verborgen representaties impliciet correleert met hun originele invoerkenmerken, bespreekt het MI op graaf-/patchniveau, wat enigszins grof is. 3 Interessant is dat, vergeleken met DGI, onze FMI (zonder topologie-informatie) aanzienlijk verbetert met de toename van graafgrootte. We schrijven deze ontdekking toe aan het feit dat de prestatievermindering van de readout-functie ervoor zorgt dat DGI bepaalde nuttige informatie verliest voor knooppuntclassificatie met de toename van de graafgrootte, hoewel het goede prestaties levert op kleine grafieken zoals Cora en Citeseer. Wanneer de topologie van de invoergraaf wordt weerspiegeld, presteert onze GMI beter dan alle andere soorten verliezen op alle datasets. Bovendien, merk op dat het hele trainingsproces van GMI vergelijkbaar is met de training van discriminatoren in generatieve modellen, en GMI empirisch een vergelijkbare trainingssnelheid vertoont met EP-B en DGI op de grootste dataset Reddit, wat de goede schaalbaarheid ervan aantoont. 4.5 Linkvoorspelling Gebaseerd op de bovenstaande experimentele resultaten, stellen we vast dat DGI een sterke concurrent is voor GMI op het gebied van ongesuperviseerde algoritmen. Daarom willen we in dit gedeelte de prestaties van DGI en GMI verder onderzoeken in een andere mijnbouweertaak – linkvoorspelling. Hier kiezen we FMI en GMI-mean om te vergelijken met DGI. Tabel rapporteert hun AUC-scores op vier verschillende datasets. Onder verschillende randverwijderingspercentages presteren GMI en FMI beide opmerkelijk beter dan DGI (behalve FMI in 70,0% BlogCatalog), wat aantoont dat het meten van grafische MI tussen inputgraaf en outputrepresentaties op een fijnmazige manier in staat is om rijke informatie in inputs vast te leggen en goede generalisatievermogen te leveren. Wat DGI betreft, aan de ene kant beperkt de MI-maximalisatie op graaf/patch-niveau, die relatief grof is, de prestaties in zo'n fijne linkvoorspellingstaak; aan de andere kant verzwakt de ongepastheid van de corruptiefunctie het vermogen van DGI om nauwkeurige representaties te leren om ontbrekende links te voorspellen. Herinner u dat het negatieve sample voor de discriminator in DGI wordt gegenereerd door de oorspronkelijke invoergraaf te corrumperen, en een goed ontworpen corruptiefunctie is onmisbaar, die enkele bekwame strategieën vereist [ ]. In deze taak passen we nog steeds de kenmerk shuffle functie toe die de beste resultaten laat zien in de classificatietaak om negatieve samples te bouwen. Maar in het geval dat een invoergraaf onvolledig is wat betreft topologische links, wordt de begeleiding geboden door deze gecorrumpeerde graaf als een negatief label in de discriminator onbetrouwbaar vanwege de onnauwkeurigheid van de invoergraaf, wat leidt tot slechte prestaties. Daarom is de noodzaak van een taakgerichte corruptiefunctie een zwakte van DGI. Daarentegen is onze GMI vrij van dit probleem door de corruptiefunctie te elimineren en direct grafische MI tussen inputs en outputs van de encoder te maximaliseren. Verder is te zien dat FMI in de meeste gevallen concurrerend is met GMI, zelfs op Flickr is FMI superieur aan GMI. We nemen aan dat dit komt door de voordelen die voortvloeien uit de directe en uitgebreide kenmerk wederzijdse informatiemaximalisatie op knooppuntniveau. Gebaseerd op de homofiliehypothese [ ] ( , entiteiten in het netwerk met vergelijkbare kenmerken hebben de neiging om met elkaar verbonden te zijn), maakt de invoerkenmerk-informatie die behouden blijft in geleerde embeddings FMI een goede capaciteit hebben om ontbrekende links te infereren. 4 41 29 d.w.z. 4.6 Visualisatie Voor een intuïtieve illustratie toont Tabel t-SNE [ ] plots van de geleerde embeddings op Cora en Citeseer. Vanuit kwalitatief oogpunt lijken de distributies van de plots geleerd door FMI en DGI op elkaar, en de embeddings gegenereerd door GMI vertonen beter onderscheidbare clusters dan ruwe kenmerken, FMI en DGI. 5 28 Vooral op Cora zijn de compactheid en scheidbaarheid van clusters extreem duidelijk, wat de zeven themacategorieën vertegenwoordigt. Wat kwantitatieve analyse betreft, proberen we de clusteringkwaliteit te meten door de Silhouette Coefficient score [ ] te berekenen. Specifiek gebruiken we de functie uit het scikit-learn Python pakket [ ] met alle standaardinstellingen en volgen we de gebruikersgids om de evaluatie uit te voeren. De clustering van embeddings geleerd via GMI behaalt een Silhouette Coefficient score van 0.425 op Cora, 0.402 op Citeseer, en 0.385 op PubMed, terwijl DGI 0.417, 0.391, 0.373 en EP-B 0.384, 0.385, 0.379 op de drie datasets krijgt, respectievelijk. Zowel kwalitatief als kwantitatief toont dit de grote prestaties van GMI aan, wat de rationaliteit en effectiviteit van grafische wederzijdse informatiemaximalisatie in ongesuperviseerd graafrepresentatie leren illustreert. 37 silhouette_score 32 4.7 Invloed van Modeldiepte In dit deel passen we het aantal convolutielagen in de encoder aan om de invloed van modeldiepte op de classificatienauwkeurigheid te onderzoeken. Rekening houdend met de potentiële moeilijkheid van het trainen van diepe neurale netwerken, zoals voorgesteld door [ ], experimenteren we ook met een tegenhanger residuele versie van het standaard GMI-model, dat identiteitsshortcut-verbindingen toevoegt tussen elke twee verborgen lagen om de training van diepe netwerken te verbeteren. Hier blijven we D ′ = 512 kenmerken hebben voor elke verborgen laag en beginnen we met het toepassen van identiteitsshortcuts vanaf de tweede laag, aangezien de input en output van de eerste laag niet dezelfde dimensie hebben. 18 Bovendien, vergeleken met het standaard GMI-model dat GMI-maximalisatie tussen de uiteindelijke representatie en de oorspronkelijke inputgraaf realiseert, overwegen we een andere variant, genaamd dense GMI, die GMI tussen elke verborgen laag en de inputgraaf maximaliseert. Figuur geeft een gedetailleerde architectuurillustratie. De betrokken hyperparameters blijven ongewijzigd, behalve dat we trainen voor vaste epochs (600 op Cora en Citeseer) zonder early stopping. Resultaten worden weergegeven in Figuur 2 3. Enerzijds vergroot de toename van de modeldiepte aanzienlijk het prestatieverschil tussen modellen met en zonder shortcut-verbindingen. Het beste resultaat voor Cora wordt verkregen met een twee-laags GCN-encoder, terwijl het beste resultaat voor Citeseer wordt behaald met een één-laags GCN-encoder. Behalve het feit dat de toename van de modeldiepte het trainen zonder shortcut-verbindingen moeilijk maakt, nemen we ook aan dat de verdere nabijheidsinformatie die door meerdere convolutielagen wordt meegebracht, ruis kan zijn voor zelfrepresentatie leren. Specifiek betekent de verschillende nabijheid tussen buren verschillende graden van gelijkenis; als twee willekeurige knooppunten een bepaalde afstand van elkaar verwijderd zijn, is de kans groot dat ze volledig verschillend zijn. Daarom kan in het standaard GMI-model de informatie die uit de verdere buurt wordt geaggregeerd veel ruis bevatten die verschilt van het kenmerk van het knooppunt zelf, wat de kwaliteit van de geleerde embeddings en daaropvolgende classificatieprestaties degradeert. Daarentegen stellen extra identiteitsshortcuts het model in staat om de informatie van de input van de vorige laag over te dragen, wat kan worden beschouwd als een aanvullend proces voor vergelijkbare buurkinformatie van oppervlakkigere lagen naar diepere lagen, dus de residuele versie is relatief minder gevoelig voor modeldiepte. Anderzijds observeren we dat de dense GMI-variant ook de prestatiedegradatie tot op zekere hoogte kan verlichten, hoewel MI de neiging heeft af te nemen met de diepte door de data processing inequality [ ]. Dit dankzij het maximaliseren van grafische MI tussen de output van elke laag en de inputgraaf, wat een directe beperking oplegt aan elke verborgen laag om de invoerinformatie zo intact mogelijk te behouden. Op basis van deze observatie kan het opleggen van de beperking van het maximaliseren van MI op verborgen lagen om het informatieverlies tijdens het trainen van diepe neurale netwerken te verminderen een goede praktijk zijn. 8 5 CONCLUSIE Om het dilemma van het gebrek aan beschikbare supervisie te overwinnen en het potentiële risico van onbetrouwbare labels te vermijden, introduceren we een nieuw concept van grafische wederzijdse informatie (GMI) om graafrepresentatie leren op een ongesuperviseerde manier uit te voeren. De kern ligt in het direct maximaliseren van de wederzijdse informatie tussen de input en output van een grafische neurale encoder in termen van knooppuntkenmerken en topologische structuur. Door onze theoretische analyse geven we een definitie van GMI en ontleden deze in een gewogen vorm die gemakkelijk kan worden berekend met de huidige methode voor het schatten van wederzijdse informatie, MINE. Dienovereenkomstig ontwikkelen we een ongesuperviseerd model en voeren we twee veelvoorkomende graafmijnbeveilingstaken uit. De resultaten tonen aan dat GMI beter presteert dan state-of-the-art ongesuperviseerde baselines op zowel classificatietaken (transductief en inductief) als linkvoorspellingstaken, en soms zelfs concurrerend is met gesuperviseerde algoritmen. Toekomstig werk zal zich richten op taakgerichte representatie leren of het aanpassen van het idee van GMI-maximalisatie aan andere soorten grafieken, zoals heterogene grafieken en hypergrafieken. ERKENNINGEN Dit werk werd ondersteund door het National Key Research and Development Program of China (nr. 2018AAA0101400), de National Nature Science Foundation of China (nr. 61872287 en nr. 61532015), de Innovative Research Group van de National Natural Science Foundation of China (nr. 61721002), het Innovation Research Team van het Ministerie van Onderwijs (IRT_17R86), en Project van het China Knowledge Center for Engineering Science and Technology. Bovendien werd dit onderzoek gefinancierd door het National Science and Technology Major Project van het Ministerie van Wetenschap en Technologie van China (nr. 2018AAA0102900). REFERENTIES Luís B Almeida. 2003. MISEP–Linear and Nonlinear ICA Based on Mutual Information. 4, Dec (2003), 1297–1318. Journal of machine learning research Mohamed Ishmael Belghazi, Aristide Baratin, Sai Rajeswar, Sherjil Ozair, Yoshua Bengio, Aaron Courville, and R Devon Hjelm. 2018. Mine: mutual information neural estimation. In . ICML Anthony J Bell and Terrence J Sejnowski. 1995. An information-maximization approach to blind separation and blind deconvolution. 7, 6 (1995), 1129–1159. Neural computation Esben Jannik Bjerrum and Richard Threlfall. 2017. Molecular generation with recurrent neural networks (RNNs). (2017). arXiv preprint arXiv:1705.04612 Xavier Bresson and Thomas Laurent. 2019. A Two-Step Graph Convolutional Decoder for Molecule Generation. (2 arXiv preprint arXiv:1906.03412