Microsofts Graphormer: Der Transformator, der GNNs schließlich schlägt

Die Autoren: Chengxuan Ying, yingchengsyuan@gmail.com (Dalian University of Technology) Tianle Cai, tianle.cai@princeton.edu (Princeton University) Shengjie Luo, luosj@stu.pku.edu.cn (Peking University) Shuxin Zheng, shuz@microsoft.com (Microsoft Research Asia) Guolin Ke, guoke@microsoft.com (Microsoft Research Asia) Di He, dihe@microsoft.com (Microsoft Research Asia) Yanming Shen, shen@dlut.edu.cn (Dalian University of Technology) Tie-Yan Liu, tyliu@microsoft.com (Microsoft Research Asia) Die Autoren: Chengxuan Ying, yingchengsyuan@gmail.com (Dalian University of Technology) Tianle Cai, tianle.cai@princeton.edu (Princeton Universität) Shengjie Luo, luosj@stu.pku.edu.cn (Peking Universität) Shuxin Zheng, shuz@microsoft.com (Microsoft Research Asia) Guolin Ke, guoke@microsoft.com (Microsoft Research Asia) Di He, dihe@microsoft.com (Microsoft Research Asia) Yanming Shen, shen@dlut.edu.cn (Dalian University of Technology) Tie-Yan Liu, tyliu@microsoft.com (Microsoft Forschung Asien) Abstrakte Die Transformer-Architektur ist in vielen Bereichen wie der Verarbeitung natürlicher Sprachen und der Computerversion zu einer dominanten Wahl geworden. Dennoch hat sie keine wettbewerbsfähige Leistung auf beliebten Leaderboards der Grafenvorhersage im Vergleich zu den gängigen GNN-Varianten erreicht. Daher bleibt es ein Rätsel, wie Transformers gut für das Lernen der Grafendarstellung funktionieren könnten. In diesem Papier lösen wir dieses Rätsel, indem wir Graphormer präsentieren, der auf der Standard-Transformer-Architektur basiert, und könnten hervorragende Ergebnisse auf einer breiten Palette von Grafendarstellungs-Lernaufgaben erzielen, insbesondere auf der jüngsten OGB Large-Scale Challenge. Unser Schlüsselwissen über die Verwendung von Transform . https://github.com/Microsoft/Graphormer 1 Einführung Der Transformator [ ist als das mächtigste neuronale Netzwerk bei der Modellierung sequentieller Daten, wie z. B. der natürlichen Sprache, bekannt. , der , der und die Rede [ ]. Modellvarianten, die auf Transformer gebaut wurden, haben auch eine hervorragende Leistung in der Computervision gezeigt [ , der Die Programmiersprache [ , der , der ]. Jedoch ist Transformer nach unserem besten Wissen immer noch nicht der De-facto-Standard auf öffentlichen Grafik-Repräsentation-Leaderboards [ , der , der ]. Es gibt viele Versuche, Transformer in die Graph-Domain zu nutzen, aber die einzige effektive Möglichkeit besteht darin, einige Schlüsselmodule (z. B. Feature Aggregation) in klassischen GNN-Varianten durch die Softmax-Aufmerksamkeit zu ersetzen. , der , der , der , der , der , der Daher ist es immer noch eine offene Frage, ob die Transformer-Architektur für die Modellierung von Grafiken geeignet ist und wie sie im Graph-Repräsentations-Lernen funktionieren kann. 49 11 35 6 17 12 36 19 63 44 22 14 21 50 7 23 51 61 46 13 In diesem Papier geben wir eine bekräftige Antwort, indem wir Graphormer entwickeln, der direkt auf dem Standard-Transformer basiert und state-of-the-art-Leistung auf einer breiten Palette von Grafik-Ebene-Vorhersageaufgaben erreicht, einschließlich der jüngsten Open Graph Benchmark Large-Scale Challenge (OGB-LSC) [ ], und mehrere beliebte Leaderboards (z. B. OGB [ ], Benchmarking GNN [ Um seine Kraft in Grafiken zu nutzen, glauben wir, dass der Schlüssel darin besteht, die strukturellen Informationen der Grafiken ordnungsgemäß in das Modell zu integrieren. Selbstaufmerksamkeit berechnet nur die semantische Ähnlichkeit zwischen und andere Knoten, ohne die strukturellen Informationen eines Grafik reflektiert auf den Knoten und die Beziehung zwischen Knotenpaaren zu berücksichtigen.Graphormer integriert mehrere effektive strukturelle Codierungsmethoden, um solche Informationen zu nutzen, die unten beschrieben sind. 21 22 14 i i Zunächst schlagen wir a in Graphormer, um die Bedeutung des Knoten im Diagramm zu erfassen. In einem Diagramm können verschiedene Knoten unterschiedliche Bedeutung haben, z. B. werden Prominente als einflussreicher betrachtet als die Mehrheit der Webbenutzer in einem sozialen Netzwerk. Jedoch werden solche Informationen nicht im Selbstbeachtungsmodul reflektiert, da es die Ähnlichkeiten hauptsächlich mithilfe der node-semantischen Merkmale berechnet. Um das Problem zu lösen, schlagen wir vor, die Knotenzentralität in Graphormer zu kodieren. für die Zentralitätscodierung, bei der jedem Knoten je nach seinem Grad ein lernbarer Vektor zugeordnet und den Knotenmerkmalen in der Eingabeschicht hinzugefügt wird. Zentralisierte Codierung Grad der Zentralisierung Zweitens schlagen wir einen Roman vor. in Graphormer, um die strukturelle Beziehung zwischen Knoten zu erfassen. Eine bemerkenswerte geometrische Eigenschaft, die graf-strukturierte Daten von anderen strukturierten Daten unterscheidet, z. B. Sprache, Bilder, ist, dass es kein kanonisches Gitter gibt, um das Graph zu integrieren. In der Tat können Knoten nur in einem nicht-Euclid-Raum liegen und sind durch Kanten verbunden. Um solche strukturellen Informationen zu modellieren, für jedes Node-Paar, geben wir ein lernbares Einbinden basierend auf ihrer räumlichen Beziehung. Mehrere Messungen in der Literatur könnten für die Modellierung von räumlichen Beziehungen verwendet werden. Zu einem allgemeinen Zweck verwenden wir die Entfernung des kürzesten Weges zwischen zwei Knoten als Demonstration, die als Weltraumkodierung Mit den oben vorgeschlagenen Codierungen zeigen wir weiterhin mathematisch, dass Graphormer eine starke Ausdrucksfähigkeit hat, da viele beliebte GNN-Varianten nur seine besonderen Fälle sind.Die große Kapazität des Modells führt zu modernster Leistung bei einer Vielzahl von Aufgaben in der Praxis. Die Open Graph Benchmark Large-Scale Challenge (OGB-LSC) ], Graphormer übertrifft die meisten Mainstream-GNN-Varianten um mehr als 10% Punkte in Bezug auf den relativen Fehler. , der Graphormer übertrifft auch die bisher besten Ergebnisse und demonstriert das Potenzial und die Anpassungsfähigkeit der Transformer-Architektur. 3 21 22 14 2 Vorläufige In diesem Abschnitt werden wir die Vorbereitungen in Graph Neural Networks und Transformer zusammenfassen. Lassen Sie G = (V, E) ein Diagramm bezeichnen, in dem V = {v1, v2, · · · , vn}, n = ÁthaV ist die Anzahl der Knoten. Lassen Sie den Feature-Vektor des Knoten vi xi sein. GNNs zielen darauf ab, die Darstellung von Knoten und Grafiken zu lernen. Typischerweise folgen moderne GNNs einem Lernschema, das die Darstellung eines Knoten iterativ aktualisiert, indem sie Darstellungen seiner ersten oder höheren Nachbarn aggregiert. Wir bezeichnen h (l) i als die Darstellung von vi in der l-th-Schicht und definieren h (0) i = xi. Die l-th-Iteration der Aggregation könnte durch den AGGREGATE-COMBINE-Schritt als Graph Neural Network (GNN). wo N (vi) der Satz der ersten oder höheren Ordnung Nachbarn von vi ist. Die AGGREGATE-Funktion wird verwendet, um die Informationen von Nachbarn zu sammeln. Gemeinsame Aggregationsfunktionen umfassen MEAN, MAX, SUM, die in verschiedenen Architekturen von GNNs verwendet werden [26, 18, 50, 54]. Das Ziel der COMBINE-Funktion ist es, die Informationen von Nachbarn in die Knotenrepräsentation zu verschmelzen. Darüber hinaus ist für Grafikdarstellungsaufgaben eine READOUT-Funktion entworfen, um Knotenmerkmale h (L) i der endgültigen Iteration in die Darstellung hG des gesamten G-Grafiks zu aggregieren: READOUT kann durch eine einfache Permutation-Invariante-Funktion wie Summation [54] oder eine anspruchsvollere Graph-Level-Pooling-Funktion [1] implementiert werden. Die Transformer-Architektur besteht aus einer Zusammensetzung von Transformer-Schiffen [49]. Jede Transformer-Schicht hat zwei Teile: ein Selbst-Aufmerksamkeitsmodul und ein Position-feed-forward-Netzwerk (FFN). Lassen Sie H = h > 1, · · , h> n > ∈ R n×d den Eingang des Selbst-Aufmerksamkeitsmoduls bezeichnen, wo d die versteckte Dimension ist und hi ∈ R 1×d die versteckte Darstellung an der Position i. Der Eingang H wird durch drei Matrizen WQ ∈ R d×dK , WK ∈ R d×dK und WV ∈ R d×dV zu den entsprechenden Darstellungen Q, K, V. Die Selbst-Aufmerksamkeit wird dann wie folgt Transformer wo ist eine Matrix, die die Ähnlichkeit zwischen Abfragen und Schlüsseln erfasst. Für die Einfachheit der Illustration betrachten wir die Einzelkopf-Selbstaufmerksamkeit und nehmen an = der = der Die Erweiterung der Mehrkopf-Aufmerksamkeit ist standardmäßig und einfach, und wir überspringen Vorurteile für Einfachheit. A dk Dv d 3 Graphik In diesem Abschnitt präsentieren wir unseren Graphormer für Graphormer-Aufgaben. Zuerst erarbeiten wir mehrere Schlüsseldesigns im Graphormer, die als induktive Vorurteile im neuronalen Netzwerk dienen, um die Graphormer-Repräsentation zu erlernen. Wir liefern weiter die detaillierten Implementierungen von Graphormer. Schließlich zeigen wir, dass unser vorgeschlagener Graphormer seit den beliebten GNN-Modellen leistungsfähiger ist. , der , der ] are its special cases. 26 54 18 3.1 Strukturelle Codierungen in Graphormer Wie in der Einführung diskutiert, ist es wichtig, Wege zu entwickeln, um die strukturellen Informationen von Grafen in das Transformator-Modell zu nutzen. Zu diesem Zweck präsentieren wir drei einfache, aber effektive Entwürfe der Codierung in Graphormer. Für eine Illustration. 1 3.1 Zentralisierte Codierung in die Aufmerksamkeitsverteilung wird basierend auf der semantischen Korrelation zwischen Knoten berechnet. Jedoch ist die Knotenzentralität, die misst, wie wichtig ein Knoten im Diagramm ist, in der Regel ein starkes Signal für das Verständnis von Grafiken. Zum Beispiel sind Prominente, die eine große Anzahl von Follower haben, wichtige Faktoren bei der Vorhersage des Trends eines sozialen Netzwerks. , Solche Informationen werden bei der aktuellen Aufmerksamkeitsberechnung vernachlässigt, und wir glauben, dass sie ein wertvolles Signal für Transformer-Modelle sein sollten. EQ 4 , 40 39 In Graphormer verwenden wir die Gradzentralität, die eine der Standardzentralitätsmaßnahmen in der Literatur ist, als zusätzliches Signal für das neuronale Netzwerk. die jedem Knoten zwei realwerte Einbettungsvektoren entsprechend seinem Indegree und Outdegree zuzuordnen.Da die Zentralitätscodierung auf jeden Knoten angewendet wird, fügen wir sie einfach den Knotenmerkmalen als Eingabe hinzu. Zentralisierte Codierung wo z −, z+ ∈ R d erlernbare Einbettungsvektoren sind, die durch die indegree deg−(vi) und outdegree deg+(vi) spezifiziert werden. Für unrichtete Grafiken könnten deg−(vi) und deg+(vi) zu deg(vi) vereinigt werden. Durch die Verwendung der Zentralitätscodierung in der Eingabe kann die softmax-Aufmerksamkeit das Knotenimportansignal in den Abfragen und den Schlüsseln erfassen. 1.2 Weltraumkodierung Ein Vorteil von Transformer ist sein globales empfängliches Feld. In jeder Transformer-Schicht kann jedes Token auf die Informationen in jeder Position zugreifen und dann seine Darstellung verarbeiten. Aber diese Operation hat ein Nebenprodukt-Problem, dass das Modell explizit verschiedene Positionen angeben oder die Positionsabhängigkeit (wie Lokalität) in den Schichten kodieren muss. ]) als Eingabe oder Codierung der relativen Entfernung von zwei Positionen (d.h. relative Positionskodierung) In der Transformerschicht. 49 [45] Die Die 47) Für Grafen sind Knoten jedoch nicht als Sequenz angeordnet. Sie können in einem mehrdimensionalen Raumraum liegen und sind durch Kanten verbunden. Um die strukturellen Informationen eines Grafs im Modell zu kodieren, schlagen wir eine neue Raumkodierung vor. Konkret betrachten wir für jedes G-Graph eine Funktion φ (vi , vj ) : V × V → R, die die räumliche Beziehung zwischen vi und vj im G-Graph misst. Die Funktion φ kann durch die Verbindungsfähigkeit zwischen den Knoten im Graf definiert werden. In diesem Papier wählen wir φ(vi , vj ) als die Entfernung des kürzesten Pfades (SPD) zwischen vi und vj, wenn die beiden Knoten miteinander verbunden sind. Wenn nicht, setzen wir die Ausgabe von φ als einen speziellen Wert ein, d. h. wo ( ) ist ein lernbarer Skalar, der durch ( ) und auf allen Ebenen geteilt. bf VJ und VJ φ Sie, VJ Erstens können wir im Vergleich zu herkömmlichen GNNs, die in Abschnitt 2 beschrieben sind, wo das empfängliche Feld auf die Nachbarn beschränkt ist, das in Eq sehen. , die Transformerschicht liefert eine globale Information, dass jeder Knoten auf alle anderen Knoten im Diagramm zugreifen kann. ( ), each node in a single Transformer layer can adaptively attend to all other nodes according to the graph structural information. For example, if ( ) ist (6) der bf VJ und VJ bf VJ und VJ eine abnehmende Funktion in Bezug auf die ( Für jeden Knoten wird das Modell wahrscheinlich mehr Aufmerksamkeit auf die Knoten in seiner Nähe schenken und weniger Aufmerksamkeit auf die Knoten weit von ihm entfernt schenken. φ Sie, VJ 3.1.3 Edge Coding in der Aufmerksamkeit In vielen Graph-Aufgaben haben Kanten auch strukturelle Merkmale, z.B. in einem molekularen Graph können Atompaare Merkmale haben, die die Art der Bindung zwischen ihnen beschreiben. Solche Merkmale sind für die Graph-Repräsentation wichtig, und die Codierung zusammen mit Knotenmerkmalen in das Netzwerk ist unerlässlich. Es gibt hauptsächlich zwei Kanten-Codierungsmethoden, die in früheren Arbeiten verwendet werden. , der ]. In der zweiten Methode werden für jeden Knoten die Merkmale seiner assoziierten Kanten zusammen mit den Knotenmerkmalen in der Aggregation verwendet [ , der , der Jedoch verbreiten solche Methoden der Verwendung von Edge-Funktion nur die Edge-Informationen an die damit verbundenen Knoten, was möglicherweise kein wirksamer Weg ist, um Edge-Informationen bei der Darstellung des gesamten Diagramms zu nutzen. 22 30 15 54 26 Für eine bessere Codierung von Kantenfunktionen in die Aufmerksamkeitsschichten schlagen wir eine neue Kantenkodierungsmethode in Graphormer vor. ), und wir glauben, dass die Kanten, die sie verbinden, in der Korrelation wie in [ , Für jedes bestellte Node-Paar ( Wir finden (einen der) kürzesten Pfade SP = die ( 1* und , ..., eN* ) von Zwei , und berechnen Sie einen Durchschnitt der Punktprodukte der Edge-Funktion und eine lehrbare Einbettung entlang des Pfades. Die vorgeschlagene Edge-Codierung integriert Edge-Funktionen über einen Bias-Begriff in das Aufmerksamkeitsmodul. (Elemente des in der EQ. Weiter mit der Edge-Codierung als : Sie, VJ 34 51 Sie, VJ IJ e 2 VI VJ I, J A (3) der Das CIE wo xen das Merkmal des n-th edge en in SPij ist, w E n ∈ R dE ist das n-th Gewicht eingebettet, und dE ist die Dimensionalität des Edge-Features. 3.2 Implementierungsdetails von Graphormer Graphormer basiert auf der ursprünglichen Implementierung des klassischen Transformer-Coders, der in [ Darüber hinaus wenden wir die Schichtnormalisierung (LN) vor der Multi-Head Self-Attention (MHA) und den feed-forward Blöcken (FFN) anstelle nach [ ]. Diese Änderung wurde von allen aktuellen Transformer-Implementierungen einstimmig angenommen, da sie zu einer effizienteren Optimierung führt [ ]. Insbesondere für die FFN-Unterschicht setzen wir die Dimensionalität von Eingang, Ausgang und innerer Schicht auf die gleiche Dimension mit Wir charakterisieren formell die Graphormer-Schicht wie unten: Graphormer Layer. 49 53 43 d Wie im vorherigen Abschnitt erwähnt, werden verschiedene Graph-Pooling-Funktionen vorgeschlagen, um das Graph-Embedding darzustellen. ], in Graphormer, fügen wir einen speziellen Knoten namens [VNode] zum Diagramm hinzu und verbinden [VNode] mit jedem einzelnen Knoten. In dem Schritt AGGREGATE-COMBINE wurde die Darstellung von [VNode] als normale Knoten im Diagramm aktualisiert und die Darstellung des gesamten Diagramms Es wäre das Node-Feature von [VNode] in der letzten Schicht. , der ], es gibt ein ähnliches Token, dh [CLS], das ist ein spezielles Token am Anfang jeder Sequenz angebracht, um das Sequenz-Ebene-Feature auf Downstream-Aufgaben darzustellen. (von der WM) ) und ( [VNode]), the connection is not physical. To distinguish the connection of physical and virtual, inspired by [ Wir stellen alle räumlichen Codierungen für (von der WM) ) und ( zu einem unterschiedlich erlernbaren Skalar. Special Node. 15 hg 11 35 φ und VJ φ Wir haben, 25 bf und VJ bf Wir haben, 3.3 Wie kraftvoll ist Graphormer? In den vorherigen Unterabschnitten stellen wir drei strukturelle Codierungen und die Architektur von Graphormer vor. In diesem Unterabschnitt geben wir zunächst eine bekräftige Antwort, indem wir zeigen, dass Graphormer die AGGREGATE- und COMBINE-Schritte in beliebten GNN-Modellen darstellen kann: Machen diese Modifikationen Graphormer leistungsfähiger als andere GNN-Varianten? Fact 1. Durch die Wahl der richtigen Gewichte und Entfernungsfunktion φ kann die Graphormer-Schicht die AGGREGATE- und COMBINE-Schritte beliebter GNN-Modelle wie GIN, GCN, GraphSAGE darstellen. Der Beweisskizze, um dieses Ergebnis abzuleiten, ist: 1) Die räumliche Codierung ermöglicht es dem Selbst-Aufmerksamkeitsmodul, Nachbar-Set N (vi) von Node vi zu unterscheiden, so dass die Softmax-Funktion die Durchschnittsstatistiken über N (vi) berechnen kann; 2) Das Wissen über den Grad eines Knoten kann durchschnittlich über Nachbarn in Summe über Nachbarn übersetzt werden; 3) Mit mehreren Köpfen und FFN können Repräsentationen von vi und N (vi) separat verarbeitet und später zusammen kombiniert werden. Darüber hinaus zeigen wir weiter, dass Graphormer durch die Verwendung unserer räumlichen Codierung über die klassische Nachricht GNNs hinausgehen kann, deren Ausdrucksstärke nicht mehr ist als der 1-Weisfeiler-Lehman (WL) -Test. Neben der überlegenen Ausdrucksfähigkeit als beliebte GNNs finden wir auch eine interessante Verbindung zwischen der Verwendung von Selbstaufmerksamkeit und der virtuellen Knotenheuristik. , der , , der ]. Wie in der Leaderboard von OGB gezeigt [ ], der virtuelle Knotentrick, der Grafiken mit zusätzlichen Supernoden vergrößert, die mit allen Knoten in den ursprünglichen Grafiken verbunden sind, kann die Leistung bestehender GNNs signifikant verbessern. (wie die READOUT-Funktion) und dann verbreiten Sie es auf Eine naive Hinzufügung eines Supernodes zu einem Graph kann jedoch möglicherweise zu einer unbeabsichtigten Überglättung der Informationsverbreitung führen. ]. Wir finden stattdessen, dass eine solche Aggregations- und Vermehrungsoperation auf Grafikebene durch Vanille-Selbstaufmerksamkeit ohne zusätzliche Codierungen natürlich erfüllt werden kann. Connection between Self-attention and Virtual Node. 15 31 24 22 22 Das gesamte Graph Jeder Knoten 24 Fact 2. Durch die Auswahl der richtigen Gewichte kann jede Node-Repräsentation der Ausgabe einer Graphormer-Schicht ohne zusätzliche Codierungen MEAN READOUT-Funktionen darstellen. Diese Tatsache nimmt den Vorteil der Selbstaufmerksamkeit, dass jeder Knoten auf alle anderen Knoten zugreifen kann. So kann es die READOUT-Operation auf Grafikebene simulieren, um Informationen aus dem gesamten Grafik zu aggregieren. Neben der theoretischen Rechtfertigung finden wir empirisch, dass Graphormer nicht mit dem Problem der Überglattung konfrontiert ist, was die Verbesserung skalierbar macht. 4 Experimente Wir führen zuerst Experimente auf dem jüngsten OGB-LSC durch [ ] Quantenchemie Regression (d.h. PCQM4M-LSC) Herausforderung, die derzeit der größte Datensatz für die Vorhersage auf Grafikebene ist und insgesamt mehr als 3.8M-Grafiken enthält. ] und Benchmarking-GNN [ ] Leaderboards. Schließlich schließen wir die wichtigen Designelemente von Graphormer ab. Eine detaillierte Beschreibung der Datensätze und Trainingsstrategien finden Sie in Anhang B. 21 22 14 4.1 OGB Large-Scale Challenge We benchmark the proposed Graphormer with GCN [ Und die Gins [ ], and their variants with virtual node (-VN) [ ]. They achieve the state-of-the-art valid and test mean absolute error (MAE) on the official leaderboard [ ].Darüber hinaus vergleichen wir mit der Multi-Hop-Variante von GIN [ ], and 12-layer deep graph network DeeperGCN [ ], which also show promising performance on other leaderboards. We further compare our Graphormer with the recent Transformer-based graph model GT Baselines. 26 54 15 4 21 5 30 [ 13 ] We primarily report results on two model sizes: ( = 12*, d* = 768), and a smaller one ( = 6*, d* = 512). Both the number of attention heads in the attention module and the dimensionality of edge features are set to 32. We use AdamW as the optimizer, and set the hyper-parameter to 1e-8 and ( 1*, β*2) to (0.99,0.999). The peak learning rate is set to 2e-4 (3e-4 for ) with a 60k-step warm-up stage followed by a linear decay learning rate scheduler. The total training steps are 1M. The batch size is set to 1024. All models are trained on 8 NVIDIA V100 GPUS for about 2 days. Settings. Graphormer L GraphormerSMALL L dE ϵ β GraphormerSMALL Table summarizes performance comparisons on PCQM4M-LSC dataset. From the table, GIN-VN achieves the previous state-of-the-art validate MAE of 0.1395. The original implementation of GT [ ] employs a hidden dimension of 64 to reduce the total number of parameters. For a fair comparison, we also report the result by enlarging the hidden dimension to 768, denoted by GT-Wide, which leads to a total number of parameters of 83.2M. While, both GT and GT-Wide do not outperform GIN-VN and DeeperGCN-VN. Especially, we do not observe a performance gain along with the growth of parameters of GT. Results. 1 13 Im Vergleich zur vorherigen state-of-the-art GNN-Architektur übertrifft Graphormer GIN-VN bemerkenswert mit einer großen Marge, z.B. 11.5% relativ validierte MAE-Abnahme. ], we got a 0.1200 MAE on complete test set and won the first place of the graph-level track in OGB Large-Scale Challenge[ , Wie im Abschnitt erwähnt we further find that the proposed Graphormer does not encounter the problem of over-smoothing, i.e., the train and validate error keep going down along with the growth of depth and width of models. 55 21 58 3.3, 4.2 Graph Representation In diesem Abschnitt untersuchen wir weiter die Leistung von Graphormer bei häufig verwendeten Grafik-Ebene-Vorhersageaufgaben von beliebten Leaderboards, d.h. OGB [ ] (OGBG-MolPCBA, OGBG-MolHIV), and benchmarking-GNN [ ] (ZINC). Since pre-training is encouraged by OGB, we mainly explore the transferable capability of a Graphormer model pre-trained on OGB-LSC (i.e., PCQM4M-LSC). Please note that the model configurations, hyper-parameters, and the pre-training performance of pre-trained Graphormers used for MolPCBA and MolHIV are different from the models used in the previous subsection. Please refer to Appendix B for detailed descriptions. For benchmarking-GNN, which does not encourage large pre-trained model, we train an additional GraphormerSLIM ( = 12*, d* = 80, Gesamtparameter = 489 ) von Grund auf auf Zink. 22 14 L K We report performance of GNNs which achieve top-performance on the official leader-boards In Anbetracht der Tatsache, dass der vorbereitete Graphormer externe Daten nutzt, berichten wir für einen fairen Vergleich über OGB-Datenreihen zusätzlich über die Leistung von GIN-VNs, die auf PCQM4M-LSC-Datenreihen vorbereitet wurden, die die vorherige state-of-the-art-Gültigkeit erreichen und die MAE auf diesem Datensatz testen. Baselines. 5 without additional domain-specific features We report detailed training strategies in Appendix B. In addition, Graphormer is more easily trapped in the over-fitting problem due to the large size of the model and the small size of the dataset. Therefore, we employ a widely used data augmentation for graph - FLAG [ ], to mitigate the over-fitting problem on OGB datasets. Settings. 27 Table and summarize performance of Graphormer comparing with other GNNs on MolHIV, MolPCBA and ZINC datasets. Especially, GT [ ] and SAN [ ] in Table are recently proposed Transformer-based GNN models. Graphormer consistently and significantly outperforms previous state-of-the-art GNNs on all three datasets by a large margin. Specially, except Graphormer, the other pre-trained GNNs do not achieve competitive performance, which is in line with previous literature [ ]. In addition, we conduct more comparisons to fine-tuning the pre-trained GNNs, please refer to Appendix C. Results. 2, 3 4 13 28 4 20 4.3 Ablation Studies We perform a series of ablation studies on the importance of designs in our proposed Graphormer, on PCQM4M-LSC dataset. The ablation results are included in Table To save the computation resources, the Transformer models in table Sie haben 12 Schichten und sind für 100K Iterationen ausgebildet. 5. 5 We compare previously used positional encoding (PE) to our proposed spatial encoding, which both aim to encode the information of distinct node relation to Transformers. There are various PEs employed by previous Transformer-based GNNs, e.g., Weisfeiler-Lehman-PE (WL-PE) [ ] and Laplacian PE [ , ]. Wir berichten über die Leistung für Laplacian PE, da es im Vergleich zu einer Reihe von PEs für Graph Transformer in der vorherigen Literatur gut funktioniert [ ]. Transformer architecture with the spatial encoding outperforms the counterpart built on the positional encoding, which demonstrates the effectiveness of using spatial encoding to capture the node spatial information. Node Relation Encoding. 61 3 14 13 Transformer architecture with degree-based centrality encoding yields a large margin performance boost in comparison to those without centrality information. This indicates that the centrality encoding is indispensable to Transformer architecture for modeling graph data. Centrality Encoding. We compare our proposed edge encoding (denoted as via attn bias) to two commonly used edge encodings described in Section um Edge-Funktionen in GNN zu integrieren, bezeichnet als via Node und via Aggr in Tabelle From the table, the gap of performance is minor between the two conventional methods, but our proposed edge encoding performs significantly better, which indicates that edge encoding as attention bias is more effective for Transformer to capture spatial information on edges. Edge Encoding. 3.1.3 5. 5 Verwandte Arbeiten In this section, we highlight the most recent works which attempt to develop standard Transformer architecture-based GNN or graph structural encoding, but spend less effort on elaborating the works by adapting attention mechanism to GNNs [33, 60, 7, 23, 1, 50, 51, 61, 48]. 5.1 Graph Transformer There are several works that study the performance of pure Transformer architectures (stacked by transformer layers) with modifications on graph representation tasks, which are more related to our Graphormer. For example, several parts of the transformer layer are modified in [ ], including an additional GNN employed in attention sub-layer to produce vectors of , und , long-range residual connection, and two branches of FFN to produce node and edge representations separately. They pre-train their model on 10 million unlabelled molecules and achieve excellent results by fine-tuning on downstream tasks. Attention module is modified to a soft adjacency matrix in [ ] by directly adding the adjacency matrix and RDKit -computed inter-atomic distance matrix to the attention probabilites. Very recently, Dwivedi [ ] revisit a series of works for Transformer-based GNNs, and suggest that the attention mechanism in Transformers on graph data should only aggregate the information from neighborhood (i.e., using adjacent matrix as attention mask) to ensure graph sparsity, and propose to use Laplacian eigenvector as positional encoding. Their model GT surpasses baseline GNNs on graph representation task. A concurrent work [ ] propose a novel full Laplacian spectrum to learn the position of each node in a graph, and empirically shows better results than GT. 46 Q K V 41 6 et al. 13 28 5.2 Structural Encodings in GNNs Informationen über Weg und Entfernung werden häufig in GNNs verwendet. Zum Beispiel wird eine aufmerksamkeitsbasierte Aggregation in [ ] where the node features, edge features, one-hot feature of the distance and ring flag feature are concatenated to calculate the attention probabilites; similar to path-based attention is leveraged in to model the influence between the center node and its higher-order neighbors; a distance-weighted aggregation scheme on graph is proposed in [ ]; it has been proved in [ ] that adopting distance encoding (i.e., one-hot feature of the distance as extra node attribute) could lead to a strictly more expressive power than the 1-WL test. Path and Distance in GNNs. 9 [9 ] , [56] 59 32 Several works introduce positional encoding (PE) to Transformer-based GNNs to help the model capture the node position information. For example, Graph-BERT [ ] führt drei Arten von PE ein, um die Node-Positionsinformationen in das Modell einzubeziehen, d.h. eine absolute WL-PE, die verschiedene Knoten repräsentiert, die durch den Weisfeiler-Lehman-Algorithmus gekennzeichnet sind, eine intimacy-basierte PE und eine hop-basierte PE, die beide Varianten der samplten Subgrafen sind. ] and empircal study shows that its performance surpasses the absolute WL-PE used in Positional Encoding in Transformer on Graph. 61 13 [61] Die Except the conventionally used methods to encode edge feature, which are described in previous section, there are several attempts that exploit how to better encode edge features: an attention-based GNN layer is developed in [ ] to encode edge features, where the edge feature is weighted by the similarity of the features of its two nodes; edge feature has been encoded into the popular GIN [ ] in [ ]; in [ ], the authors propose to project edge features to an embedding vector, then multiply it by attention coefficients, and send the result to an additional FFN sub-layer to produce edge representations; Edge Feature. 16 54 5 13 6 Conclusion We have explored the direct application of Transformers to graph representation. With three novel graph structural encodings, the proposed Graphormer works surprisingly well on a wide range of popular benchmark datasets. While these initial results are encouraging, many challenges remain. For example, the quadratic complexity of the self-attention module restricts Graphormer’s application on large graphs. Therefore, future development of efficient Graphormer is necessary. Performance improvement could be expected by leveraging domain knowledge-powered encodings on particular graph datasets. Finally, an applicable graph sampling strategy is desired for node representation extraction with Graphormer. We leave them for future works. 7 Acknowledgement We would like to thank Mingqi Yang and Shanda Li for insightful discussions. References [1] Jinheon Baek, Minki Kang, and Sung Ju Hwang. Accurate learning of graph representations with graph multiset pooling. , 2021. ICLR [2] Dominique Beaini, Saro Passaro, Vincent Létourneau, William L Hamilton, Gabriele Corso, and Pietro Liò. Directional graph networks. In , 2021. International Conference on Machine Learning [3] Mikhail Belkin and Partha Niyogi. Laplacian eigenmaps for dimensionality reduction and data representa-tion. , 15(6):1373–1396, 2003. Neural computation [4] Xavier Bresson and Thomas Laurent. Residual gated graph convnets. , 2017. arXiv preprint arXiv:1711.07553 [5] Rémy Brossard, Oriel Frigo, and David Dehaene. Graph convolutions that can finally model local structure. Und das 2020. arXiv Preprint arXiv:2011.15069 [6] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever und Dario Amodei. Sprachmodelle sind nur wenige Lernende. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan und H. Lin , volume 33, pages 1877–1901. Curran Associates, Inc., 2020. Fortschritte in neuronalen Informationssystemen [7] Deng Cai und Wai Lam. Graph-Transformator für Graph-to-Sequence-Lernen. , volume 34, pages 7464–7471, 2020. Proceedings of the AAAI Conference on Artificial Intelligence [8] Tianle Cai, Shengjie Luo, Keyulu Xu, Di He, Tie-yan Liu, and Liwei Wang. Graphnorm: A principled approach to accelerating graph neural network training. In Und 2021. International Conference on Machine Learning [9] Benson Chen, Regina Barzilay, and Tommi Jaakkola. Path-augmented graph transformer network. Das Jahr 2019. arXiv Preprint arXiv:1905.12712 [10] Gabriele Corso, Luca Cavalleri, Dominique Beaini, Pietro Liò, and Petar Velicˇkovic´. Principal neighbour-hood aggregation for graph nets. , 33, 2020. Fortschritte in neuronalen Informationssystemen [11] Jacob Devlin, Ming-Wei Chang, Kenton Lee und Kristina Toutanova. Bert: Vor-Training von tiefen bidi-rectionalen Transformatoren für das Sprachverständnis. , Seiten 4171–4186, 2019. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) [12] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth 16x16 words: Transformers for image recognition at scale. , 2020. arXiv preprint arXiv:2010.11929 [13] Vijay Prakash Dwivedi und Xavier Bresson. Eine Verallgemeinerung von Transformernetzwerken zu Grafiken. , 2021. AAAI Workshop zum Deep Learning on Graphs: Methoden und Anwendungen [14] Vijay Prakash Dwivedi, Chaitanya K Joshi, Thomas Laurent, Yoshua Bengio und Xavier Bresson. Und das 2020. arXiv preprint arXiv:2003.00982 [15] Justin Gilmer, Samuel S. Schoenholz, Patrick F. Riley, Oriol Vinyals und George E. Dahl. Neurale Botschaft für die Quantenchemie. , Seiten 1263–1272. PMLR, 2017 International Conference on Machine Learning [16] Liyu Gong und Qiang Cheng. Ausnutzung von Edge-Funktionen für grafische neuronale Netzwerke. , pages 9211–9219, 2019. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition [17] Anmol Gulati, James Qin, Chung-Cheng Chiu, Niki Parmar, Yu Zhang, Jiahui Yu, Wei Han, Shibo Wang, Zhengdong Zhang, Yonghui Wu, et al. Conformer: Convolution-augmented transformer for speech recognition. , 2020. arXiv preprint arXiv:2005.08100 [18] William L Hamilton, Zhitao Ying, and Jure Leskovec. Inductive representation learning on large graphs. In , 2017. NIPS [19] Vincent J Hellendoorn, Charles Sutton, Rishabh Singh, Petros Maniatis, and David Bieber. Global relational models of source code. In , 2019. International conference on learning representations [20] W Hu, B Liu, J Gomes, M Zitnik, P Liang, V Pande, and J Leskovec. Strategies for pre-training graph neural networks. In Und das 2020. International Conference on Learning Representations (ICLR) [21] Weihua Hu, Matthias Fey, Hongyu Ren, Maho Nakata, Yuxiao Dong, and Jure Leskovec. Ogb-lsc: A large-scale challenge for machine learning on graphs. , 2021. arXiv preprint arXiv:2103.09430 [22] Weihua Hu, Matthias Fey, Marinka Zitnik, Yuxiao Dong, Hongyu Ren, Bowen Liu, Michele Catasta, and Jure Leskovec. Open graph benchmark: Datasets for machine learning on graphs. Und das 2020. arXiv preprint arXiv:2005.00687 [23] Ziniu Hu, Yuxiao Dong, Kuansan Wang, and Yizhou Sun. Heterogeneous graph transformer. In , pages 2704–2710, 2020. Proceedings of The Web Conference 2020 [24] Katsuhiko Ishiguro, Shin-ichi Maeda, and Masanori Koyama. Graph warp module: an auxiliary module for boosting the power of graph neural networks in molecular graph analysis. , 2019. arXiv preprint arXiv:1902.01020 [25] Guolin Ke, Di He, and Tie-Yan Liu. Rethinking the positional encoding in language pre-training. , 2020. ICLR [26] Thomas N. Kipf und Max Welling: Semi-Supervised Classification with graph convolutional networks. , 2016. arXiv preprint arXiv:1609.02907 [27] Kezhi Kong, Guohao Li, Mucong Ding, Zuxuan Wu, Chen Zhu, Bernard Ghanem, Gavin Taylor, and Tom Goldstein. Flag: Adversarial data augmentation for graph neural networks. , 2020. arXiv preprint arXiv:2010.09891 [28] Devin Kreuzer, Dominique Beaini, William Hamilton, Vincent Létourneau, and Prudencio Tossou. Re-thinking graph transformers with spectral attention. , 2021. arXiv preprint arXiv:2106.03893 [29] Tuan Le, Marco Bertolini, Frank Noé, and Djork-Arné Clevert. Parameterized hypercomplex graph neural networks for graph classification. , 2021. arXiv preprint arXiv:2103.16584 [30] Guohao Li, Chenxin Xiong, Ali Thabet, and Bernard Ghanem. Deepergcn: All you need to train deeper gcns. , 2020. arXiv preprint arXiv:2006.07739 [31] Junying Li, Deng Cai und Xiaofei He. Lernen Grafen-Level-Repräsentation für Drogenentdeckung. , 2017. arXiv Preprint arXiv:1709.03741 [32] Pan Li, Yanbang Wang, Hongwei Wang, and Jure Leskovec. Distance encoding: Design provably more powerful neural networks for graph representation learning. 33 und 2020. Advances in Neural Information Processing Systems [33] Yuan Li, Xiaodan Liang, Zhiting Hu, Yinbo Chen, and Eric P. Xing. Graph transformer, 2019. [34] Xi Victoria Lin, Richard Socher, and Caiming Xiong. Multi-hop knowledge graph reasoning with reward shaping. , 2018. arXiv preprint arXiv:1808.10568 [35] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. , 2019. arXiv preprint arXiv:1907.11692 [36] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, and Baining Guo. Swin transformer: Hierarchical vision transformer using shifted windows. , 2021. arXiv preprint arXiv:2103.14030 [37] Shengjie Luo, Shanda Li, Tianle Cai, Di He, Dinglan Peng, Shuxin Zheng, Guolin Ke, Liwei Wang, and Tie-Yan Liu. Stable, fast and accurate: Kernelized attention with relative positional encoding. , 2021. NeurIPS [38] Haggai Maron, Heli Ben-Hamu, Hadar Serviansky, and Yaron Lipman. Provably powerful graph networks. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, , volume 32. Curran Associates, Inc., 2019. Advances in Neural Information Processing Systems [39] P David Marshall. The promotion and presentation of the self: celebrity as marker of presentational media. , 1(1):35–48, 2010. Celebrity studies [40] Alice Marwick and Danah Boyd. To see and be seen: Celebrity practice on twitter. , 17(2):139–158, 2011. Convergence [41] Łukasz Maziarka, Tomasz Danel, Sławomir Mucha, Krzysztof Rataj, Jacek Tabor, and Stanisław Jastrze˛bski. Molecule attention transformer. , 2020. arXiv preprint arXiv:2002.08264 [42] Maho Nakata and Tomomi Shimazaki. Pubchemqc project: a large-scale first-principles electronic structure database for data-driven chemistry. , 57(6):1300–1308, 2017. Journal of chemical information and modeling [43] Sharan Narang, Hyung Won Chung, Yi Tay, William Fedus, Thibault Fevry, Michael Matena, Karishma Malkan, Noah Fiedel, Noam Shazeer, Zhenzhong Lan, et al. Do transformer modifications transfer across implementations and applications? , 2021. arXiv preprint arXiv:2102.11972 [44] Dinglan Peng, Shuxin Zheng, Yatao Li, Guolin Ke, Di He, and Tie-Yan Liu. How could neural networks understand programs? In . PMLR, 2021. International Conference on Machine Learning [45] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. , 21(140):1–67, 2020. Journal of Machine Learning Research Yu Rong, Yatao Bian, Tingyang Xu, Weiyang Xie, Ying Wei, Wenbing Huang und Junzhou Huang. , 33, 2020. Advances in Neural Information Processing Systems [47] Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. Self-attention with relative position representations. In , pages 464–468, 2018. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers) [48] Yunsheng Shi, Zhengjie Huang, Wenjin Wang, Hui Zhong, Shikun Feng und Yu Sun. Maskierte Etikettenvorhersage: Einheitliches Nachrichtenübergangsmodell für halbüberwachte Klassifizierung. , 2020. arXiv Preprint arXiv:2009.03509 [49] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In ... 2017 NIPS [50] Petar Velicˇkovic´, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. Graph attention networks. , 2018. ICLR [51] Guangtao Wang, Rex Ying, Jing Huang, and Jure Leskovec. Direct multi-hop attention based graph neural network. , 2020. arXiv preprint arXiv:2009.14332 [52] Sinong Wang, Belinda Li, Madian Khabsa, Han Fang, and Hao Ma. Linformer: Self-attention with linear complexity. , 2020. arXiv Preprint arXiv:2006.04768 [53] Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei Wang, and Tieyan Liu. On layer normalization in the transformer architecture. In , pages 10524–10533. PMLR, 2020. International Conference on Machine Learning [54] Keyulu Xu, Weihua Hu, Jure Leskovec und Stefanie Jegelka. Wie mächtig sind grafische neuronale Netzwerke? , 2019. International Conference on Learning Representations [55] Mingqi Yang, Yanming Shen, Heng Qi, and Baocai Yin. Breaking the expressive bottlenecks of graph neural networks. , 2020. arXiv preprint arXiv:2012.07219 [56] Yiding Yang, Xinchao Wang, Mingli Song, Junsong Yuan, and Dacheng Tao. Spagan: Shortest path graph attention network. , 2019. Advances in IJCAI [57] Chengxuan Ying, Guolin Ke, Di He, and Tie-Yan Liu. Lazyformer: Self attention with lazy update. , 2021. arXiv preprint arXiv:2102.12702 [58] Chengxuan Ying, Mingqi Yang, Shuxin Zheng, Guolin Ke, Shengjie Luo, Tianle Cai, Chenglin Wu, Yuxin Wang, Yanming Shen, and Di He. First place solution of kdd cup 2021 & ogb large-scale challenge graph-level track. , 2021. arXiv preprint arXiv:2106.08279 [59] Jiaxuan You, Rex Ying, and Jure Leskovec. Position-aware graph neural networks. In , pages 7134–7143. PMLR, 2019. International Conference on Machine Learning [60] Seongjun Yun, Minbyul Jeong, Raehyun Kim, Jaewoo Kang, and Hyunwoo J Kim. Graph transformer networks. , 32, 2019. Advances in Neural Information Processing Systems [61] Jiawei Zhang, Haopeng Zhang, Congying Xia, and Li Sun. Graph-bert: Only attention is needed for learning graph representations. , 2020. arXiv preprint arXiv:2001.05140 [62] Chen Zhu, Yu Cheng, Zhe Gan, Siqi Sun, Tom Goldstein, and Jingjing Liu. Freelb: Enhanced adversarial training for natural language understanding. In , 2020. ICLR [63] Daniel Zügner, Tobias Kirschstein, Michele Catasta, Jure Leskovec, and Stephan Günnemann. Language-agnostic representation learning of source code from structure and context. In , 2020. International Conference on Learning Representations A Proofs A.1 SPD can Be Used to Improve WL-Test 1-WL-test fails in many cases [ , ], thus classic message passing GNNs also fail to distinguish many pairs of graphs. We show that SPD might help when 1-WL-test fails, for example, in Figure where 1-WL-test fails, the sets of SPD from all nodes to others successfully distinguish the two graphs. 38 32 2 A.2 Proof of Fact 1 1 We begin by showing that self-attention module with Spatial Encoding can repre-sent MEAN aggregation. This is achieved by in Eq. : 1) setting = 0 wenn = 1 and = otherwise where is the SPD; 2) setting = der = 0 und die Identitätsmatrix sein. dann softmax ( ) gives the average of representations of the neighbors. MEAN AGGREGATE. (6) bφ φ bφ −∞ φ WQ WK WV A V The SUM aggregation can be realized by first perform MEAN aggregation and then multiply the node degrees. Specifically, the node degrees can be extracted from Centrality Encoding by an additional head and be concatenated to the representations after MEAN aggregation. Then the FFN module in Graphormer can represent the function of multiplying the degree to the dimensions of averaged representations by the universal approximation theorem of FFN. SUM AGGREGATE. Die MAX-Aggregation zu repräsentieren ist schwieriger als MEAN und SUM. des Repräsentationsvektors benötigen wir einen Kopf, um den maximalen Wert über -th dimension in the neighbor by in Eq. 1) Einrichtung = 0 wenn = 1 und = otherwise where is the SPD; 2) setting = which is the -th standard basis; = 0 and the bias term (which is ignored in the previous description for simplicity) of to be und = , where is the temperature that can be chosen to be large enough so that the softmax function can approximate hard max and ist der Vektor, dessen Elemente 1 sind. MAX AGGREGATE. t t (6) bφ φ bφ −∞ φ WK et t WQ Q T 1 WV et T 1 The COMBINE step takes the result of AGGREGATE and the previous representation of current node as input. This can be achieved by the AGGREGATE operations described above together with an additional head which outputs the features of present nodes, i.e., in Eq. : 1) setting = 0 wenn = 0 and = otherwise where ist die SPD; 2) Einrichtung = der = 0 und to be the identity matrix. Then the FFN module can approximate any COMBINE function by the universal approximation theorem of FFN. COMBINE. (6) bφ φ bφ −∞ φ WQ WK WV A.3 Beweis der Tatsache 2 2 This can be proved by setting = der = 0, die Bias-Bedingungen von zu sein , and to be the identity matrix where should be much larger than the scale of So dass 2 T dominates the Spatial Encoding term. MEAN READOUT. WQ WK Q, K T 1 WV T bφ T 11 B Experiment Details B.1 Details der Datensätze We summarize the datasets used in this work in Table PCQM4m-LSC ist eine Quantenchemie-Graph-Level-Vorhersage-Aufgabe in der jüngsten OGB Large-Scale Challenge, die ursprünglich im Rahmen des PubChemQC-Projekts kuratiert wurde. ]. 6. 42 Die Aufgabe des PCQM4M-LSC besteht darin, die DFT (Dichtefunktionstheorie) - berechnete HOMO-LUMO-Energiedifferenz von Molekülen aufgrund ihrer 2D-Molekulardiagramme zu prognostizieren, die eine der praktisch relevantesten Quantenchemie-Eigenschaften der Molekularwissenschaft ist. PCQM4M-LSC ist im Vergleich zu anderen gekennzeichneten Grafik-Ebene-Vorhersage-Datensätzenellos groß, die mehr als 3.8M-Diagramme enthalten. Darüber hinaus führen wir Experimente mit zwei Molekulardiagrammen in beliebten OGB-Leaderboards durch, d. h. OGBG-MolPCBA und OGBG-MolHIV. Sie sind zwei molekulare Eig , ]. In addition, we employ another popular leaderboard, i.e., benchmarking-gnn [ ]. Wir verwenden die ZINC-Datensätze, die der beliebteste realen molekulare Datensatz sind, um die Graph-Eigenschaftsregression für die erzwungene Löslichkeit vorherzusagen, eine wichtige chemische Eigenschaft für das Entwerfen generativer GNNs für Moleküle. 21 22 14 B.2 Details of Training Strategies B.2.1 PCQM4M-LSC We report the detailed hyper-parameter settings used for training Graphormer in Table We reduce the FFN inner-layer dimension of 4 In der [ ] zu , which does not appreciably hurt the performance but significantly save the parameters. The embedding dropout ratio is set to 0.1 by default in many previous Transformer works [ , der ]. However, we empirically find that a small embedding dropout ratio (e.g., 0.1) would lead to an observable performance drop on validation set of PCQM4M-LSC. One possible reason is that the molecular graph is relative small (i.e., the median of #atoms in each molecule is about 15), making graph property more sensitive to the embeddings of each node. Therefore, we set embedding dropout ratio to 0 on this dataset. 7. d 49 d 11 35 B.2.2 OGBG MolPCBA Wir berichten zunächst über die Modellkonfigurationen und Hyperparameter des vorgefertigten Graphormer auf dem PCQM4M-LSC. Empirisch finden wir, dass die Leistung auf dem MolPCBA von der großen Vor-Training-Modellgröße profitiert. Daher trainieren wir einen Deep Graphormer mit 18 Transformerschicht auf dem PCQM4M-LSC. Die versteckte Dimension und die Dimension der inneren FFN-Schicht sind auf 1024 eingestellt. Pre-training. Graphormer. Besides, we enlarge the attention dropout ratio from 0.1 to 0.3 in both pre-training and fine-tuning to prevent the model from over-fitting. The rest of hyper-parameters remain unchanged. The pre-trained Graphormer used for MolPCBA achieves a valid MAE of 0.1253 on PCQM4M-LSC, which is slightly worse than the reports in Table 1. Table Zusammenfasst die Hyper-Parameter, die für die Fein-Tuning Graphormer auf OGBG-MolPCBA verwendet werden. Wir führen eine Gittersuche nach mehreren Hyper-Parametern durch, um die optimale Konfiguration zu finden. Die experimentellen Ergebnisse werden durch durchschnittlich 10 unabhängige Läufe mit zufälligen Samen berichtet. Wir verwenden FLAG [ ] with minor modifications for graph data augmentation. In particular, except the step size Die Anzahl der Schritte Wir verwenden auch einen Projektionsschritt in [ ] with maximum perturbation . The performance of Graphormer on MolPCBA is quite robust to the hyper-parameters of FLAG. The rest of hyper-parameters are the same with the pre-training model. Fine-tuning. 8 27 α m 62 g B.2.3 OGBG MolHIV Wir verwenden den Graphormer besonders in Tisch as the pre-trained model for OGBG-MolHIV, where the pre-training hyper-parameters are summarized in Table Pre-training. 1 7. Die Hyperparameter für Fein-Tuning Graphormer auf OGBG-MolHIV sind in Tabelle dargestellt Empirisch finden wir, dass die verschiedenen Optionen von Hyperparametern von FLAG (d.h. Schrittgröße) Anzahl der Schritte Die maximale Störung ) würde die Leistung von Graphormer auf OGBG-MolHiv erheblich beeinflussen.Daher geben wir mehr Mühe, um eine Grid-Suche nach Hyperparametern von FLAG durchzuführen.Wir berichten über die besten Hyperparameter durch durchschnittlich 10 unabhängige Läufe mit zufälligen Samen. Fine-tuning. 9. α m g B.2.4 ZINC To keep the total parameters of Graphormer less than 500K per the request from benchmarking-GNN leader-board [ ], we train a slim 12-layer Graphormer with hidden dimension of 80, which is called GraphormerSLIM in Table and has about 489K learnable parameters. The number of attention heads is set to 8. Table summarizes the detailed hyper-parameters on ZINC. We train 400K steps on this dataset, and employ a weight decay of 0.01. 14 4, 10 B.3 Einzelheiten über Hyperparameter für Baseline-Methoden In diesem Abschnitt präsentieren wir die Details unserer Wiedereinführung der Baseline-Methoden. B.3.1 PCQM4M-LSC The official Github repository of OGB-LSC bietet Hyperparameter und Codes, um die Ergebnisse auf dem Leaderboard zu reproduzieren. Diese Hyperparameter funktionieren gut auf fast allen gängigen GNN-Varianten, mit Ausnahme der DeeperGCN-VN, was zu einer Trainingsdifferenz führt. provided by the authors [ ]. Für einen fairen Vergleich mit Graphormer trainieren wir einen 12-Schicht DeeperGCN. Die versteckte Dimension ist auf 600 gesetzt. Die Batchgröße ist auf 256 gesetzt. Die Lernrate ist auf 1e-3 gesetzt, und ein Schritt-Lernrate-Scheduler wird mit der Verfallschrittgröße und dem Verfallfaktor eingesetzt. 30 Epochen und 0,25 Das Modell wird für 100 Epochen trainiert. 7 8 30 γ Die Standardgröße von laplacian PE von GT [ Es wird jedoch dazu führen, dass 2,91% der kleinen Moleküle (weniger als 8 Atome) gefiltert werden. Daher setzen wir für GT und GT-Wide die Dimension des Laplacian PE auf 4, was zu nur 0,08% Filterung führt. ], außer dass wir die Lernrate auf 1e-4 verringern, was zu einer besseren Konvergenz auf PCQM4M-LSC führt. 13 13 B.3.2 OGBG MolPCBA Um die vorgefertigte GIN-VN auf MolPCBA zu optimieren, folgen wir den Hyperparameter-Einstellungen, die im ursprünglichen OGB-Papier [ ]. To be more concrete, we load the pre-trained checkpoint reported in Table and fine-tune it on OGBG-MolPCBA dataset. We use the grid search on the hyper-parameters for better fine-tuning performance. In particular, the learning rate is selected from {1e − 5, 1e − 4, 1e − 3}; the dropout ratio is selected from {0.0, 0.1, 0.5}; the batch size is selected from {32, 64}. 22 1 B.3.3 OGBG MolHIV Ebenso finanzieren wir die vorgefertigte GIN-VN auf MolHIV, indem wir die Hyper-Parameter-Einstellungen im ursprünglichen OGB-Papier [ ]. We also conduct the grid search to look for optimal hyper-parameters. The ranges for each hyper-parameter of grid search are the same as the previous subsection. 22 C More Experiments Wie in der verwandten Arbeit beschrieben, ist GROVER ein Transformer-basiertes GNN, das 100 Millionen Parameter hat und auf 10 Millionen nicht gekennzeichneten Molekülen mit 250 Nvidia V100 GPUs vorbereitet wurde. Wir laden die vorbereiteten GROVER Modelle von ihrer offiziellen Github-Webseite herunter Folgen Sie den offiziellen Anweisungen und die angegebenen vorbereiteten Checkpoints mit sorgfältiger Suche nach Hyperparametern (in Tabelle We find that GROVER could achieve competitive performance on MolHIV only if employing additional molecular features, i.e., morgan molecular finger prints and 2D features Daher berichten wir über die GROVER-Score, indem wir diese zwei zusätzlichen molekularen Merkmale einnehmen. , können wir wissen, solche zusätzlichen molekularen Eigenschaften sind sehr effektiv auf MolHIV Datensatz. 9 10 11 ) 11 12 Tisch und Zusammenfassen Sie die Leistung von GROVER und GROVERLARGE im Vergleich zu Graphormer auf MolHIV und MolPCBA. Aus den Tabellen beobachten wir, dass Graphormer GROVER auch ohne zusätzliche molekulare Merkmale konsequent übertreffen könnte. 12 13 D Discussion & Future Work Ähnlich wie der reguläre Transformator schafft der Aufmerksamkeitsmechanismus in Graphormer quadratisch mit der Anzahl der Knoten in der Eingangsdiagramme, die für große und schließt seine Verwendung in Einstellungen mit begrenzten Rechenressourcen aus. In letzter Zeit wurden viele Lösungen vorgeschlagen, um dieses Problem in Transformer [ , der , , der Dieses Problem würde von der zukünftigen Entwicklung von effizientem Graphormer profitieren. Complexity. n n 25 52 57 37 In Graphormer gibt es mehrere Optionen für die Netzwerkzentralität und die räumliche Codierungsfunktion ( Zum Beispiel kann man die 2 Entfernung in 3D-Struktur zwischen zwei Atomen in einem Molekül. In diesem Papier bewerten wir hauptsächlich die allgemeine Zentralität und Entfernungsmetrik in der Grafentheorie, d.h. die Gradzentralität und den kürzesten Pfad. Choice of centrality and φ φ vi, vj L There is a wide range of node representation tasks on graph structured data, such as finance, social network, and temporal prediction. Graphormer could be naturally used for node representation extraction with an applicable graph sampling strategy. We leave it for future work. Node Representation. Dieses Dokument ist unter der Lizenz CC by 4.0 Deed (Attribution 4.0 International) verfügbar. Dieses Dokument ist unter der Lizenz CC by 4.0 Deed (Attribution 4.0 International) verfügbar.