Graphormer di Microsoft: il trasformatore che alla fine batte i GNN

Gli autori : Chengxuan Ying, yingchengsyuan@gmail.com (Dalian University of Technology) Tianle Cai, tianle.cai@princeton.edu (Princeton University) Shengjie Luo, luosj@stu.pku.edu.cn (Peking University) Shuxin Zheng, shuz@microsoft.com (Microsoft Research Asia) Guolin Ke, guoke@microsoft.com (Microsoft Research Asia) Di He, dihe@microsoft.com (Microsoft Research Asia) Yanming Shen, shen@dlut.edu.cn (Dalian University of Technology) Tie-Yan Liu, tyliu@microsoft.com (Microsoft Research Asia) Gli autori : Chengxuan Ying, yingchengsyuan@gmail.com (Università Dalian di Tecnologia) Tianle Cai, tianle.cai@princeton.edu (Università di Princeton) Shengjie Luo, luosj@stu.pku.edu.cn (Università di Pechino) Shuxin Zheng, shuz@microsoft.com (Microsoft Research Asia) Guolin Ke, guoke@microsoft.com (Microsoft Research Asia) Di He, dihe@microsoft.com (Microsoft Research Asia) Yanming Shen, shen@dlut.edu.cn (Università di Tecnologia di Dalian) Tie-Yan Liu, tyliu@microsoft.com (Microsoft Research Asia) astratto L'architettura Graphformer è diventata una scelta dominante in molti settori, come il trattamento del linguaggio naturale e la visione computerizzata. Tuttavia, non ha raggiunto prestazioni competitive sui popolari leaderboard di previsione a livello di grafo rispetto alle varianti GNN mainstream. Pertanto, rimane un mistero come i Transformers potessero funzionare bene per l'apprendimento della rappresentazione grafica. In questo articolo, risolviamo questo mistero presentando Graphormer, che è costruito sull'architettura Transformer standard, e potrebbe ottenere ottimi risultati su una vasta gamma di compiti di apprendimento della rappresentazione grafica, in particolare sul recente OGB Large-Scale Challenge. La nostra visione chiave per utilizzare il Transformers nel grafico è la necessità di codificare efficacemente le informazioni strutturali di un . https://github.com/Microsoft/Graphormer 1 Introduzione Il trasformatore [ ] è ben riconosciuto come la più potente rete neurale nella modellazione dei dati sequenziali, come il linguaggio naturale [ di di e il discorso [ ]. Le varianti del modello costruite su Transformer hanno anche mostrato ottime prestazioni nella visione computerizzata [ di Il linguaggio di programmazione [ di di Tuttavia, al meglio delle nostre conoscenze, Transformer non è ancora stato lo standard di fatto sui leaderboard di rappresentazione dei grafici pubblici [ di di Ci sono molti tentativi di sfruttare Transformer nel dominio grafico, ma l'unico modo efficace è quello di sostituire alcuni moduli chiave (ad esempio, aggregazione di caratteristiche) nelle classiche varianti GNN con l'attenzione softmax [ di di di di di di Pertanto, rimane una domanda aperta se l'architettura di Transformer sia adatta per modellare grafici e come farlo funzionare nell'apprendimento della rappresentazione grafica. 49 11 35 6 17 12 36 19 63 44 22 14 21 50 7 23 51 61 46 13 In questo articolo, diamo una risposta affermativa sviluppando Graphormer, che è costruito direttamente sul Transformer standard, e raggiunge prestazioni all'avanguardia su una vasta gamma di compiti di previsione a livello di grafico, tra cui il recente Open Graph Benchmark Large-Scale Challenge (OGB-LSC) [ ], e diversi leaderboards popolari (ad esempio, OGB [ ], benchmarking GNN [ ]).Il Transformer è stato originariamente progettato per la modellazione di sequenza.Per sfruttare la sua potenza nei grafici, crediamo che la chiave sia quella di incorporare correttamente le informazioni strutturali dei grafici nel modello. , l'autoattenzione calcola solo la somiglianza semantica tra e altri nodi, senza considerare le informazioni strutturali di un grafico riflesse sui nodi e la relazione tra le coppie di nodi. Graphormer incorpora diversi metodi di codifica strutturale efficaci per sfruttare tali informazioni, che sono descritte di seguito. 21 22 14 i i Prima di tutto, proponiamo a in Graphormer per catturare l'importanza del nodo nel grafico. In un grafico, i diversi nodi possono avere importanza diversa, ad esempio, le celebrità sono considerate più influenti della maggior parte degli utenti web in un social network. Tuttavia, tali informazioni non si riflettono nel modulo di autoattenzione in quanto calcola le somiglianze utilizzando principalmente le caratteristiche semantiche del nodo. Per risolvere il problema, proponiamo di codificare la centralità del nodo in Graphormer. per la codifica della centralità, dove un vettore apprendibile è assegnato a ciascun nodo in base al suo grado e aggiunto alle caratteristiche del nodo nel livello di input.Studi empirici dimostrano che la semplice codifica della centralità è efficace per Transformer nel modellare i dati del grafico. Codifica centralizzata Grado di centralizzazione Second, we propose a novel In Graphormer per catturare la relazione strutturale tra nodi. Una proprietà geometrica notevole che distingue i dati strutturati da altri dati strutturati, ad esempio, lingua, immagini, è che non esiste una griglia canonica per incorporare il grafico. Infatti, i nodi possono solo risiedere in uno spazio non euclidiano e sono collegati da bordi. Per modellare tali informazioni strutturali, per ogni coppia di nodi, assegniamo un embedding apprendibile in base alla loro relazione spaziale. Le misurazioni multiple nella letteratura potrebbero essere sfruttate per modellare le relazioni spaziali. Per uno scopo generale, usiamo la distanza del percorso più breve tra i due nodi come una dimostrazione, che sarà codificata come un termine bias nell'attenzione softmax e aiuterà il modello a c Codifica spaziale Utilizzando le codificazioni proposte sopra, dimostriamo ulteriormente matematicamente che Graphormer ha una forte espressività poiché molte varianti popolari del GNN sono solo i suoi casi speciali.La grande capacità del modello porta a prestazioni all'avanguardia su una vasta gamma di compiti nella pratica. L’Open Graph Benchmark Large-Scale Challenge (OGB-LSC) ], Graphormer outperforms most mainstream GNN variants by more than 10% points in terms of the relative error. On other popular leaderboards of graph representation learning (e.g., MolHIV, MolPCBA, ZINC) [ di ], Graphormer supera anche i migliori risultati precedenti, dimostrando il potenziale e l'adattabilità dell'architettura Transformer. 3 21 22 14 2 Preliminari In questa sezione, ricapitoliamo i preliminari in Graph Neural Networks e Transformer. Lasciate che G = (V, E) indichi un grafico in cui V = {v1, v2, · · · , vn}, n = fhV è il numero di nodi. Lasciate che il vettore caratteristico del nodo vi sia xi . I GNN mirino a imparare la rappresentazione dei nodi e dei grafici. Di solito, i moderni GNN seguono un schema di apprendimento che aggiorna iterativamente la rappresentazione di un nodo aggregando rappresentazioni dei suoi vicini di primo o superiore ordine. Denotiamo h (l) i come la rappresentazione di vi sullo strato l e definiamo h (0) i = xi. L'iterazione dell'aggregazione potrebbe essere caratterizzata dal passaggio AGGREGATE-COMBINE come Graph Neural Network (GNN). dove N (vi) è l'insieme dei vicini di primo o superiore ordine di vi. La funzione AGGREGATE viene utilizzata per raccogliere le informazioni dai vicini. Funzioni di aggregazione comuni includono MEAN, MAX, SUM, che vengono utilizzati in diverse architetture di GNN [26, 18, 50, 54]. L'obiettivo della funzione COMBINE è quello di fondere le informazioni dei vicini nella rappresentazione del nodo. Inoltre, per le attività di rappresentazione del grafico, una funzione READOUT è progettata per aggregare le caratteristiche del nodo h (L) i dell'iterazione finale nella rappresentazione hG dell'intero grafico G: READOUT può essere implementato con una semplice funzione invariante permutazione come la somma [54] o una funzione di aggregazione più sofisticata a livello di grafo [1]. L'architettura di Transformer consiste in una composizione di strati di Transformer [49]. Ogni strato di Transformer ha due parti: un modulo di autoattenzione e una rete di feed-forward (FFN) orientata alla posizione. Lasciate che H = h > 1, · · , h> n > ∈ R n×d denota l'ingresso del modulo di autoattenzione dove d è la dimensione nascosta e hi ∈ R 1×d è la rappresentazione nascosta nella posizione i. L'ingresso H è proiettato da tre matrice WQ ∈ R d×dK , WK ∈ R d×dK e WV ∈ R d×dV alle rappresentazioni corrispondenti Q, K, V. L'autoattenzione viene quindi calcolata come: Transformer dove è una matrice che cattura la somiglianza tra query e chiavi. Per la semplicità dell'illustrazione, consideriamo l'autoattenzione a testa sola e presumiamo = il = L'estensione all'attenzione a più teste è standard e diretta, e omettiamo i termini di pregiudizio per la semplicità. A Dk Dv d 3 Graffiti In questa sezione, presentiamo il nostro Graphormer per i compiti del grafico. In primo luogo, elaboriamo diversi disegni chiave nel Graphormer, che servono come un bias induttivo nella rete neurale per imparare la rappresentazione del grafico. Forniamo ulteriormente le implementazioni dettagliate di Graphormer. Infine, mostriamo che il nostro proposto Graphormer è più potente dal popolare modello GNN [ di di Sono i suoi casi particolari. 26 54 18 3.1 Codificazioni strutturali in Graphormer Come discusso nell'introduzione, è importante sviluppare modi per sfruttare le informazioni strutturali dei grafici nel modello Transformer. A questo scopo, presentiamo tre semplici ma efficaci progetti di codifica in Graphormer. Per una illustrazione. 1 3.1.1 Codifica di centralità in la distribuzione dell'attenzione è calcolata sulla base della correlazione semantica tra i nodi. Tuttavia, la centralità del nodo, che misura quanto sia importante un nodo nel grafico, è di solito un forte segnale per la comprensione del grafico. Ad esempio, le celebrità che hanno un gran numero di follower sono fattori importanti nella previsione della tendenza di un social network [ di Tali informazioni sono trascurate nel calcolo attuale dell'attenzione, e riteniamo che dovrebbe essere un segnale prezioso per i modelli Transformer. Ecc. di 4, 40 39 In Graphormer, utilizziamo la centralità di grado, che è una delle misure standard di centralità nella letteratura, come segnale aggiuntivo alla rete neurale. che assegna a ciascun nodo due vettori di incorporazione di valore reale in base al suo indegree e al suo outdegree. Poiché la codifica della centralità viene applicata a ciascun nodo, lo aggiungiamo semplicemente alle caratteristiche del nodo come input. Codifica centralizzata dove z −, z+ ∈ R d sono vettori di incorporazione apprendibili specificati rispettivamente dall'indegree deg−(vi) e dall'outdegree deg+(vi). Per i grafici non diretti, deg−(vi) e deg+(vi) potrebbero essere unificati in deg(vi). Utilizzando la codifica della centralità nell'ingresso, l'attenzione softmax può catturare il segnale di importanza del nodo nelle query e nelle chiavi. Pertanto, il modello può catturare sia la correlazione semantica che l'importanza del nodo nel meccanismo di attenzione. 1.2 Codifica spaziale Un vantaggio di Transformer è il suo campo globale di ricezione. In ogni strato di Transformer, ogni token può assistere alle informazioni in qualsiasi posizione e quindi elaborare la sua rappresentazione. Ma questa operazione ha un problema di sottoprodotto che il modello deve specificare esplicitamente posizioni diverse o codificare la dipendenza posizionale (come la località) nei strati. Per i dati sequenziali, si può dare a ciascuna posizione un embedding (cioè, codifica posizionale assoluta). ]) come l'ingresso o codifica la distanza relativa di qualsiasi due posizioni (cioè, codifica posizione relativa nel sistema di trasformazione. 49 [45 ] Il 47) Tuttavia, per i grafici, i nodi non sono disposti come una sequenza. Possono risiedere in uno spazio spaziale multidimensionale e sono collegati da bordi. Per codificare le informazioni strutturali di un grafico nel modello, proponiamo una nuova Codifica spaziale. In particolare, per qualsiasi grafico G, consideriamo una funzione φ (vi , vj ) : V × V → R che misura il rapporto spaziale tra vi e vj nel grafico G. La funzione φ può essere definita dalla connettività tra i nodi nel grafico. In questo documento, scegliamo φ(vi , vj ) per essere la distanza del percorso più breve (SPD) tra vi e vj se i due nodi sono connessi. In caso contrario, imponiamo la uscita di φ a un valore speciale, vale a dire -1. ciascun valore dove ( ) è un scalar apprendibile indicizzato da ( ) e condiviso su tutti i livelli. bφ di VJ φ di VJ In primo luogo, rispetto ai convenzionali GNN descritti nella Sezione 2, dove il campo ricevente è limitato ai vicini, possiamo vedere che in Eq. , lo strato di Transformer fornisce un'informazione globale che ogni nodo può attendere a tutti gli altri nodi nel grafico. ( ), each node in a single Transformer layer can adaptively attend to all other nodes according to the graph structural information. For example, if ( ) è Il (6) bf di VJ bf di VJ è una funzione decrescente rispetto alla ( Per ogni nodo, il modello sarà probabilmente prestare più attenzione ai nodi vicino a esso e prestare meno attenzione ai nodi lontani da esso. φ di VJ 3.1.3 Edge Coding nell'attenzione In molti grafici, i bordi hanno anche caratteristiche strutturali, ad esempio, in un grafico molecolare, le coppie atomiche possono avere caratteristiche che descrivono il tipo di legame tra di loro. Tali caratteristiche sono importanti per la rappresentazione del grafico, e codificare insieme alle caratteristiche dei nodi nella rete è essenziale. Ci sono principalmente due metodi di codifica dei bordi utilizzati nei lavori precedenti. Nel primo metodo, le caratteristiche dei bordi vengono aggiunte alle caratteristiche dei nodi associati. di Nel secondo metodo, per ciascun nodo, le caratteristiche dei suoi bordi associati saranno utilizzate insieme alle caratteristiche del nodo nell'aggregazione [ di di Tuttavia, tali modi di utilizzare la funzione edge propagano solo le informazioni edge ai suoi nodi associati, il che potrebbe non essere un modo efficace per sfruttare le informazioni edge nella rappresentazione dell'intero grafico. 22 30 15 54 26 Per migliorare la codifica delle caratteristiche di margine nei livelli di attenzione, proponiamo un nuovo metodo di codifica di margine in Graphormer.Il meccanismo di attenzione deve stimare le correlazioni per ogni coppia di nodi ( E noi crediamo che i margini che li connettono debbano essere considerati nella correlazione come in [...] di Per ogni nodo ordinato coppia ( Troviamo (uno dei) il percorso più breve SP è ( 1 * e , ... , eN * ) da due In questo caso, è necessario eseguire un'analisi delle caratteristiche del codice e del codice del codice del codice del codice del codice del codice del codice del codice del codice del codice del codice. ( (Elemento di in Eq. Con il codice edge Come ad esempio: di VJ 34 51 di VJ Gioia e 2 vi Il VJ Io, il J A c) il Cio dove xen è la caratteristica della n-th edge en in SPij, w E n ∈ R dE è la n-th gravity embedding, e dE è la dimensionality della caratteristica edge. 3.2 Dettagli di Implementazione di Graphormer Graphormer è costruito sulla implementazione originale del classico codificatore Transformer descritto in [ Inoltre, si applica la normalizzazione stratificata (LN) prima della multi-head self-attention (MHA) e dei blocchi di feed-forward (FFN) piuttosto che dopo [...] ].Questa modifica è stata adottata all'unanimità da tutte le attuali implementazioni di Transformer perché porta a un'ottimizzazione più efficace [ In particolare, per il sotto-strato FFN, impostamo la dimensionalità di input, output e strato interno alla stessa dimensione con Abbiamo formalmente caratterizzato lo strato Graphormer come di seguito: Graphormer Layer. 49 53 43 d Come indicato nella sezione precedente, vengono proposte diverse funzioni di aggregazione di grafici per rappresentare l'integrazione di grafici. ], in Graphormer, aggiungiamo un nodo speciale chiamato [VNode] al grafico, e facciamo una connessione tra [VNode] e ogni nodo individualmente. Nel passaggio AGGREGATE-COMBINE, la rappresentazione di [VNode] è stata aggiornata come nodi normali nel grafico, e la rappresentazione dell'intero grafico Sarebbe la funzione nodo di [VNode] nel livello finale. di ], c'è un token simile, vale a dire, [CLS], che è un token speciale allegato all'inizio di ogni sequenza, per rappresentare la caratteristica a livello di sequenza sulle attività a valle. (Tutto su VNode) ) e ( [VNode]), la connessione non è fisica. Per distinguere la connessione tra fisica e virtuale, ispirata da [ ], we reset all spatial encodings for (Tutto su VNode) ) e ( [Venode] a un apprendimento scalabile distinto. Special Node. 15 HG 11 35 φ di VJ φ di VI, 25 bf di VJ bf di VI, 3.3 Quanto è potente Graphormer? Nelle sottosezioni precedenti, introduciamo tre codificazioni strutturali e l'architettura di Graphormer. In this subsection, we first give an affirmative answer by showing that Graphormer can represent the AGGREGATE and COMBINE steps in popular GNN models: Queste modifiche rendono Graphormer più potente di altre varianti GNN? Fact 1. Scegliendo i pesi appropriati e la funzione di distanza φ, lo strato Graphormer può rappresentare AGGREGATE e COMBINE passaggi di modelli GNN popolari come GIN, GCN, GraphSAGE. Lo schizzo di prova per derivare questo risultato è: 1) La codifica spaziale consente al modulo di autoattenzione di distinguere il set vicino N (vi) del nodo vi in modo che la funzione softmax possa calcolare le statistiche medie su N (vi); 2) Conoscendo il grado di un nodo, la media sui vicini può essere tradotta in somma sui vicini; 3) Con più teste e FFN, le rappresentazioni di vi e N (vi) possono essere elaborate separatamente e combinate insieme più tardi. Inoltre, mostriamo ulteriormente che utilizzando la nostra codifica spaziale, Graphormer può andare al di là dei messaggi classici che passano GNN la cui potenza espressiva non è più del test 1-Weisfeiler-Lehman (WL). Oltre all'espressività superiore rispetto ai popolari GNN, troviamo anche un'interessante connessione tra l'uso dell'autoattenzione e l'heuristica del nodo virtuale. di di di ].Come mostrato nel leaderboard di OGB [ ], il trucco del nodo virtuale, che aumenta i grafici con supernodi aggiuntivi che sono collegati a tutti i nodi nei grafici originali, può migliorare in modo significativo le prestazioni dei GNN esistenti. (come la funzione READOUT) e poi propagarla Tuttavia, un'aggiunta ingenua di un supernodo a un grafico può potenzialmente portare a una sovraffollatura involontaria della propagazione delle informazioni [ Invece troviamo che un'operazione di aggregazione e propagazione a livello di grafo può essere soddisfatta naturalmente con l'autoattenzione della vaniglia senza codifica aggiuntiva. Connection between Self-attention and Virtual Node. 15 31 24 22 22 Tutte le grafiche Ogni nodo 24 Fact 2. Scegliendo i pesi appropriati, ogni rappresentazione del nodo dell'uscita di uno strato Graphormer senza codifica aggiuntiva può rappresentare le funzioni MEAN READOUT. This fact takes the advantage of self-attention that each node can attend to all other nodes. Thus it can simulate graph-level READOUT operation to aggregate information from the whole graph. Besides the theoretical justification, we empirically find that Graphormer does not encounter the problem of over-smoothing, which makes the improvement scalable. The fact also inspires us to introduce a special node for graph readout (see the previous subsection). 4 Esperimenti Iniziamo con esperimenti sul recente OGB-LSC [ ] regressione chimica quantistica (cioè, PCQM4M-LSC) sfida, che è attualmente il più grande set di dati di previsione a livello di grafico e contiene più di 3,8M grafici in totale. ] e benchmarking-GNN [ ] leaderboards. Infine, abbattiamo gli elementi di progettazione importanti di Graphormer. Una descrizione dettagliata dei set di dati e delle strategie di formazione può essere trovata nell'Appendice B. 21 22 14 4.1 OGB Large-Scale Challenge We benchmark the proposed Graphormer with GCN [ ] and GIN [ ], and their variants with virtual node (-VN) [ ]. They achieve the state-of-the-art valid and test mean absolute error (MAE) on the official leaderboard [ ]. In addition, we compare to GIN’s multi-hop variant [ ], e la rete grafica profonda a 12 strati DeeperGCN [ ], which also show promising performance on other leaderboards. We further compare our Graphormer with the recent Transformer-based graph model GT Baselines. 26 54 15 4 21 5 30 [13]. We primarily report results on two model sizes: ( = 12*, d* = 768), and a smaller one ( = 6*, d* = 512). Both the number of attention heads in the attention module and the dimensionality of edge features are set to 32. We use AdamW as the optimizer, and set the hyper-parameter to 1e-8 and ( 1*, β*2) a (0.99,0.999). Il tasso di apprendimento di picco è impostato su 2e-4 (3e-4 per ) with a 60k-step warm-up stage followed by a linear decay learning rate scheduler. The total training steps are 1M. The batch size is set to 1024. All models are trained on 8 NVIDIA V100 GPUS for about 2 days. Settings. Graphormer L GraphormerSMALL L dE ϵ β GraphormerSMALL Table summarizes performance comparisons on PCQM4M-LSC dataset. From the table, GIN-VN achieves the previous state-of-the-art validate MAE of 0.1395. The original implementation of GT [ ] employs a hidden dimension of 64 to reduce the total number of parameters. For a fair comparison, we also report the result by enlarging the hidden dimension to 768, denoted by GT-Wide, which leads to a total number of parameters of 83.2M. While, both GT and GT-Wide do not outperform GIN-VN and DeeperGCN-VN. Especially, we do not observe a performance gain along with the growth of parameters of GT. Results. 1 13 Compared to the previous state-of-the-art GNN architecture, Graphormer noticeably surpasses GIN-VN by a large margin, e.g., 11.5% relative validate MAE decline. By using the ensemble with ExpC [ ], we got a 0.1200 MAE on complete test set and won the first place of the graph-level track in OGB Large-Scale Challenge[ , Come indicato nella sezione we further find that the proposed Graphormer does not encounter the problem of over-smoothing, i.e., the train and validate error keep going down along with the growth of depth and width of models. 55 21 58 3.3 Il 4.2 Rappresentazione grafica In this section, we further investigate the performance of Graphormer on commonly used graph-level prediction tasks of popular leaderboards, i.e., OGB [ ] (OGBG-MolPCBA, OGBG-MolHIV), and benchmarking-GNN [ ] (ZINC). Since pre-training is encouraged by OGB, we mainly explore the transferable capability of a Graphormer model pre-trained on OGB-LSC (i.e., PCQM4M-LSC). Please note that the model configurations, hyper-parameters, and the pre-training performance of pre-trained Graphormers used for MolPCBA and MolHIV are different from the models used in the previous subsection. Please refer to Appendix B for detailed descriptions. For benchmarking-GNN, which does not encourage large pre-trained model, we train an additional GraphormerSLIM ( = 12*, d* = 80, parità totale = 489 ) from scratch on ZINC. 22 14 L K We report performance of GNNs which achieve top-performance on the official leader-boards . Considering that the pre-trained Graphormer leverages external data, for a fair comparison on OGB datasets, we additionally report performance for fine-tuning GIN-VN pre-trained on PCQM4M-LSC dataset, which achieves the previous state-of-the-art valid and test MAE on that dataset. Baselines. 5 without additional domain-specific features We report detailed training strategies in Appendix B. In addition, Graphormer is more easily trapped in the over-fitting problem due to the large size of the model and the small size of the dataset. Therefore, we employ a widely used data augmentation for graph - FLAG [ ], per mitigare il problema di sovrapposizione sui set di dati OGB. Settings. 27 tavolo and summarize performance of Graphormer comparing with other GNNs on MolHIV, MolPCBA and ZINC datasets. Especially, GT [ ] and SAN [ ] in Table Sono stati recentemente proposti modelli di GNN basati su Transformer. Graphormer supera costantemente e significativamente i precedenti GNN state-of-the-art su tutti e tre i set di dati per un grande margine. In particolare, ad eccezione di Graphormer, gli altri GNN pre-addestrati non raggiungono prestazioni competitive, che è in linea con la letteratura precedente [ Inoltre, effettuiamo più confronti per raffinare i GNN pre-addestrati, si prega di consultare l'appendice C. Results. 2, 3 4 13 28 4 20 4.3 Ablation Studies We perform a series of ablation studies on the importance of designs in our proposed Graphormer, on PCQM4M-LSC dataset. The ablation results are included in Table To save the computation resources, the Transformer models in table have 12 layers, and are trained for 100K iterations. 5. 5 We compare previously used positional encoding (PE) to our proposed spatial encoding, which both aim to encode the information of distinct node relation to Transformers. There are various PEs employed by previous Transformer-based GNNs, e.g., Weisfeiler-Lehman-PE (WL-PE) [ ] and Laplacian PE [ , ].Rapportiamo le prestazioni per Laplacian PE poiché esegue bene rispetto a una serie di PEs per Graph Transformer nella letteratura precedente [ ]. Transformer architecture with the spatial encoding outperforms the counterpart built on the positional encoding, which demonstrates the effectiveness of using spatial encoding to capture the node spatial information. Node Relation Encoding. 61 3 14 13 Transformer architecture with degree-based centrality encoding yields a large margin performance boost in comparison to those without centrality information. This indicates that the centrality encoding is indispensable to Transformer architecture for modeling graph data. Centrality Encoding. Confrontiamo la nostra proposta di codifica edge (denominata via attn bias) con due codifica edge comunemente usate descritte nella sezione to incorporate edge features into GNN, denoted as via node and via Aggr in Table From the table, the gap of performance is minor between the two conventional methods, but our proposed edge encoding performs significantly better, which indicates that edge encoding as attention bias is more effective for Transformer to capture spatial information on edges. Edge Encoding. 3.1.3 di 5. 5 Related Work In this section, we highlight the most recent works which attempt to develop standard Transformer architecture-based GNN or graph structural encoding, but spend less effort on elaborating the works by adapting attention mechanism to GNNs [33] di cui 60, 7, 23, 1, di 50, 51, Il 61, di 48]. 5.1 Graph Transformer There are several works that study the performance of pure Transformer architectures (stacked by transformer layers) with modifications on graph representation tasks, which are more related to our Graphormer. For example, several parts of the transformer layer are modified in [ ], including an additional GNN employed in attention sub-layer to produce vectors of , , and , long-range residual connection, and two branches of FFN to produce node and edge representations separately. They pre-train their model on 10 million unlabelled molecules and achieve excellent results by fine-tuning on downstream tasks. Attention module is modified to a soft adjacency matrix in [ ] by directly adding the adjacency matrix and RDKit -computed inter-atomic distance matrix to the attention probabilites. Very recently, Dwivedi [ ] revisit a series of works for Transformer-based GNNs, and suggest that the attention mechanism in Transformers on graph data should only aggregate the information from neighborhood (i.e., using adjacent matrix as attention mask) to ensure graph sparsity, and propose to use Laplacian eigenvector as positional encoding. Their model GT surpasses baseline GNNs on graph representation task. A concurrent work [ ] propose a novel full Laplacian spectrum to learn the position of each node in a graph, and empirically shows better results than GT. 46 Q K V 41 6 et al. 13 28 5.2 Structural Encodings in GNNs Informazioni di percorso e distanza è comunemente usato in GNNs. Ad esempio, un aggregazione basata sull'attenzione è proposto in [ ] where the node features, edge features, one-hot feature of the distance and ring flag feature are concatenated to calculate the attention probabilites; similar to path-based attention is leveraged in to model the influence between the center node and its higher-order neighbors; a distance-weighted aggregation scheme on graph is proposed in [ ]; it has been proved in [ ] that adopting distance encoding (i.e., one-hot feature of the distance as extra node attribute) could lead to a strictly more expressive power than the 1-WL test. Path and Distance in GNNs. 9 [9], [56] 59 32 Diversi lavori introducono la codifica posizionale (PE) ai GNN basati su Transformer per aiutare il modello a catturare le informazioni sulla posizione del nodo. ] introduces three types of PE to embed the node position information to model, i.e., an absolute WL-PE which represents different nodes labeled by Weisfeiler-Lehman algorithm, an intimacy based PE and a hop based PE which are both variant to the sampled subgraphs. Absolute Laplacian PE is employed in [ ] and empircal study shows that its performance surpasses the absolute WL-PE used in Positional Encoding in Transformer on Graph. 61 13 [61]. Except the conventionally used methods to encode edge feature, which are described in previous section, there are several attempts that exploit how to better encode edge features: an attention-based GNN layer is developed in [ ] per codificare le caratteristiche edge, dove la caratteristica edge è ponderata dalla somiglianza delle caratteristiche dei suoi due nodi; la caratteristica edge è stata codificata nel popolare GIN [ ] in [ In particolare, nel [...] ], the authors propose to project edge features to an embedding vector, then multiply it by attention coefficients, and send the result to an additional FFN sub-layer to produce edge representations; Edge Feature. 16 54 5 13 6 Conclusion We have explored the direct application of Transformers to graph representation. With three novel graph structural encodings, the proposed Graphormer works surprisingly well on a wide range of popular benchmark datasets. While these initial results are encouraging, many challenges remain. For example, the quadratic complexity of the self-attention module restricts Graphormer’s application on large graphs. Therefore, future development of efficient Graphormer is necessary. Performance improvement could be expected by leveraging domain knowledge-powered encodings on particular graph datasets. Finally, an applicable graph sampling strategy is desired for node representation extraction with Graphormer. We leave them for future works. 7 Acknowledgement We would like to thank Mingqi Yang and Shanda Li for insightful discussions. References [1] Jinheon Baek, Minki Kang, and Sung Ju Hwang. Accurate learning of graph representations with graph multiset pooling. , 2021. ICLR [2] Dominique Beaini, Saro Passaro, Vincent Létourneau, William L Hamilton, Gabriele Corso, and Pietro Liò. Directional graph networks. In , 2021. International Conference on Machine Learning [3] Mikhail Belkin e Partha Niyogi. mappe propri di Laplace per la riduzione della dimensionalità e la rappresentazione dei dati. , 15(6):1373–1396, 2003 Neural computation [4] Xavier Bresson and Thomas Laurent. Residual gated graph convnets. , 2017. arXiv preprint arXiv:1711.07553 [5] Rémy Brossard, Oriel Frigo, and David Dehaene. Graph convolutions that can finally model local structure. , 2020. arXiv preprint arXiv:2011.15069 [6] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, , volume 33, pagine 1877–1901. Curran Associates, Inc., 2020. Advances in Neural Information Processing Systems [7] Deng Cai and Wai Lam. Graph transformer for graph-to-sequence learning. In , volume 34, pages 7464–7471, 2020. Proceedings of the AAAI Conference on Artificial Intelligence [8] Tianle Cai, Shengjie Luo, Keyulu Xu, Di He, Tie-yan Liu, and Liwei Wang. Graphnorm: A principled approach to accelerating graph neural network training. In , 2021. International Conference on Machine Learning [9] Benson Chen, Regina Barzilay, and Tommi Jaakkola. Path-augmented graph transformer network. , 2019. arXiv Preprint arXiv:1905.12712 [10] Gabriele Corso, Luca Cavalleri, Dominique Beaini, Pietro Liò, and Petar Velicˇkovic´. Principal neighbour-hood aggregation for graph nets. , 33, 2020. Advances in Neural Information Processing Systems [11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidi-rectional transformers for language understanding. In , pages 4171–4186, 2019. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) [12] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. Un'immagine vale 16x16 parole: Trasformatori per il riconoscimento delle immagini su scala. Il 2020. arXiv preprint arXiv:2010.11929 [13] Vijay Prakash Dwivedi and Xavier Bresson. A generalization of transformer networks to graphs. , 2021. AAAI Workshop on Deep Learning on Graphs: Methods and Applications [14] Vijay Prakash Dwivedi, Chaitanya K Joshi, Thomas Laurent, Yoshua Bengio e Xavier Bresson. Il 2020. arXiv Preprint arXiv:2003.00982 [15] Justin Gilmer, Samuel S Schoenholz, Patrick F Riley, Oriol Vinyals, and George E Dahl. Neural message passing for quantum chemistry. In , pages 1263–1272. PMLR, 2017. International Conference on Machine Learning [16] Liyu Gong and Qiang Cheng. Exploiting edge features for graph neural networks. In , pages 9211–9219, 2019. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition [17] Anmol Gulati, James Qin, Chung-Cheng Chiu, Niki Parmar, Yu Zhang, Jiahui Yu, Wei Han, Shibo Wang, Zhengdong Zhang, Yonghui Wu, et al. Conformer: Convolution-augmented transformer for speech recognition. , 2020. arXiv preprint arXiv:2005.08100 [18] William L Hamilton, Zhitao Ying, and Jure Leskovec. Inductive representation learning on large graphs. In , 2017. NIPS [19] Vincent J Hellendoorn, Charles Sutton, Rishabh Singh, Petros Maniatis, and David Bieber. Global relational models of source code. In , 2019. International conference on learning representations [20] W Hu, B Liu, J Gomes, M Zitnik, P Liang, V Pande, and J Leskovec. Strategies for pre-training graph neural networks. In Il 2020. International Conference on Learning Representations (ICLR) [21] Weihua Hu, Matthias Fey, Hongyu Ren, Maho Nakata, Yuxiao Dong, and Jure Leskovec. Ogb-lsc: A large-scale challenge for machine learning on graphs. , 2021. arXiv preprint arXiv:2103.09430 [22] Weihua Hu, Matthias Fey, Marinka Zitnik, Yuxiao Dong, Hongyu Ren, Bowen Liu, Michele Catasta e Jure Leskovec. Open graph benchmark: Datasets per l'apprendimento automatico sui grafici. , 2020. arXiv preprint arXiv:2005.00687 [23] Ziniu Hu, Yuxiao Dong, Kuansan Wang, and Yizhou Sun. Heterogeneous graph transformer. In , pagine 2704–2710, 2020. Proceedings of The Web Conference 2020 [24] Katsuhiko Ishiguro, Shin-ichi Maeda, and Masanori Koyama. Graph warp module: an auxiliary module for boosting the power of graph neural networks in molecular graph analysis. , 2019. arXiv preprint arXiv:1902.01020 [25] Guolin Ke, Di He, and Tie-Yan Liu. Rethinking the positional encoding in language pre-training. , 2020. ICLR [26] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. , 2016. arXiv preprint arXiv:1609.02907 [27] Kezhi Kong, Guohao Li, Mucong Ding, Zuxuan Wu, Chen Zhu, Bernard Ghanem, Gavin Taylor e Tom Goldstein. , 2020. arXiv preprint arXiv:2010.09891 [28] Devin Kreuzer, Dominique Beaini, William Hamilton, Vincent Létourneau, and Prudencio Tossou. Re-thinking graph transformers with spectral attention. , 2021. arXiv preprint arXiv:2106.03893 [29] Tuan Le, Marco Bertolini, Frank Noé, and Djork-Arné Clevert. Parameterized hypercomplex graph neural networks for graph classification. Il 2021. arXiv preprint arXiv:2103.16584 [30] Guohao Li, Chenxin Xiong, Ali Thabet, and Bernard Ghanem. Deepergcn: All you need to train deeper gcns. , 2020. arXiv preprint arXiv:2006.07739 [31] Junying Li, Deng Cai, and Xiaofei He. Learning graph-level representation for drug discovery. , 2017. arXiv preprint arXiv:1709.03741 [32] Pan Li, Yanbang Wang, Hongwei Wang, and Jure Leskovec. Distance encoding: Design provably more powerful neural networks for graph representation learning. , 33, 2020. Advances in Neural Information Processing Systems [33] Yuan Li, Xiaodan Liang, Zhiting Hu, Yinbo Chen, and Eric P. Xing. Graph transformer, 2019. [34] Xi Victoria Lin, Richard Socher, and Caiming Xiong. Multi-hop knowledge graph reasoning with reward shaping. , 2018. arXiv preprint arXiv:1808.10568 [35] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. , 2019. arXiv preprint arXiv:1907.11692 [36] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, and Baining Guo. Swin transformer: Hierarchical vision transformer using shifted windows. Il 2021. arXiv preprint arXiv:2103.14030 [37] Shengjie Luo, Shanda Li, Tianle Cai, Di He, Dinglan Peng, Shuxin Zheng, Guolin Ke, Liwei Wang, and Tie-Yan Liu. Stable, fast and accurate: Kernelized attention with relative positional encoding. , 2021. NeurIPS [38] Haggai Maron, Heli Ben-Hamu, Hadar Serviansky, and Yaron Lipman. Provably powerful graph networks. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, , volume 32. Curran Associates, Inc., 2019 Advances in Neural Information Processing Systems [39] P David Marshall. The promotion and presentation of the self: celebrity as marker of presentational media. , 1(1):35–48, 2010. Celebrity studies [40] Alice Marwick and Danah Boyd. To see and be seen: Celebrity practice on twitter. , 17(2):139–158, 2011. Convergence [41] Łukasz Maziarka, Tomasz Danel, Sławomir Mucha, Krzysztof Rataj, Jacek Tabor, and Stanisław Jastrze˛bski. Molecule attention transformer. , 2020. arXiv preprint arXiv:2002.08264 [42] Maho Nakata and Tomomi Shimazaki. Pubchemqc project: a large-scale first-principles electronic structure database for data-driven chemistry. , 57(6):1300–1308, 2017. Journal of chemical information and modeling [43] Sharan Narang, Hyung Won Chung, Yi Tay, William Fedus, Thibault Fevry, Michael Matena, Karishma Malkan, Noah Fiedel, Noam Shazeer, Zhenzhong Lan, et al. Do transformer modifications transfer across implementations and applications? , 2021. arXiv preprint arXiv:2102.11972 [44] Dinglan Peng, Shuxin Zheng, Yatao Li, Guolin Ke, Di He, and Tie-Yan Liu. How could neural networks understand programs? In . PMLR, 2021. International Conference on Machine Learning [45] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. , 21(140):1–67, 2020. Journal of Machine Learning Research [46] Yu Rong, Yatao Bian, Tingyang Xu, Weiyang Xie, Ying Wei, Wenbing Huang, and Junzhou Huang. Self-supervised graph transformer on large-scale molecular data. , 33, 2020. Advances in Neural Information Processing Systems [47] Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. Self-attention with relative position representations. In , pages 464–468, 2018. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers) [48] Yunsheng Shi, Zhengjie Huang, Wenjin Wang, Hui Zhong, Shikun Feng, and Yu Sun. Masked label predic-tion: Unified message passing model for semi-supervised classification. , 2020. arXiv preprint arXiv:2009.03509 [49] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In , 2017. Nippi [50] Petar Velicˇkovic´, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. Graph attention networks. , 2018. ICLR [51] Guangtao Wang, Rex Ying, Jing Huang, and Jure Leskovec. Direct multi-hop attention based graph neural network. , 2020. arXiv preprint arXiv:2009.14332 [52] Sinong Wang, Belinda Li, Madian Khabsa, Han Fang, and Hao Ma. Linformer: Self-attention with linear complexity. , 2020. arXiv preprint arXiv:2006.04768 [53] Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei Wang, and Tieyan Liu. On layer normalization in the transformer architecture. In , pages 10524–10533. PMLR, 2020. International Conference on Machine Learning [54] Keyulu Xu, Weihua Hu, Jure Leskovec, and Stefanie Jegelka. How powerful are graph neural networks? In , 2019. International Conference on Learning Representations [55] Mingqi Yang, Yanming Shen, Heng Qi, and Baocai Yin. Breaking the expressive bottlenecks of graph neural networks. Il 2020. arXiv preprint arXiv:2012.07219 [56] Yiding Yang, Xinchao Wang, Mingli Song, Junsong Yuan, and Dacheng Tao. Spagan: Shortest path graph attention network. , 2019. Advances in IJCAI [57] Chengxuan Ying, Guolin Ke, Di He, and Tie-Yan Liu. Lazyformer: Self attention with lazy update. , 2021. arXiv preprint arXiv:2102.12702 [58] Chengxuan Ying, Mingqi Yang, Shuxin Zheng, Guolin Ke, Shengjie Luo, Tianle Cai, Chenglin Wu, Yuxin Wang, Yanming Shen, and Di He. First place solution of kdd cup 2021 & ogb large-scale challenge graph-level track. , 2021. arXiv preprint arXiv:2106.08279 [59] Jiaxuan You, Rex Ying, and Jure Leskovec. Position-aware graph neural networks. In , pages 7134–7143. PMLR, 2019. International Conference on Machine Learning [60] Seongjun Yun, Minbyul Jeong, Raehyun Kim, Jaewoo Kang e Hyunwoo J Kim. , 32, 2019. Advances in Neural Information Processing Systems [61] Jiawei Zhang, Haopeng Zhang, Congying Xia, and Li Sun. Graph-bert: Only attention is needed for learning graph representations. , 2020. arXiv Preprint arXiv:2001.05140 [62] Chen Zhu, Yu Cheng, Zhe Gan, Siqi Sun, Tom Goldstein, and Jingjing Liu. Freelb: Enhanced adversarial training for natural language understanding. In , 2020. ICLR [63] Daniel Zügner, Tobias Kirschstein, Michele Catasta, Jure Leskovec, and Stephan Günnemann. Language-agnostic representation learning of source code from structure and context. In , 2020. International Conference on Learning Representations A Proofs A.1 SPD can Be Used to Improve WL-Test 1-WL-test fails in many cases [ di ], thus classic message passing GNNs also fail to distinguish many pairs of graphs. We show that SPD might help when 1-WL-test fails, for example, in Figure dove 1-WL-test fallisce, i set di SPD da tutti i nodi ad altri distinguono con successo i due grafici. 38 32 2 A.2 Proof of Fact 1 1 We begin by showing that self-attention module with Spatial Encoding can repre-sent MEAN aggregation. This is achieved by in Eq. : 1) setting = 0 if = 1 and = otherwise where is the SPD; 2) setting = il = 0 and per essere la matrice di identità. quindi softmax ( ) gives the average of representations of the neighbors. MEAN AGGREGATE. (6) bφ φ bφ - ∞ φ WQ WK Il WV A V The SUM aggregation can be realized by first perform MEAN aggregation and then multiply the node degrees. Specifically, the node degrees can be extracted from Centrality Encoding by an additional head and be concatenated to the representations after MEAN aggregation. Then the FFN module in Graphormer can represent the function of multiplying the degree to the dimensions of averaged representations by the universal approximation theorem of FFN. SUM AGGREGATE. Representing the MAX aggregation is harder than MEAN and SUM. For each dimension of the representation vector, we need one head to select the maximal value over - la dimensione nel vicino per in Eq. : 1) setting = 0 if = 1 and = otherwise where is the SPD; 2) setting = Che cosa è il -th standard basis; = 0 and the bias term (which is ignored in the previous description for simplicity) of to be ; and = , where is the temperature that can be chosen to be large enough so that the softmax function can approximate hard max and is the vector whose elements are all 1. MAX AGGREGATE. t t (6) bφ φ bf −∞ φ WK et t Il WQ Q T 1 WV e T 1 The COMBINE step takes the result of AGGREGATE and the previous representation of current node as input. This can be achieved by the AGGREGATE operations described above together with an additional head which outputs the features of present nodes, i.e., in Eq. : 1) setting = 0 se = 0 and = otherwise where is the SPD; 2) setting = il = 0 and Il modulo FFN può quindi approssimare qualsiasi funzione COMBINE con il teorema di approssimazione universale di FFN. COMBINE. (6) bφ φ bφ −∞ φ WQ WK WV A.3 Proof of Fact 2 2 This can be proved by setting = = 0, i termini di bias di to be , and to be the identity matrix where dovrebbe essere molto più grande della dimensione di Così che 2 T dominates the Spatial Encoding term. MEAN READOUT. WQ WK Q, K T 1 WV T bf T 11 B Experiment Details B.1 Details of Datasets We summarize the datasets used in this work in Table PCQM4m-LSC è un compito di previsione a livello di grafo della chimica quantistica nel recente OGB Large-Scale Challenge, originariamente curato nell'ambito del progetto PubChemQC. ]. 6. 42 Il compito del PCQM4M-LSC è quello di prevedere il divario energetico di molecole HOMO-LUMO calcolato in base ai loro grafici molecolari 2D, che è una delle proprietà chimiche quantistiche più rilevanti della scienza molecolare. PCQM4M-LSC è di scala senza precedenti rispetto ad altri set di dati di previsione a livello di grafo etichettati, che contengono più di grafici 3.8M. Inoltre, condottiamo esperimenti su due set di dati di grafici molecolari nei popolari leaderboard OGB, vale a dire, OGBG-MolPCBA e OGBG-MolHIV. Sono due dataset di previsione di proprietà molecolare con dimensioni diverse. La conoscenza pre-addestrata dei grafici molecolari su PCQM , Inoltre, utilizziamo un altro leaderboard popolare, vale a dire, benchmarking-gnn [ ]. Utilizziamo il set di dati ZINC, che è il più popolare set di dati molecolari del mondo reale per prevedere la regressione della proprietà grafica per la solubilità costretta, una proprietà chimica importante per la progettazione di GNN generativi per le molecole. A differenza della divisione dello scaffold in OGB, il campionamento uniforme è adottato in ZINC per la divisione dei dati. 21 22 14 B.2 Dettagli delle strategie di formazione B.2.1 PCQM4M-LSC Rapportiamo le impostazioni dettagliate di iperparametro utilizzate per la formazione Graphormer in Table Riduciamo la dimensione dello strato interno FFN di 4 in [ ] di , which does not appreciably hurt the performance but significantly save the parameters. The embedding dropout ratio is set to 0.1 by default in many previous Transformer works [ , Tuttavia, riteniamo empiricamente che un piccolo rapporto di drop-out di incorporazione (ad esempio, 0,1) porterebbe a un calo di prestazioni osservabile sul set di convalida di PCQM4M-LSC. Una possibile ragione è che il grafico molecolare è relativamente piccolo (cioè la media di #atomi in ciascuna molecola è di circa 15), rendendo la proprietà grafica più sensibile alle incorporazioni di ciascun nodo. 7. d 49 d 11 35 B.2.2 OGBG MolPCBA In primo luogo, segnaliamo le configurazioni del modello e iper-parametri del Graphormer pre-addestrato su PCQM4M-LSC. Empiricamente, troviamo che le prestazioni su MolPCBA beneficiano della grande dimensione del modello pre-addestramento. Pertanto, addestramo un Graphormer profondo con 18 strati di Transformer su PCQM4M-LSC. La dimensione nascosta e la dimensione dello strato interno FFN sono impostate su 1024. Pre-training. Graphormer. Besides, we enlarge the attention dropout ratio from 0.1 to 0.3 in both pre-training and fine-tuning to prevent the model from over-fitting. The rest of hyper-parameters remain unchanged. The pre-trained Graphormer used for MolPCBA achieves a valid MAE of 0.1253 on PCQM4M-LSC, which is slightly worse than the reports in Table 1. tavolo riassume gli iper-parametri utilizzati per il fine-tuning Graphormer su OGBG-MolPCBA. Realizziamo una ricerca di griglia per diversi iper-parametri per trovare la configurazione ottimale. I risultati sperimentali sono riportati dalla media di 10 corse indipendenti con semi casuali. Utilizziamo FLAG [ ] con modifiche minori per l'aumentare i dati del grafico. in particolare, ad eccezione della dimensione del passo Il numero di passi , utilizziamo anche una fase di proiezione in [ Con la massima perturbazione . The performance of Graphormer on MolPCBA is quite robust to the hyper-parameters of FLAG. The rest of hyper-parameters are the same with the pre-training model. Fine-tuning. 8 27 α m 62 g B.2.3 OGBG MolHIV We use the Graphormer reported in Table as the pre-trained model for OGBG-MolHIV, where the pre-training hyper-parameters are summarized in Table Pre-training. 1 7. I parametri ipertestuali per Graphormer su OGBG-MolHIV sono presentati nella Tabella Empirically, we find that the different choices of hyper-parameters of FLAG (i.e., step size Numero di passi , and maximum perturbation ) influenzerebbe notevolmente le prestazioni di Graphormer su OGBG-MolHiv. Pertanto, spendiamo più sforzi per condurre la ricerca di griglia per iper-parametri di FLAG. Rapportiamo i migliori iper-parametri con la media di 10 corse indipendenti con semi casuali. Fine-tuning. 9. α m g B.2.4 ZINC Per mantenere i parametri totali di Graphormer inferiori a 500K per richiesta da benchmarking-GNN leader-board [ ], insegniamo un Graphormer sottile a 12 strati con dimensione nascosta di 80, che si chiama GraphormerSLIM in Tabella and has about 489K learnable parameters. The number of attention heads is set to 8. Table riassume i parametri ipertestuali dettagliati su ZINC. Formiamo 400K passaggi su questo set di dati, e impieghiamo una decomposizione di peso di 0.01. 14 4 , 10 B.3 Details of Hyper-parameters for Baseline Methods In this section, we present the details of our re-implementation of the baseline methods. B.3.1 PCQM4M-LSC per gli operatori Il repository Github ufficiale di OGB-LSC provides hyper-parameters and codes to reproduce the results on leaderboard. These hyper-parameters work well on almost all popular GNN variants, except the DeeperGCN-VN, which results in a training divergence. Therefore, for DeeperGCN-VN, we follow the official hyper-parameter setting Dati forniti dagli autori [ ]. Per un confronto equo con Graphormer, addestramo un DeeperGCN a 12 strati. La dimensione nascosta è impostata su 600. La dimensione del lotto è impostata su 256. Il tasso di apprendimento è impostato su 1e-3 e un programmatore del tasso di apprendimento passo è impiegato con la dimensione del passo di decomposizione e il fattore di decomposizione 30 epoche e 0,25.Il modello è addestrato per 100 epoche. 7 8 30 γ La dimensione predefinita di laplacian PE di GT [ Tuttavia, causerà il 2,91% di piccole molecole (meno di 8 atomi) da filtrare. Pertanto, per GT e GT-Wide, impostamo la dimensione del laplacian PE a 4, il che si traduce in solo 0,08% di filtrazione. Adottiamo le impostazioni di iperparametro predefinite descritte in [ ], except that we decrease the learning rate to 1e-4, which leads to a better convergence on PCQM4M-LSC. 13 13 B.3.2 OGBG-MolPCBA Per raffinare il GIN-VN pre-addestrato su MolPCBA, seguiamo le impostazioni di iperparametro fornite nel documento OGB originale [ ].Per essere più concreti, caricamo il punto di controllo pre-addestrato riportato in Tabella and fine-tune it on OGBG-MolPCBA dataset. We use the grid search on the hyper-parameters for better fine-tuning performance. In particular, the learning rate is selected from {1e − 5, 1e − 4, 1e − 3}; the dropout ratio is selected from {0.0, 0.1, 0.5}; the batch size is selected from {32, 64}. 22 1 B.3.3 OGBG MolHIV Similarly, we fine-tune the pre-trained GIN-VN on MolHIV by following the hyper-parameter settings provided in the original OGB paper [ ]. We also conduct the grid search to look for optimal hyper-parameters. The ranges for each hyper-parameter of grid search are the same as the previous subsection. 22 C. Altri esperimenti Come descritto nel lavoro correlato, GROVER è un GNN basato su Transformer, che ha 100 milioni di parametri e pre-allenato su 10 milioni di molecole non etichettate utilizzando 250 GPU Nvidia V100. Scaricamo i modelli GROVER pre-addestrati dalla sua pagina web Github ufficiale , follow the official instruc-tions e perfezionare i punti di controllo pre-addestrati forniti con la ricerca accurata di iper-parametri (in Tabella Troviamo che GROVER potrebbe ottenere prestazioni competitive su MolHIV solo se impiegando caratteristiche molecolari aggiuntive, vale a dire impronte molecolari morgan e caratteristiche 2D . Therefore, we report the scores of GROVER by taking these two additional molecular features. Please note that, from the leaderboard , possiamo sapere che tali caratteristiche molecolari aggiuntive sono molto efficaci sul dataset MolHIV. 9 10 di 11). 11 12 tavolo e summarize the performance of GROVER and GROVERLARGE comparing with Graphormer on MolHIV and MolPCBA. From the tables, we observe that Graphormer could consistently outperform GROVER even without any additional molecular features. 12 13 Discussioni e lavori futuri Simile al normale Transformer, il meccanismo di attenzione in Graphormer scala quadraticamente con il numero di nodi nel grafico di input, che può essere proibitivamente costoso per grandi e impedisce il suo utilizzo in impostazioni con risorse di calcolo limitate. Recentemente, molte soluzioni sono state proposte per risolvere questo problema in Transformer [ , , , Questo problema sarebbe molto vantaggioso dal futuro sviluppo di Graphormer efficiente. Complexity. n n 25 52 57 37 In Graphormer, ci sono molteplici scelte per la centralità di rete e la funzione di codifica spaziale ( Per esempio, si può usare la 2 distanza nella struttura 3D tra due atomi in una molecola. In questo articolo, valutiamo principalmente la centralità generale e la metrica della distanza nella teoria dei grafici, vale a dire la centralità del grado e il percorso più breve. Choice of centrality and φ φ di VJ L Ci sono una vasta gamma di compiti di rappresentazione dei nodi sui dati strutturati nel grafico, come la finanza, la rete sociale e la previsione temporale. Graphormer potrebbe naturalmente essere utilizzato per l'estrazione della rappresentazione dei nodi con una strategia di campionamento grafico applicabile. Node Representation. This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv