Microsoft's Graphormer: Ang Transformer na Magsimula sa GNNs

ang mga author: Chengxuan Ying, yingchengsyuan@gmail.com (Dalian University of Technology) Tianle Cai, tianle.cai@princeton.edu (Princeton University) Shengjie Luo, luosj@stu.pku.edu.cn (Peking University) Shuxin Zheng, shuz@microsoft.com (Microsoft Research Asia) Guolin Ke, guoke@microsoft.com (Microsoft Research Asia) Di He, dihe@microsoft.com (Microsoft Research Asia) Yanming Shen, shen@dlut.edu.cn (Dalian University of Technology) Tie-Yan Liu, tyliu@microsoft.com (Microsoft Research Asia) ang mga author: Chengxuan Ying, yingchengsyuan@gmail.com (Dalian University of Technology) Tianle Cai, tianle.cai@princeton.edu (Princeton University) Shengjie Luo, luosj@stu.pku.edu.cn (Peking University) Shuxin Zheng, shuz@microsoft.com (Microsoft Research Asia) Guolin Ke, guoke@microsoft.com (Ang pag-aaral ng Microsoft sa Asia) Di He, dihe@microsoft.com (Ang pag-aaral ng Microsoft sa Asia) Yanming Shen, shen@dlut.edu.cn (Dalian University of Technology) Tie-Yan Liu, tyliu@microsoft.com (Ang pag-aaral ng Microsoft sa Asia) abstrak ang Ang Transformer architecture ay naging isang dominant na pagpipilian sa maraming mga domain, tulad ng natural language processing at computer vision. Gayunpaman, ito ay hindi makakakuha ng competitive performance sa mga popular na liderboards ng graph-level prediction sa pagitan ng mainstream GNN variants. Kaya, ito ay isang misteryo kung paano ang Transformers ay maaaring gawin malaki para sa graph representation learning. Sa artikulong ito, kami ay mag-solve ang misteryo na ito sa pamamagitan ng paghahatid ng Graphormer, na binubuo sa standard ng Transformer architecture, at maaaring makakuha ng mahusay na mga resulta sa isang malakas na pakikipagtulungan ng graph representation learning mga trabaho, lalo na sa nakaraang OGB Large-Scale Challenge. Ang aming pangunahing pag-aralan sa paggamit ng Transformer sa graph ay ang kinakailangan upang . https://github.com/Microsoft/Graphormer 1 Mga Introduction Ang mga transformer [ ] ay kilala bilang ang pinaka-powerful neural network sa modeling sequential data, tulad ng natural na wika [ na ang na ang at ang mga salita [ ]. Ang mga variants ng modelo na binuo sa Transformer ay din nagpakita ng mahusay na pagganap sa computer vision [ na ang Ang mga programming language [ na ang na ang ]. Gayunpaman, sa karamihan ng aming kaalaman, ang Transformer ay hindi pa rin ang de-facto standard sa public graph representation leaderboards [ na ang na ang ]. May maraming mga pagsusuri ng pag-apply ng Transformer sa domain ng graph, ngunit ang isang napaka-efektibo na paraan ay upang i-substitute ang ilang mga key modules (e.g., feature aggregation) sa classic GNN variants sa pamamagitan ng softmax attention [ na ang na ang na ang na ang na ang na ang ]. Kaya, ito ay isang open na tanong kung ang Transformer architecture ay magagamit upang model graphs at kung paano gawin ito magtrabaho sa graph representation learning. 49 11 35 6 17 12 36 19 63 44 22 14 21 50 7 23 51 61 46 13 Sa dokumento na ito, nagbibigay kami ng isang katumbas na solusyon sa pamamagitan ng pag-unlad ng Graphormer, na ay itinatag nang direkta sa standard na Transformer, at lumikha ng state-of-the-art na pagganap sa isang malalaking palitan ng mga trabaho ng prediction sa layunin ng graph, kabilang ang pinakabagong Open Graph Benchmark Large-Scale Challenge (OGB-LSC) [ ], at ang ilang mga popular na leaderboards (e.g., OGB [ [ ], Benchmarking-GNN sa pamamagitan ng [ ]). Ang Transformer ay inihanda na para sa sequence modeling. Upang gamitin ang kanyang kapangyarihan sa mga graphs, tinatanggap namin na ang katangian ay upang matatagpuan ang mga struktural na impormasyon ng mga graphs sa modelo. , ang self-attention lamang ay pagkalkula ang semantic similarity sa pagitan ng at iba pang mga nodes, nang nangangahulugan ang mga struktural na impormasyon ng isang graph na ipinapakita sa mga nodes at ang relasyon sa pagitan ng mga pares ng nodes. Graphormer ay nagtatrabaho ng ilang epektibo na mga pamamaraan ng struktural na pag-encoding upang gamitin ang mga impormasyon na ito, na tinatawag sa ibaba. 21 22 14 i i Ang unang proposal ay a sa Graphormer upang i-capture ang importance ng node sa graph. Sa isang graph, ang iba't-ibang mga nodes ay maaaring may iba't-ibang importance, halimbawa, ang mga celebrities ay tinatanggap na mas mabuti kaysa sa karamihan ng mga gumagamit sa web sa isang social network. Gayunpaman, ang impormasyon na ito ay hindi inaasahan sa self-attention module dahil ito ay pag-calculates ang mga katangian sa pangunahing paggamit ng node semantic mga tampok. Upang matugunan ang problema, inihayag namin na i-coding ang node centrality sa Graphormer. Halimbawa, nagtatagumpay ang Para sa centrality encoding, kung saan ang isang aprendable vector ay ibinigay sa bawat node ayon sa kanyang degree at idinagdag sa mga node features sa input layer. Empirical studies show that simple centrality encoding is effective for Transformer in modeling the graph data. Pag-coding ng Central Magkakaroon ng centrality Pagkatapos, nag-aalok kami ng isang novel Sa Graphormer upang i-capture ang mga relasyon sa pagitan ng mga nodes. Ang isa sa mga pangunahing geometric property na naghahatid ang mga data sa graph-structured mula sa iba pang mga data na-structured, halimbawa, mga imahe, ay na hindi may isang canonical grid upang i-embed ang graph. Sa katunayan, ang mga nodes ay maaaring lamang matatagpuan sa isang non-Euclid space at ay nakipag-ugnayan sa pamamagitan ng mga edges. Upang i-model ang mga struktural na impormasyon, para sa bawat parehong node, kami ay naghahatid ng isang matinding embedding batay sa kanilang mga spatial relasyon. Ang maraming mga pagsusuri sa literature ay maaaring i-powered para sa modeling ng spatial relations. Para sa isang ang spatial coding Sa pamamagitan ng paggamit ng mga propesyonal na pag-encoding sa itaas, kami ay higit pa matematikal na nagpapakita na Graphormer ay may mahusay na expressivity bilang maraming popular na mga variants ng GNN ay lamang ang kanyang espesyal na mga kaso. Ang mahusay na kapasidad ng modelo ay nagdadala sa state-of-the-art pagganap sa isang malalaking palatandaan ng mga gawain sa karanasan. Sa malaking-scale quantum chemistry regression dataset sa mga nakaraang Open Graph Benchmark Large-Scale Challenge (OGB-LSC) [ ], ang Graphormer ay mas mataas sa karamihan ng mga mainstream na variants ng GNN sa higit sa 10% na puntos sa pagitan ng relatibong error. Sa iba pang mga popular na liderboards ng graph representation learning (e.g., MolHIV, MolPCBA, ZINC) [ na ang ], Graphormer din nagkakahalaga ng mga unang pinakamahusay na resulta, na nagpapakita ng potensyal at adaptabilidad ng Transformer architecture. 3 21 22 14 2 mga preliminary Sa seksyon na ito, i-recap ang mga preliminaries sa Graph Neural Networks at Transformers. Magbigay ng G = (V, E) ang isang graph na kung saan V = {v1, v2, · · · , vn}, n = fhV, ay ang bilang ng mga nodes. Magbigay ng ang vector ng feature ng node vi ay xi . Ang GNN ay nagtatagumpay sa pag-aaral ng representasyon ng nodes at mga graphs. Karaniwang, ang mga modernong GNN ay sumusunod ng isang learning scheme na iteratively update ang representation ng isang node sa pamamagitan ng aggregating representations ng kanyang unang o mas mataas na-order na mga kabataan. Nagtatagumpay ng h (l) i bilang ang representasyon ng vi sa l-th layer at iterate ng h (0) i = xi. Ang l-th iteration ng aggregation ay maaaring iterate sa pamamagitan ng AGGREGATE-COM Graph Neural Network (GNN). where N (vi) is the set of first or higher-order neighbors of vi. Ang function AGGREGATE ay ginagamit upang makuha ang impormasyon mula sa neighbors. Karaniwang mga function ng aggregation ay kabilang ang MEAN, MAX, SUM, na ginagamit sa iba't ibang architectures ng GNNs [26, 18, 50, 54]. Ang layunin ng function COMBINE ay upang i-fuse ang impormasyon mula sa mga neighbors sa node representation. Sa karagdagang, para sa mga trabaho ng representasyon ng graph, isang function READOUT ay dinisenyo upang mag-agregate ang mga tampok ng node h (L) i ng final iteration sa representasyon hG ng buong graph G: READOUT ay maaaring i-implementado sa pamamagitan ng isang simpleng permutation invariant function tulad ng summation [54] o isang mas matinding graph-level pooling function [1]. Ang Transformer architecture ay binubuo ng isang komposisyon ng mga layer ng Transformer [49]. Ang bawat layer ng Transformer ay may dalawang bahagi: isang self-attention module at isang posisyon-wise feed-forward network (FFN). Magbigay H = h > 1, · · , h> n > ∈ R n×d ibinibigay ang input ng self-attention module kung saan d ay ang hidden dimension at hi ∈ R 1×d ay ang hidden representation sa posisyon i. Ang input H ay proyektado sa pamamagitan ng tatlong matrices WQ ∈ R d×dK , WK ∈ R d×dK at WV ∈ R d×dV sa mga katumbas na representasyon Q, K, V. Ang self-attention ay pagkatapos ay inilathala bilang: Transformer Nasaan ang Ito ay isang matrix na naka-capture ang kasaysayan sa pagitan ng mga query at mga keys. Para sa simplicity ng ilustrasyon, makikita namin ang single-head self-attention at sumasama = ang = ang Ang extension sa multi-head attention ay standard at straightforward, at inalis namin ang term bias para sa simplicity. A ang dk ang dv d 3 Mga Graphic Sa seksyon na ito, inihahanda namin ang aming Graphormer para sa mga gawain ng graph. Sa unang, naglalaman namin ang ilang mga pangunahing disenyo sa Graphormer, na nagtatrabaho bilang isang inductive bias sa neural network upang malaman ang graph representation. Nagbibigay kami ng higit pa sa mga detalye na pag-implementasyon ng Graphormer. Sa katapusan, nagpapakita namin na ang aming mga propesyonal na Graphormer ay mas malakas dahil sa mga popular na mga modelo ng GNN [ na ang na ang Ang mga ito ay mga special cases. 26 54 18 3.1 Structural Codings sa Graphormer Tulad ng tinutukoy sa pag-introduction, ito ay mahalaga upang bumuo ng mga paraan upang gamitin ang mga struktural na impormasyon ng mga graphs sa Transformer modelo. Para sa pananampalataya na ito, inihahanda namin ang tatlong simpleng ngunit epektibo na disenyo ng pag-encode sa Graphormer. tingnan ang Figure Para sa ilustrasyon. 1 3.1.1 Pag-coding ng Centrality sa ang paghahatid ng pangangailangan ay inihayag batay sa semantic correlation sa pagitan ng mga nodes. Gayunpaman, ang node centrality, na nagtatagumpay kung paano mahalaga ang isang node sa graph, ay karaniwang isang malakas na signal para sa pag-iisip ng graph. Halimbawa, mga celebrities na may isang malaking bilang ng mga tagahanga ay mahalaga na mga faktor sa pag-aari ng trend ng isang social network [ na ang ]. Ang impormasyon na ito ay nangangahulugan sa kasalukuyang kalkulasyon ng atensyon, at tinatanggap namin na ito ay isang mahalagang signal para sa mga modelo ng Transformer. sa pamamagitan ng 4.4, 40 39 Sa Graphormer, ginagamit namin ang degree centrality, na kung saan ay isa sa mga standard na halaga ng centrality sa literatura, bilang isang add-on signal sa neural network. Kung ang isang node ay naglalaman ng dalawang real-value embedding vectors ayon sa kanyang indegree at outdegree. Dahil ang centrity encoding ay ginagamit sa bawat node, kami lamang magdagdag ito sa mga tampok ng node bilang input. Pag-coding ng Central where z −, z+ ∈ R d are learnable embedding vectors specified by the indegree deg−(vi) and outdegree deg+(vi) respectively. Para sa undirected graphs, deg−(vi) and deg+(vi) could be unified to deg(vi). Sa pamamagitan ng paggamit ng centrity encoding sa input, ang softmax attention ay maaaring makakuha ng ang node importance signal sa mga queries at mga keys. Kaya ang modelo ay maaaring makakuha ng parehong semantic correlation at node importance sa attention mechanism. 3.1.2 Ang mga spatial na coding Ang isang katangian ng Transformer ay ang kanyang global receptive field. Sa bawat layer ng Transformer, ang bawat token ay maaaring makipag-usap sa impormasyon sa anumang posisyon at pagkatapos ay pagproseso ang kanyang representasyon. Ngunit ang operasyon na ito ay may isang problema ng side-product na ang modelo ay dapat eksplicit na itakda ng iba't ibang posisyon o i-coding ang posisyon dependency (tulad ng lokasyon) sa mga layer. Para sa sequential data, maaari kang magbigay sa bawat posisyon ng isang embedding (i.e., absolute positional encoding [ ]) bilang ang input o code ang relatibong distansya ng anumang dalawang posisyon (i.e., relatibong positional coding Ipinanganak ang transformer layer. 49 [45 ang 47) ang Gayunpaman, para sa mga graphs, ang mga nodes ay hindi na-aralan bilang isang sequence. Maaari sila na matatagpuan sa isang multidimensional na spatial na lugar at pinagsasama sa pamamagitan ng mga kanluran. Upang i-coding ang mga struktural na impormasyon ng isang graph sa modelo, inihayag namin ang isang bagong Spatial Encoding. Konektado, para sa anumang graph G, tinanggap namin ang isang function φ (vi , vj ) : V × V → R na matuklasan ang spatial na relasyon sa pagitan ng vi at vj sa graph G. Ang function φ ay maaaring defined sa pamamagitan ng koneksyon sa pagitan ng mga nodes sa graph. Sa paper na ito, pinili namin φ(vi , vj ) upang maging ang distansya ng pinakamataas na path ( Nasaan ang ( ) ay isang learnable scalar na indexed sa pamamagitan ng ( ), at ibinigay sa lahat ng mga layers. ang bf sa pamamagitan ng VJ φ sa loob ng vj Sa ibaba, sa pagitan ng mga konvensyonal na GNNs na tinatawag sa Section 2, kung saan ang receptive field ay limitado sa mga kabuuan, maaari naming makita na sa Eq. , ang layer ng Transformer ay nagbibigay ng isang global na impormasyon na ang bawat node ay maaaring sumali sa lahat ng iba pang mga nodes sa graph. ( ), ang bawat node sa isang single Transformer layer ay maaaring adaptively tumutulong sa lahat ng iba pang mga node ayon sa graph na struktural na impormasyon. ( ) ang (6) ang ang bf sa pamamagitan ng VJ ang bf sa pamamagitan ng VJ Maging isang disadvantaged function sa pamamagitan ng ( ), para sa bawat node, ang modelo ay makakakuha ng mas mataas na paghahatid sa mga nodes malapit sa kanya at mas mataas na paghahatid sa mga nodes malapit sa kanya. φ sa loob ng vj 3.1.3 Edge Encoding sa Attention Sa maraming mga trabaho sa graph, ang mga edges ay may mga katangian, halimbawa, sa isang molekular na graph, ang mga pares ng atomo ay maaaring magkaroon ng mga katangian na naglalarawan ng uri ng binding sa pagitan ng mga ito. Ang mga katangian na ito ay mahalaga sa representasyon ng graph, at ang pag-encode ng mga ito kasama ang mga katangian ng nodes sa network ay mahalaga. May karaniwang dalawang mga paraan ng pag-encode ng edge na ginagamit sa mga nakaraang mga gawain. Sa unang paraan, ang mga katangian ng edge ay idinagdag sa mga katangian ng mga katangian na may mga nodes. [ na ang Sa ikalawang paraan, para sa bawat node, ang mga katangian ng mga katangian ng mga katangian ay ginagamit kasama ang mga katangian ng node sa aggregation [ na ang na ang ]. Gayunpaman, ang mga paraan ng paggamit ng edge feature lamang mag-propagate ang edge information sa mga nakatuon na nodes, na maaaring hindi isang mahusay na paraan upang gamitin ang edge information sa representasyon ng buong graph. 22 30 15 54 26 Para sa pag-coding ng mga katangian ng kagamitan sa mga layer ng atensyon, inihahanda namin ang isang bagong metriko ng pag-coding ng kagamitan sa Graphormer. Ang mekanismo ng atensyon ay kinakailangan upang estimate ang mga korelasyon para sa bawat parehong node ( Sa katunayan, ang mga sumusunod na mga ito ay dapat na magkaroon ng relasyon sa mga ito. , Mga pahinang tumuturo ( Sa mga mas mababang posisyon ay may mga species ng Eurobond fauna, at ang mga altitude ng bundok ay dumarami sa pagtaas ng altitude. ang ( 1 sa e , ... , eN * ) mula sa 2 ang Pagkakaiba sa pagitan ng pagitan ng pagitan ng pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ng Pagitan ( Ang mga elemento ng sa pamamagitan ng Eq. Pagkatapos ng edge coding sa pamamagitan ng: sa loob ng vj 34 51 sa loob ng vj Iyong e 2 ang vi ang vj I, ang j A (3) ang ang mga kung saan xen ay ang feature ng n-th edge en sa SPij , w E n ∈ R dE ay ang n-th weight embedding, at dE ay ang dimensionality ng edge feature. 3.2 Implementation Mga detalye ng Graphormer Graphormer ay binuo sa orihinal na pag-implementasyon ng classic Transformer encoder na inilarawan sa [ ]. Sa karagdagang, ginagamit namin ang layer normalization (LN) bago ang multi-head self-attention (MHA) at ang feed-forward blocks (FFN) hindi pagkatapos ng [ ]. Ang pagbabago na ito ay unanimously adopted sa lahat ng kasalukuyang Transformer implementations dahil ito ay nangangahulugan sa mas mahusay na optimization [ ]. Karamihan, para sa sub-layer ng FFN, i-set ang dimensionality ng input, output, at ang inner-layer sa parehong dimensyon na may Kami formally characterize ang Graphormer layer tulad ng ibaba: Graphormer Layer. 49 53 43 d Tulad ng ibig sabihin sa nakaraang seksyon, ang iba't-ibang mga graph pooling function ay inihayag upang ipinatupad ang graph embedding. [ ], sa Graphormer, inilagay namin ang isang espesyal na node na tinatawag na [VNode] sa graph, at lumikha ng koneksyon sa pagitan ng [VNode] at sa bawat node individually. Sa step ng AGGREGATE-COMBINE, ang representasyon ng [VNode] ay na-update bilang normal na nodes sa graph, at ang representasyon ng buong graph Ito ay ang unang pulong matapos ang isang maikling summer break. na ang ], mayroong isang katulad na token, i.e., [CLS], na kung saan ay isang espesyal na token na itinatag sa simula ng bawat sequence, upang ipinakita ang sequence-level feature sa downstream tasks. habang ang [VNode] ay konektado sa lahat ng iba pang mga nodes sa graph, na kung saan ang distansya ng pinakamataas na path ay 1 para sa anumang (Ang mga tao) ( at ang ( [VNode]), ang koneksyon ay hindi physics. Upang ilagay ang koneksyon ng physics at virtual, inspirado sa [ ], i-reset ang lahat ng mga spatial na coding para sa (Ang mga tao) ( at ang ( Sa mga mas mababang posisyon ay may mga species ng Eurobond fauna, at ang mga altitude ng bundok ay dumarami sa pagtaas ng altitude. Special Node. 15 ang hg 11 35 φ ang vj φ Ikaw ang 25 ang bf ang vj ang bf Ikaw ang 3.3 Paano Powerful ang Graphormer? Sa mga nakaraang subsection, nag-introduce namin ang tatlong structural codings at ang architecture ng Graphormer. At pagkatapos ay isang natural na tanong ay: Sa sub-section na ito, nag-aalok namin ang isang afirmasyon na solusyon sa pamamagitan ng nagpapakita na ang Graphormer ay maaaring ipinakilala ang mga step AGGREGATE at COMBINE sa mga popular na mga modelo ng GNN: Ang mga modifyasyon na ito ay gumagawa ng Graphormer na mas mahusay kaysa sa iba pang mga variants ng GNN? Fact 1. Sa pamamagitan ng pagpili ng parehong mga timbang at distansya function φ, ang Graphormer layer ay maaaring ipinakita ang AGGREGATE at COMBINE step ng mga popular na mga modelo ng GNN tulad ng GIN, GCN, GraphSAGE. Ang proof sketch upang i-derive ang resulta na ito ay: 1) Ang spatial encoding ay nagbibigay-daan sa self-attention module upang i-differentiate ang neighbor set N (vi) ng node vi kaya ang function softmax ay maaaring i-calculate ang average statistics sa pamamagitan ng N (vi); 2) Malaman ang degree ng isang node, average sa pamamagitan ng mga kasamahan ay maaaring i-translated sa summation sa pamamagitan ng mga kasamahan; 3) Sa multiple heads at FFN, mga representasyon ng vi at N (vi) ay maaaring i-process separately at i-combine kasama pagkatapos. Sa karagdagang, ipakita namin sa karagdagang na sa pamamagitan ng paggamit ng aming spatial na pag-encoding, Graphormer ay maaaring pumunta sa higit sa mga klasikong mensahe passing GNNs na ang ekspresyonal na kapangyarihan ay hindi higit sa 1-Weisfeiler-Lehman (WL) test. Sa paglipas ng mas mataas na ekspresyon sa mga popular na GNNs, makikita natin din ang isang interesado na koneksyon sa pagitan ng paggamit ng self-attention at ang virtual node heuristic [ na ang na ang na ang ]. Bilang nagpakita sa liderboard ng OGB [ ], ang virtual node trick, na kung saan ayusin ang mga graphs na may mga karagdagang supernodes na naka-connected sa lahat ng mga nodes sa mga orihinal na graphs, ay maaaring mas mahusay na mapabuti ang pagganap ng mga kasalukuyang GNNs. Konseptibo, ang karagdagang ng virtual node ay na ito ay maaaring mag-aggregate ang impormasyon ng (Tulad nila Tirso at Lyn ang mga anak nila) Gayunpaman, ang isang naive na pagdaragdag ng isang supernode sa isang graph ay maaaring humantong sa inadvertent over-smoothing ng propagation ng impormasyon [ ]. Sa halip, natagpuan namin na ang isang tulad ng graph-level aggregation at propagation operation ay maaaring naturuan na lumapit sa pamamagitan ng vanilla self-attention nang walang karagdagang codings. Connection between Self-attention and Virtual Node. 15 31 24 22 22 Ang lahat ng graph Lahat ng Node 24 Fact 2. Sa pamamagitan ng pagpili ng mga katangian, ang bawat node na representasyon ng output ng isang layer ng Graphormer nang walang karagdagang mga coding ay maaaring ipinakita ang MEAN READOUT function. Ang katotohanan na ito ay gumagamit ng self-attention na ang bawat node ay maaaring tumutulong sa lahat ng iba pang mga nodes. Kaya ito ay maaaring simulate graph-level READOUT operasyon upang makipag-ugnay ng impormasyon mula sa buong graph. Sa pamamagitan ng teorikal na pagsasalita, kami empirically natagpuan na Graphormer ay hindi nakikita ang problema ng over-smoothing, na nagbibigay ng pagbutihin na scalable. Ang katotohanan ay din inspirasyon sa amin upang i-introduce ang isang espesyal na node para sa graph readout (tingnan ang previous subsection). 4 Mga eksperimento Nagsimula kami ng mga eksperimento sa nakaraang OGB-LSC [ ] Quantum chemistry regression (i.e., PCQM4M-LSC) challenge, na kung saan ay kasalukuyang ang pinakamalaking graph-level prediction dataset at naglalaman ng higit sa 3.8M graphs sa kabuuan. Pagkatapos, kami report ang mga resulta sa iba pang tatlong popular na mga gawain: ogbg-molhiv, ogbg-molpcba at ZINC, na dumating mula sa OGB [ [ ] at ang benchmarking-GNN [ ] leaderboards. Sa katapusan, tumutukoy namin ang mga mahalagang mga elemento ng disenyo ng Graphormer. Ang isang detalyadong paglalarawan ng datasets at training strategies ay makikita sa Appendix B. 21 22 14 4.1 OGB Large-Scale Challenge We benchmark the proposed Graphormer with GCN [ ] and GIN [ ], and their variants with virtual node (-VN) [ ]. They achieve the state-of-the-art valid and test mean absolute error (MAE) on the official leaderboard [ ]. Sa karagdagang, nagtatagumpay sa multi-hop na variante ng GIN [ ], and 12-layer deep graph network DeeperGCN [ ], which also show promising performance on other leaderboards. We further compare our Graphormer with the recent Transformer-based graph model GT Baselines. 26 54 15 4 21 5 30 [13 Ang mga ito] We primarily report results on two model sizes: ( = 12*, d* = 768), and a smaller one ( = 6*, d* = 512). Ang parehong bilang ng mga pangangailangan ng pag-atake sa module ng pangangailangan at ang dimensionalidad ng mga tampok ng edge are set to 32. We use AdamW as the optimizer, and set the hyper-parameter to 1e-8 and ( 1*, β*2) to (0.99,0.999). The peak learning rate is set to 2e-4 (3e-4 for ) with a 60k-step warm-up stage followed by a linear decay learning rate scheduler. The total training steps are 1M. The batch size is set to 1024. All models are trained on 8 NVIDIA V100 GPUS for about 2 days. Settings. Graphormer L GraphormerSMALL L dE ϵ β GraphormerSMALL Table summarizes performance comparisons on PCQM4M-LSC dataset. From the table, GIN-VN achieves the previous state-of-the-art validate MAE of 0.1395. The original implementation of GT [ ] employs a hidden dimension of 64 to reduce the total number of parameters. For a fair comparison, we also report the result by enlarging the hidden dimension to 768, denoted by GT-Wide, which leads to a total number of parameters of 83.2M. While, both GT and GT-Wide do not outperform GIN-VN and DeeperGCN-VN. Especially, we do not observe a performance gain along with the growth of parameters of GT. Results. 1 13 Compared to the previous state-of-the-art GNN architecture, Graphormer noticeably surpasses GIN-VN by a large margin, e.g., 11.5% relative validate MAE decline. By using the ensemble with ExpC [ ], nakuha namin ang isang 0.1200 MAE sa buong test set at nakuha ang unang lugar ng graph-level track sa OGB Large-Scale Challenge[ , ]. As stated in Section we further find that the proposed Graphormer does not encounter the problem of over-smoothing, i.e., the train and validate error keep going down along with the growth of depth and width of models. 55 21 58 3.3 ang 4.2 Graph Representation In this section, we further investigate the performance of Graphormer on commonly used graph-level prediction tasks of popular leaderboards, i.e., OGB [ ] (OGBG-MolPCBA, OGBG-MolHIV), and benchmarking-GNN [ ] (ZINC). Since pre-training is encouraged by OGB, we mainly explore the transferable capability of a Graphormer model pre-trained on OGB-LSC (i.e., PCQM4M-LSC). Please note that the model configurations, hyper-parameters, and the pre-training performance of pre-trained Graphormers used for MolPCBA and MolHIV are different from the models used in the previous subsection. Please refer to Appendix B for detailed descriptions. For benchmarking-GNN, which does not encourage large pre-trained model, we train an additional GraphormerSLIM ( = 12*, d* = 80, total param.= 489 ) from scratch on ZINC. 22 14 L K We report performance of GNNs which achieve top-performance on the official leader-boards Dahil ang pre-trained Graphormer ay gumagamit ng mga eksternal na data, para sa isang fair comparison sa OGB datasets, kami ay karaniwang inilathala ng pagganap para sa fine-tuning GIN-VN pre-trained sa PCQM4M-LSC datasets, na kung saan ay makakuha ng ang previous state-of-the-art valid at test MAE sa datasets na ito. Baselines. 5 without additional domain-specific features We report detailed training strategies in Appendix B. In addition, Graphormer is more easily trapped in the over-fitting problem due to the large size of the model and the small size of the dataset. Therefore, we employ a widely used data augmentation for graph - FLAG [ ], upang mabawasan ang problema ng over-fitting sa OGB datasets. Settings. 27 ang table at ang summarize performance of Graphormer comparing with other GNNs on MolHIV, MolPCBA and ZINC datasets. Especially, GT [ ] and SAN [ ] in Table are recently proposed Transformer-based GNN models. Graphormer consistently and significantly outperforms previous state-of-the-art GNNs on all three datasets by a large margin. Specially, except Graphormer, the other pre-trained GNNs do not achieve competitive performance, which is in line with previous literature [ ]. In addition, we conduct more comparisons to fine-tuning the pre-trained GNNs, please refer to Appendix C. Results. 2, 3 4 13 28 4 20 4.3 Mga pananaliksik Ipinakilala namin ang isang serye ng mga pananaliksik sa ablation tungkol sa katangian ng mga disenyo sa aming proposed Graphormer, sa PCQM4M-LSC dataset. Ang mga resulta ng ablation ay kasama sa Table To save the computation resources, the Transformer models in table have 12 layers, and are trained for 100K iterations. 5. 5 We compare previously used positional encoding (PE) to our proposed spatial encoding, which both aim to encode the information of distinct node relation to Transformers. There are various PEs employed by previous Transformer-based GNNs, e.g., Weisfeiler-Lehman-PE (WL-PE) [ ] and Laplacian PE [ , ]. We report the performance for Laplacian PE since it performs well comparing to a series of PEs for Graph Transformer in previous literature [ ]. Transformer architecture with the spatial encoding outperforms the counterpart built on the positional encoding, which demonstrates the effectiveness of using spatial encoding to capture the node spatial information. Node Relation Encoding. 61 3 14 13 Transformer architecture with degree-based centrality encoding yields a large margin performance boost in comparison to those without centrality information. This indicates that the centrality encoding is indispensable to Transformer architecture for modeling graph data. Centrality Encoding. We compare our proposed edge encoding (denoted as via attn bias) to two commonly used edge encodings described in Section to incorporate edge features into GNN, denoted as via node and via Aggr in Table From the table, the gap of performance is minor between the two conventional methods, but our proposed edge encoding performs significantly better, which indicates that edge encoding as attention bias is more effective for Transformer to capture spatial information on edges. Edge Encoding. 3.1.3 5. 5 Related Work In this section, we highlight the most recent works which attempt to develop standard Transformer architecture-based GNN or graph structural encoding, but spend less effort on elaborating the works by adapting attention mechanism to GNNs [33, 60 ang 7, 23, 1, 50, 51, 61, 48]. 5.1 Graph Transformer There are several works that study the performance of pure Transformer architectures (stacked by transformer layers) with modifications on graph representation tasks, which are more related to our Graphormer. For example, several parts of the transformer layer are modified in [ ], including an additional GNN employed in attention sub-layer to produce vectors of na ang , and , long-range residual connection, and two branches of FFN to produce node and edge representations separately. They pre-train their model on 10 million unlabelled molecules and achieve excellent results by fine-tuning on downstream tasks. Attention module is modified to a soft adjacency matrix in [ ] by directly adding the adjacency matrix and RDKit -computed inter-atomic distance matrix to the attention probabilites. Very recently, Dwivedi [ ] revisit a series of works for Transformer-based GNNs, and suggest that the attention mechanism in Transformers on graph data should only aggregate the information from neighborhood (i.e., using adjacent matrix as attention mask) to ensure graph sparsity, and propose to use Laplacian eigenvector as positional encoding. Their model GT surpasses baseline GNNs on graph representation task. A concurrent work [ Mag-propose ng isang bagong buong Laplacian spektrum upang malaman ang posisyon ng bawat node sa isang graph, at empirically nagpapakita ng mas mahusay na mga resulta kaysa sa GT. 46 Q K V 41 6 et al. 13 28 5.2 Structural Encodings in GNNs Information of path and distance is commonly used in GNNs. For example, an attention-based aggregation is proposed in [ ] where the node features, edge features, one-hot feature of the distance and ring flag feature are concatenated to calculate the attention probabilites; similar to path-based attention is leveraged in to model the influence between the center node and its higher-order neighbors; a distance-weighted aggregation scheme on graph is proposed in [ ]; it has been proved in [ ] that adopting distance encoding (i.e., one-hot feature of the distance as extra node attribute) could lead to a strictly more expressive power than the 1-WL test. Path and Distance in GNNs. 9 [9], [56] 59 32 Several works introduce positional encoding (PE) to Transformer-based GNNs to help the model capture the node position information. For example, Graph-BERT [ ] introduces three types of PE to embed the node position information to model, i.e., an absolute WL-PE which represents different nodes labeled by Weisfeiler-Lehman algorithm, an intimacy based PE and a hop based PE which are both variant to the sampled subgraphs. Absolute Laplacian PE is employed in [ ] and empircal study shows that its performance surpasses the absolute WL-PE used in Positional Encoding in Transformer on Graph. 61 13 [61]. Except the conventionally used methods to encode edge feature, which are described in previous section, there are several attempts that exploit how to better encode edge features: an attention-based GNN layer is developed in [ ] to encode edge features, where the edge feature is weighted by the similarity of the features of its two nodes; edge feature has been encoded into the popular GIN [ ] in [ ]; in [ ], the authors propose to project edge features to an embedding vector, then multiply it by attention coefficients, and send the result to an additional FFN sub-layer to produce edge representations; Edge Feature. 16 54 5 13 6 Conclusion We have explored the direct application of Transformers to graph representation. With three novel graph structural encodings, the proposed Graphormer works surprisingly well on a wide range of popular benchmark datasets. While these initial results are encouraging, many challenges remain. For example, the quadratic complexity of the self-attention module restricts Graphormer’s application on large graphs. Therefore, future development of efficient Graphormer is necessary. Performance improvement could be expected by leveraging domain knowledge-powered encodings on particular graph datasets. Finally, an applicable graph sampling strategy is desired for node representation extraction with Graphormer. We leave them for future works. 7 Acknowledgement We would like to thank Mingqi Yang and Shanda Li for insightful discussions. References [1] Jinheon Baek, Minki Kang, and Sung Ju Hwang. Accurate learning of graph representations with graph multiset pooling. sa 2021. ICLR [2] Dominique Beaini, Saro Passaro, Vincent Létourneau, William L Hamilton, Gabriele Corso, and Pietro Liò. Directional graph networks. In , 2021. International Conference on Machine Learning [3] Mikhail Belkin and Partha Niyogi. Laplacian eigenmaps for dimensionality reduction and data representa-tion. , 15(6):1373–1396, 2003. Neural computation [4] Xavier Bresson and Thomas Laurent. Residual gated graph convnets. , 2017. arXiv preprint arXiv:1711.07553 [5] Rémy Brossard, Oriel Frigo, and David Dehaene. Graph convolutions that can finally model local structure. Ano ang 2020. arXiv preprint arXiv:2011.15069 [6] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, , volume 33, mga pahina 1877–1901. Curran Associates, Inc., 2020. Advances in Neural Information Processing Systems [7] Deng Cai and Wai Lam. Graph transformer for graph-to-sequence learning. In , volume 34, pages 7464–7471, 2020. Proceedings of the AAAI Conference on Artificial Intelligence [8] Tianle Cai, Shengjie Luo, Keyulu Xu, Di He, Tie-yan Liu, at Liwei Wang. Graphnorm: A principled approach to accelerating graph neural network training. , 2021. International Conference on Machine Learning [9] Benson Chen, Regina Barzilay, and Tommi Jaakkola. Path-augmented graph transformer network. Ano ang 2019. arXiv preprint arXiv:1905.12712 [10] Gabriele Corso, Luca Cavalleri, Dominique Beaini, Pietro Liò, and Petar Velicˇkovic´. Principal neighbour-hood aggregation for graph nets. Ang mga ito ay 3, 2020. Advances in Neural Information Processing Systems [11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidi-rectional transformers for language understanding. In , pages 4171–4186, 2019. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) [12] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth 16x16 words: Transformers for image recognition at scale. Ano ang 2020. arXiv preprint arXiv:2010.11929 [13] Vijay Prakash Dwivedi and Xavier Bresson. A generalization of transformer networks to graphs. sa 2021. AAAI Workshop on Deep Learning on Graphs: Methods and Applications [14] Vijay Prakash Dwivedi, Chaitanya K Joshi, Thomas Laurent, Yoshua Bengio, and Xavier Bresson. Bench-marking graph neural networks. , 2020. arXiv preprint arXiv:2003.00982 [15] Justin Gilmer, Samuel S Schoenholz, Patrick F Riley, Oriol Vinyals, and George E Dahl. Neural message passing for quantum chemistry. In , pages 1263–1272. PMLR, 2017. International Conference on Machine Learning [16] Liyu Gong and Qiang Cheng. Exploiting edge features for graph neural networks. In , pages 9211–9219, 2019. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition [17] Anmol Gulati, James Qin, Chung-Cheng Chiu, Niki Parmar, Yu Zhang, Jiahui Yu, Wei Han, Shibo Wang, Zhengdong Zhang, Yonghui Wu, et al. Conformer: Convolution-augmented transformer for speech recognition. , 2020. arXiv preprint arXiv:2005.08100 [18] William L Hamilton, Zhitao Ying, and Jure Leskovec. Inductive representation learning on large graphs. In Ano ang 2017. NIPS [19] Vincent J Hellendoorn, Charles Sutton, Rishabh Singh, Petros Maniatis, and David Bieber. Global relational models of source code. In , 2019. International conference on learning representations [20] W Hu, B Liu, J Gomes, M Zitnik, P Liang, V Pande, and J Leskovec. Strategies for pre-training graph neural networks. In , 2020. International Conference on Learning Representations (ICLR) sa pamamagitan ng [21] Weihua Hu, Matthias Fey, Hongyu Ren, Maho Nakata, Yuxiao Dong, and Jure Leskovec. Ogb-lsc: A large-scale challenge for machine learning on graphs. sa 2021. arXiv preprint arXiv:2103.09430 [22] Weihua Hu, Matthias Fey, Marinka Zitnik, Yuxiao Dong, Hongyu Ren, Bowen Liu, Michele Catasta, and Jure Leskovec. Open graph benchmark: Datasets for machine learning on graphs. , 2020. arXiv preprint arXiv:2005.00687 [23] Ziniu Hu, Yuxiao Dong, Kuansan Wang, and Yizhou Sun. Heterogeneous graph transformer. In , pages 2704–2710, 2020. Proceedings of The Web Conference 2020 [24] Katsuhiko Ishiguro, Shin-ichi Maeda, and Masanori Koyama. Graph warp module: an auxiliary module for boosting the power of graph neural networks in molecular graph analysis. , 2019. arXiv preprint arXiv:1902.01020 [25] Guolin Ke, Di He, and Tie-Yan Liu. Rethinking the positional encoding in language pre-training. , 2020. ICLR [26] Thomas N Kipf at Max Welling. Semi-supervised classification na may graph convolutional networks. ang 2016 . arXiv preprint arXiv:1609.02907 [27] Kezhi Kong, Guohao Li, Mucong Ding, Zuxuan Wu, Chen Zhu, Bernard Ghanem, Gavin Taylor, and Tom Goldstein. Flag: Adversarial data augmentation for graph neural networks. , 2020. arXiv preprint arXiv:2010.09891 [28] Devin Kreuzer, Dominique Beaini, William Hamilton, Vincent Létourneau, and Prudencio Tossou. Re-thinking graph transformers with spectral attention. , 2021. arXiv preprint arXiv:2106.03893 [29] Tuan Le, Marco Bertolini, Frank Noé, and Djork-Arné Clevert. Parameterized hypercomplex graph neural networks for graph classification. , 2021. arXiv preprint arXiv:2103.16584 [30] Guohao Li, Chenxin Xiong, Ali Thabet, and Bernard Ghanem. Deepergcn: All you need to train deeper gcns. , 2020. arXiv preprint arXiv:2006.07739 [31] Junying Li, Deng Cai, at Xiaofei He. Pag-aaral sa graph-level representation para sa drug discovery. , 2017. arXiv preprint arXiv:1709.03741 [32] Pan Li, Yanbang Wang, Hongwei Wang, and Jure Leskovec. Distance encoding: Design provably more powerful neural networks for graph representation learning. , 33, 2020. Pagbabago sa Neural Information Processing Systems [33] Yuan Li, Xiaodan Liang, Zhiting Hu, Yinbo Chen, and Eric P. Xing. Graph transformer, 2019. [34] Xi Victoria Lin, Richard Socher, and Caiming Xiong. Multi-hop knowledge graph reasoning with reward shaping. , 2018. arXiv preprint arXiv:1808.10568 [35] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. , 2019. arXiv preprint arXiv:1907.11692 [36] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, and Baining Guo. Swin transformer: Hierarchical vision transformer using shifted windows. , 2021. arXiv preprint arXiv:2103.14030 [37] Shengjie Luo, Shanda Li, Tianle Cai, Di He, Dinglan Peng, Shuxin Zheng, Guolin Ke, Liwei Wang, and Tie-Yan Liu. Stable, fast and accurate: Kernelized attention with relative positional encoding. , 2021. NeurIPS [38] Haggai Maron, Heli Ben-Hamu, Hadar Serviansky, and Yaron Lipman. Provably powerful graph networks. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, , volume 32. Curran Associates, Inc., 2019. Advances in Neural Information Processing Systems [39] P David Marshall. The promotion and presentation of the self: celebrity as marker of presentational media. , 1(1):35–48, 2010. Celebrity studies [40] Alice Marwick and Danah Boyd. To see and be seen: Celebrity practice on twitter. , 17(2):139–158, 2011. Convergence [41] Łukasz Maziarka, Tomasz Danel, Sławomir Mucha, Krzysztof Rataj, Jacek Tabor, and Stanisław Jastrze˛bski. Molecule attention transformer. Ano ang 2020. arXiv preprint arXiv:2002.08264 [42] Maho Nakata and Tomomi Shimazaki. Pubchemqc project: a large-scale first-principles electronic structure database for data-driven chemistry. , 57(6):1300–1308, 2017. Journal of chemical information and modeling [43] Sharan Narang, Hyung Won Chung, Yi Tay, William Fedus, Thibault Fevry, Michael Matena, Karishma Malkan, Noah Fiedel, Noam Shazeer, Zhenzhong Lan, et al. Do transformer modifications transfer across implementations and applications? , 2021. arXiv preprint arXiv:2102.11972 [44] Dinglan Peng, Shuxin Zheng, Yatao Li, Guolin Ke, Di He, and Tie-Yan Liu. How could neural networks understand programs? In . PMLR, 2021. International Conference on Machine Learning [45] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. , 21(140):1–67, 2020. Journal of Machine Learning Research [46] Yu Rong, Yatao Bian, Tingyang Xu, Weiyang Xie, Ying Wei, Wenbing Huang, and Junzhou Huang. Self-supervised graph transformer on large-scale molecular data. , 33, 2020. Advances in Neural Information Processing Systems [47] Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. Self-attention with relative position representations. In , pages 464–468, 2018. Procedures ng 2018 Conference ng North American Chapter ng Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers) [48] Yunsheng Shi, Zhengjie Huang, Wenjin Wang, Hui Zhong, Shikun Feng, and Yu Sun. Masked label predic-tion: Unified message passing model for semi-supervised classification. , 2020. arXiv preprint arXiv:2009.03509 [49] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In , 2017. NIPS [50] Petar Velicˇkovic ́, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, at Yoshua Bengio. Graph attention networks. , 2018. ICLR [51] Guangtao Wang, Rex Ying, Jing Huang, and Jure Leskovec. Direct multi-hop attention based graph neural network. Ano ang 2020. arXiv preprint arXiv:2009.14332 [52] Sinong Wang, Belinda Li, Madian Khabsa, Han Fang, at Hao Ma. Linformer: Self-attention sa linear complexity. , 2020. arXiv preprint arXiv:2006.04768 [53] Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei Wang, and Tieyan Liu. On layer normalization in the transformer architecture. In , pages 10524–10533. PMLR, 2020. International Conference on Machine Learning [54] Keyulu Xu, Weihua Hu, Jure Leskovec, and Stefanie Jegelka. How powerful are graph neural networks? In , 2019. International Conference sa Mga Representasyon sa Pag-aaral [55] Mingqi Yang, Yanming Shen, Heng Qi, and Baocai Yin. Breaking the expressive bottlenecks of graph neural networks. , 2020. arXiv preprint arXiv:2012.07219 [56] Yiding Yang, Xinchao Wang, Mingli Song, Junsong Yuan, and Dacheng Tao. Spagan: Shortest path graph attention network. , 2019. Advances in IJCAI [57] Chengxuan Ying, Guolin Ke, Di He, and Tie-Yan Liu. Lazyformer: Self attention with lazy update. , 2021. arXiv preprint arXiv:2102.12702 [58] Chengxuan Ying, Mingqi Yang, Shuxin Zheng, Guolin Ke, Shengjie Luo, Tianle Cai, Chenglin Wu, Yuxin Wang, Yanming Shen, and Di He. First place solution of kdd cup 2021 & ogb large-scale challenge graph-level track. , 2021. arXiv preprint arXiv:2106.08279 [59] Jiaxuan You, Rex Ying, at Jure Leskovec. Position-aware graph neural networks. sa , pages 7134–7143. PMLR, 2019. International Conference on Machine Learning [60] Seongjun Yun, Minbyul Jeong, Raehyun Kim, Jaewoo Kang, and Hyunwoo J Kim. Graph transformer networks. , 32, 2019. Advances in Neural Information Processing Systems [61] Jiawei Zhang, Haopeng Zhang, Congying Xia, and Li Sun. Graph-bert: Only attention is needed for learning graph representations. , 2020. arXiv preprint arXiv:2001.05140 [62] Chen Zhu, Yu Cheng, Zhe Gan, Siqi Sun, Tom Goldstein, and Jingjing Liu. Freelb: Enhanced adversarial training for natural language understanding. In , 2020. ICLR [63] Daniel Zügner, Tobias Kirschstein, Michele Catasta, Jure Leskovec, and Stephan Günnemann. Language-agnostic representation learning of source code from structure and context. In , 2020. International Conference on Learning Representations A Proofs A.1 SPD ay maaaring gamitin upang mapabuti ang WL-Test 1-WL-test fails in many cases [ , ], thus classic message passing GNNs also fail to distinguish many pairs of graphs. We show that SPD might help when 1-WL-test fails, for example, in Figure where 1-WL-test fails, the sets of SPD from all nodes to others successfully distinguish the two graphs. 38 32 2 A.2 Proof of Fact 1 1 We begin by showing that self-attention module with Spatial Encoding can repre-sent MEAN aggregation. This is achieved by in Eq. : 1) setting ang 0 if 1 at ang = otherwise where is the SPD; 2) setting = = 0 and to be the identity matrix. Then softmax ( ) gives the average of representations of the neighbors. MEAN AGGREGATE. (6) bφ φ ang bf - ang φ WQ ang wk WV A V The SUM aggregation can be realized by first perform MEAN aggregation and then multiply the node degrees. Specifically, the node degrees can be extracted from Centrality Encoding by an additional head and be concatenated to the representations after MEAN aggregation. Then the FFN module in Graphormer can represent the function of multiplying the degree to the dimensions of averaged representations by the universal approximation theorem of FFN. SUM AGGREGATE. Representing the MAX aggregation is harder than MEAN and SUM. For each dimension of the representation vector, we need one head to select the maximal value over -th dimension in the neighbor by in Eq. : 1) setting = 0 if 1 at ang = ang Ngunit kung saan is the SPD; 2) setting = which is the -th standard basis; = 0 and the bias term (which is ignored in the previous description for simplicity) of to be ; and = , where is the temperature that can be chosen to be large enough so that the softmax function can approximate hard max and is the vector whose elements are all 1. MAX AGGREGATE. t t (6) bφ φ bφ −∞ φ WK ang t ang wq Q T 1 WV et T 1 Ang step COMBINE ay gumagamit ng resulta ng AGGREGATE at ang nakaraang representasyon ng current node bilang input. Ito ay maaaring gawin sa pamamagitan ng ang mga operasyon ng AGGREGATE na ipinapakita sa itaas kasama ang isang karagdagang head na output ang mga tampok ng kasalukuyang nodes, i.e., sa Eq. : 1) setting ang 0 if = 0 and = Ngunit kung saan ang SPD; 2) setting = 0 at ang to be the identity matrix. Then the FFN module can approximate any COMBINE function by the universal approximation theorem of FFN. COMBINE. (6) bφ φ bφ - ang φ ang wq ang wk WV A.3 Proof of Fact 2 2 This can be proved by setting = = 0, the bias terms of to be , and to be the identity matrix where should be much larger than the scale of so that 2 T dominates ang spatial encoding term. MEAN READOUT. WQ ang wk Q, K T 1 WV T bφ T 11 B Experiment Details B.1 Mga detalye ng mga datasets Ipinapakita namin ang mga dataset na ginagamit sa trabaho na ito sa Table PCQM4m-LSC ay isang quantum chemistry graph-level prediction task sa nakaraang OGB Large-Scale Challenge, na inihahanda sa ilalim ng proyekto PubChemQC [ ]. 6. 42 The task of PCQM4M-LSC is to predict DFT(density functional theory)-calculated HOMO-LUMO energy gap of molecules given their 2D molecular graphs, which is one of the most practically-relevant quantum chemical properties of molecule science. PCQM4M-LSC is unprecedentedly large in scale comparing to other labeled graph-level prediction datasets, which contains more than 3.8M graphs. Besides, we conduct experiments on two molecular graph datasets in popular OGB leaderboards, i.e., OGBG-MolPCBA and OGBG-MolHIV. They are two molecular property prediction datasets with different sizes. The pre-trained knowledge of molecular graph on PCQM4M-LSC could be easily leveraged on these two datasets. We adopt official scaffold split on three datasets following [ na ang ]. Sa karagdagang, ginagamit namin ang isa pang popular na leaderboard, i.e., benchmarking-gnn [ ]. We use the ZINC datasets, which is the most popular real-world molecular dataset to predict graph property regression for contrained solubility, an important chemical property for designing generative GNNs for molecules. Different from the scaffold spliting in OGB, uniform sampling is adopted in ZINC for data splitting. 21 22 14 B.2 Mga Detalye ng Mga Strategiya ng Pagsasanay B.2.1 PCQM4M-LSC We report the detailed hyper-parameter settings used for training Graphormer in Table We reduce the FFN inner-layer dimension of 4 sa pamamagitan ng [ ] ang , which does not appreciably hurt the performance but significantly save the parameters. The embedding dropout ratio is set to 0.1 by default in many previous Transformer works [ , ]. However, we empirically find that a small embedding dropout ratio (e.g., 0.1) would lead to an observable performance drop on validation set of PCQM4M-LSC. One possible reason is that the molecular graph is relative small (i.e., the median of #atoms in each molecule is about 15), making graph property more sensitive to the embeddings of each node. Therefore, we set embedding dropout ratio to 0 on this dataset. 7. d 49 d 11 35 B.2.2 OGBG-MolPCBA We first report the model configurations and hyper-parameters of the pre-trained Graphormer on PCQM4M-LSC. Empirically, we find that the performance on MolPCBA benefits from the large pre-training model size. Therefore, we train a deep Graphormer with 18 Transformer layers on PCQM4M-LSC. The hidden dimension and FFN inner-layer dimension are set to 1024. We set peak learning rate to 1e-4 for the deep Pre-training. Graphormer. Besides, we enlarge the attention dropout ratio from 0.1 to 0.3 in both pre-training and fine-tuning to prevent the model from over-fitting. The rest of hyper-parameters remain unchanged. The pre-trained Graphormer used for MolPCBA achieves a valid MAE of 0.1253 on PCQM4M-LSC, which is slightly worse than the reports in Table 1. Table summarizes the hyper-parameters used for fine-tuning Graphormer on OGBG-MolPCBA. We conduct a grid search for several hyper-parameters to find the optimal configuration. The experimental results are reported by the mean of 10 independent runs with random seeds. We use FLAG [ ] with minor modifications for graph data augmentation. In particular, except the step size At ang bilang ng mga step Tapos na ang klase. if you want. ] sa maximum disturbance Ang pagganap ng Graphormer sa MolPCBA ay ganap na malakas sa mga hyper-parameters ng FLAG. Ang iba pang mga hyper-parameters ay parehong sa modelo ng pre-training. Fine-tuning. 8 27 α m 62 g B.2.3 Ang OGBG-MolHIV Kami ay gumagamit ng Graphormer sa Table as the pre-trained model for OGBG-MolHIV, where the pre-training hyper-parameters are summarized in Table Pre-training. 1 7. Ang mga hyper-parameters para sa fine-tuning Graphormer sa OGBG-MolHIV ay inilarawan sa Table Empirically, natagpuan namin na ang iba pang mga pagpipilian ng hyper-parameters ng FLAG (i.e., step size) Bilang ng mga step , and maximum perturbation ) would greatly affect the performance of Graphormer on OGBG-MolHiv. Therefore, we spend more effort to conduct grid search for hyper-parameters of FLAG. We report the best hyper-parameters by the mean of 10 independent runs with random seeds. Fine-tuning. 9. α m g B.2.4 Ang mga CINC Upang matatagpuan ang kabuuang mga parameter ng Graphormer ay mas mababa sa 500K per request mula sa benchmarking-GNN leader-board [ ], nagtraining kami ng isang slim 12-layer Graphormer na may hidden dimension ng 80, na tinatawag na GraphormerSLIM sa Table at may tungkol sa 489K malaman na mga parameter. Ang bilang ng pag-atake head ay itinatag sa 8. summarize ang mga detalyadong hyper-parameters sa ZINC. Nagtraining 400K steps sa dataset na ito, at nagtatrabaho ng isang weight breakdown ng 0.01. 14 4 ang 10 B.3 Mga detalye ng Hyper-parameters para sa Baseline Methods In this section, we present the details of our re-implementation of the baseline methods. B.3.1 PCQM4M-LSC Ang opisyal na Github repository ng OGB-LSC ay nagbibigay ng hyper-parameter at mga code upang i-replicate ang mga resulta sa leaderboard. Ang mga hyper-parameter na ito ay gumagana nang magandang sa halos lahat ng mga popular na mga variante ng GNN, isip ng DeeperGCN-VN, na kung saan ay nagpapakita sa isang training divergence. Kaya, para sa DeeperGCN-VN, kami ay sumusunod sa opisyal na hyper-parameter setting sa pamamagitan ng mga authors ( ]. For a fair comparison to Graphormer, we train a 12-layer DeeperGCN. The hidden dimension is set to 600. The batch size is set to 256. The learning rate is set to 1e-3, and a step learning rate scheduler is employed with the decaying step size and the decaying factor sa 30 epokes at 0.25. Ang modelo ay nagtrabaho para sa 100 epokes. 7 8 30 γ The default dimension of laplacian PE of GT [ Dahil dito, para sa GT at GT-Wide, inilagay namin ang dimensyon ng laplacian PE sa 4, na kung saan ang resulta ay lamang 0.08% na pag-filter out. Kami ay gumagamit ng mga default hyper-parameter setting na inilarawan sa [ ], isipin na tumutukoy namin ang rate ng pag-aaral sa 1e-4, na nangangahulugan sa isang mas mahusay na konvergensya sa PCQM4M-LSC. 13 13 B.3.2 OGBG-MolPCBA To fine-tune the pre-trained GIN-VN on MolPCBA, we follow the hyper-parameter settings provided in the original OGB paper [ ]. Para maging mas konkretong, i-load ang pre-trained checkpoint sa Table and fine-tune it on OGBG-MolPCBA dataset. We use the grid search on the hyper-parameters for better fine-tuning performance. In particular, the learning rate is selected from {1e − 5, 1e − 4, 1e − 3}; the dropout ratio is selected from {0.0, 0.1, 0.5}; the batch size is selected from {32, 64}. 22 1 B.3.3 OGBG-MolHIV Similarly, we fine-tune the pre-trained GIN-VN on MolHIV by following the hyper-parameter settings provided in the original OGB paper [ ]. Nagrehistro namin rin ang paghahanap ng grid upang makikita ang optimal na hyper-parameter. Ang mga range para sa bawat hyper-parameter ng paghahanap ng grid ay parehong na ang nakaraang subsection. 22 C More Experiments As described in the related work, GROVER is a Transformer-based GNN, which has 100 million parameters and pre-trained on 10 million unlabelled molecules using 250 Nvidia V100 GPUs. In this section, we report the fine-tuning scores of GROVER on MolHIV and MolPCBA, and compare with proposed Graphormer. I-download ang mga pre-trained GROVER models mula sa kanyang opisyal na Github website Pumunta sa Official Instructions and fine-tune the provided pre-trained checkpoints with careful search of hyper-parameters (in Table We find that GROVER could achieve competitive performance on MolHIV only if employing additional molecular features, i.e., morgan molecular finger prints and 2D features . Therefore, we report the scores of GROVER by taking these two additional molecular features. Please note that, from the leaderboard , we can know such additional molecular features are very effective on MolHIV dataset. 9 10 11 Ang 11 12 ang table and summarize the performance of GROVER and GROVERLARGE comparing with Graphormer on MolHIV and MolPCBA. From the tables, we observe that Graphormer could consistently outperform GROVER even without any additional molecular features. 12 13 D Diskusiya & Future Work Similar to regular Transformer, the attention mechanism in Graphormer scales quadratically with the number of nodes in the input graph, which may be prohibitively expensive for large at inilagay ang paggamit nito sa mga setting na may limitado na mga kalkulasyon ng mga resource. Sa kamakailan, maraming mga solusyon ay inihayag upang matugunan ang problema na ito sa Transformer [ , na ang na ang ]. Ang issue na ito ay may malaking katangian mula sa future development ng efficient Graphormer. Complexity. n n 25 52 57 37 . In Graphormer, there are multiple choices for the network centrality and the spatial encoding function ( ). For example, one can leverage the 2 distance in 3D structure between two atoms in a molecule. In this paper, we mainly evaluate general centrality and distance metric in graph theory, i.e., the degree centrality and the shortest path. Performance improvement could be expected by leveraging domain knowledge powered encodings on particular graph dataset. Choice of centrality and φ φ sa loob ng vj L Mayroong isang karagdagang karagdagang ng mga gawain ng node representation sa graph-structured data, tulad ng finance, social network, at temporal prediction. Graphormer ay maaaring gamitin para sa node representation extraction na may isang applicable graph sampling strategy. Node Representation. Ang artikulong ito ay magagamit sa archiv sa ilalim ng lisensya ng CC by 4.0 Deed (Attribution 4.0 International). This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. Available sa archive