Microsoft Graphormer: Transformátor, který nakonec porazí GNN

Autoři : Chengxuan Ying, yingchengsyuan@gmail.com (Dalian University of Technology) Tianle Cai, tianle.cai@princeton.edu (Princeton University) Shengjie Luo, luosj@stu.pku.edu.cn (Peking University) Shuxin Zheng, shuz@microsoft.com (Microsoft Research Asia) Guolin Ke, guoke@microsoft.com (Microsoft Research Asia) Di He, dihe@microsoft.com (Microsoft Research Asia) Yanming Shen, shen@dlut.edu.cn (Dalian University of Technology) Tie-Yan Liu, tyliu@microsoft.com (Microsoft Research Asia) Autoři : Chengxuan Ying, yingchengsyuan@gmail.com (Dalianská technologická univerzita) Tianle Cai, tianle.cai@princeton.edu (Princetonská univerzita) Shengjie Luo, luosj@stu.pku.edu.cn (Pekingská univerzita) Shuxin Zheng, shuz@microsoft.com (Společnost Microsoft Research Asia) Guolin Ke, guoke@microsoft.com (Společnost Microsoft Research Asia) Di He, dihe@microsoft.com (Společnost Microsoft Research Asia) Yanming Shen, shen@dlut.edu.cn (Dalianská technologická univerzita) Tie-Yan Liu, tyliu@microsoft.com (výzkum společnosti Microsoft v Asii) Abstraktní Architektura Graphformer se stala dominantní volbou v mnoha oblastech, jako je zpracování přirozeného jazyka a počítačové vidění. Nicméně nedosáhla konkurenčního výkonu na populárních předpovědích na úrovni grafu ve srovnání s mainstreamovými variantami GNN. Proto zůstává záhadou, jak by Transformers mohli dobře fungovat pro učení o grafickém zobrazení. V tomto článku vyřešíme tuto záhadu tím, že představíme Graphormer, který je postaven na standardní architektuře Transformer, a mohl by dosáhnout vynikajících výsledků na široké škále úkolů učení o grafickém zobrazení, zejména na nedávné OGB Large-Scale Challenge. Náš klíčový pohled na využití transformátoru v grafu . https://github.com/Microsoft/Graphormer 1 Úvod Transformační systém [ ] je dobře uznávána jako nejsilnější neurální síť v modelování sekvenčních dat, jako je přirozený jazyk [ , , , , a mluvícího ].Varianty modelu postavené na transformátoru také prokázaly vynikající výkon v počítačovém vidění [ , , ] a programovací jazyk [ , , , , ]. nicméně, co se týče našich znalostí, Transformer dosud nebyl de facto standardem na veřejných grafových prezentačních tabulkách [ , , , , Existuje mnoho pokusů o využití transformátoru do domény grafu, ale jediným účinným způsobem je nahrazení některých klíčových modulů (např. agregace funkcí) v klasických variantách GNN softmax pozorností. , , , , , , , , , , , Proto zůstává otevřenou otázkou, zda je architektura Transformeru vhodná pro modelování grafů a jak ji přimět k tomu, aby fungovala v učení o grafické reprezentaci. 49 11 35 6 17 12 36 19 63 44 22 14 21 50 7 23 51 61 46 13 V tomto článku poskytujeme kladnou odpověď tím, že vyvíjíme Graphormer, který je postaven přímo na standardním transformátoru a dosahuje špičkového výkonu na široké škále předpovědi na úrovni grafu, včetně nedávné Open Graph Benchmark Large-Scale Challenge (OGB-LSC) [ ], a několik populárních leaderboardu (např. OGB [ ], Benchmarking GNN [ Transformátor je původně určen pro sekvenční modelování. Chcete-li využít jeho sílu v grafech, věříme, že klíčem je správně začlenit strukturální informace grafů do modelu. Samotná pozornost vypočítává pouze sémantickou podobnost mezi a další uzly, aniž by se bralo v úvahu strukturální informace grafu odrážející se na uzlech a vztah mezi páry uzelů. Graphormer zahrnuje několik účinných strukturálních kódovacích metod k využití těchto informací, které jsou popsány níže. 21 22 14 i i V první řadě navrhujeme a v Graphormeru zachytit význam uzlu v grafu. V grafu mohou mít různé uzly jiný význam, např. celebrity jsou považovány za vlivnější než většina webových uživatelů v sociální síti. Nicméně, takové informace se neodrážejí v modulu sebeúcty, protože vypočítává podobnosti hlavně pomocí sémantických funkcí uzlu. Abychom vyřešili problém, navrhujeme kódovat centrálnost uzlu v Graphormeru. pro kódování centrálnosti, kde je každému uzlu přiřazen učitelný vektor podle jeho stupně a přidán k funkcím uzlu v vstupní vrstvě.Empirické studie ukazují, že jednoduché kódování centrálnosti je pro Transformera účinné při modelování grafových dat. Centrální kódování Stupeň centralizace Druhým krokem je napsat román v Graphormer zachytit strukturální vztah mezi uzly. Jeden pozoruhodný geometrické vlastnosti, které odlišuje graf-strukturované data od jiných strukturovaných dat, např. Jazyk, obrázky, je, že neexistuje žádná kanonická mřížka pro vkládání grafu. Ve skutečnosti, uzly mohou ležet pouze v non-Euclidean prostoru a jsou spojeny hranami. Chcete-li modelovat takové strukturální informace, pro každý pár uzlu, přidělíme učitelné vkládání na základě jejich prostorového vztahu. Mnoho měření v literatuře by mohlo být využito pro modelování prostorových vztahů. Pro obecný účel, používáme vzdálenost nejkratší cesty mezi dvěma uzly jako demonstraci, která bude kódována jako bias termín v Prostorové kódování Použitím výše navrhovaných kódování dále matematicky ukazujeme, že Graphormer má silnou expresivitu, protože mnoho populárních variant GNN jsou jen jeho speciální případy.Velká kapacita modelu vede k nejmodernějšímu výkonu na široké škále úkolů v praxi. Ve velmi nedávné Open Graph Benchmark Large-Scale Challenge (OGB-LSC) ], Graphormer převyšuje většinu mainstreamových variant GNN o více než 10% bodů z hlediska relativní chyby. Na jiných populárních tabulkách grafického učení (např. MolHIV, MolPCBA, ZINC) [ , , Graphormer také překonává předchozí nejlepší výsledky, což dokazuje potenciál a přizpůsobivost architektury Transformeru. 3 21 22 14 2 Předběžné V této sekci se podíváme na předběžné informace o Graph Neural Networks a Transformers. Nechte G = (V, E) označit graf, kde V = {v1, v2, · · · , vn}, n = ÁthaV, je počet uzlů. Nechte vektor funkce uzlu vi být xi . GNN mají za cíl naučit se reprezentaci uzlin a grafů. Typicky moderní GNN následují učební schému, která iterativně aktualizuje reprezentaci uzlu agregací reprezentací jejích sousedů prvního nebo vyššího řádu. Označujeme h (l) i jako reprezentaci vi na l-té vrstvě a definujeme h (0) i = xi. L-té iterace agregace může být charakterizována krokem AGGREGATE-COMBINE jako Graph Neural Network (GNN). kde N (vi) je soubor prvotřídních nebo vyšších sousedů vi. Funkce AGGREGATE se používá ke shromažďování informací od sousedů. Společné agregační funkce zahrnují funkce MEAN, MAX, SUM, které se používají v různých architekturách GNN [26, 18, 50, 54]. Cílem funkce COMBINE je sloučit informace od sousedů do reprezentace uzlu. Kromě toho je pro úkoly grafického znázornění funkce READOUT navržena tak, aby agregovala funkce uzlu h (L) i konečné iterace do znázornění hG celého grafu G: READOUT lze implementovat pomocí jednoduché permutační invariantní funkce, jako je součet [54] nebo sofistikovanější funkce sdružování na úrovni grafu [1]. Transformerova architektura se skládá ze složení Transformerových vrstev [49]. Každá Transformerova vrstva má dvě části: modul pro sebepozornost a síť pro posuzování pozice (FFN). Nechte H = h > 1, · · , h> n > ∈ R n×d označit vstup do modulu pro sebepozice, kde d je skrytý rozměr a hi ∈ R 1×d je skrytá reprezentace v pozici i. H vstup je projekován třemi matrice WQ ∈ R d×dK , WK ∈ R d×dK a WV ∈ R d×dV na odpovídající reprezentace Q, K, V. Transformer kde je matice zachycující podobnost mezi dotazy a klíče. Pro jednoduchost ilustrace, bereme v úvahu jednohlavou sebepozornost a předpokládáme = se = se Rozšíření na pozornost s více hlavami je standardní a jednoduché a my vynecháme termíny předsudků pro jednoduchost. A dk Dv d 3 Grafika V této sekci představujeme náš Graphormer pro grafové úkoly. Za prvé, zpracováváme několik klíčových designů v Graphormeru, které slouží jako indukční předsudek v neurální síti, abychom se naučili grafovou reprezentaci. Dále poskytujeme podrobné implementace Graphormeru. Nakonec ukazujeme, že náš navrhovaný Graphormer je silnější od populárních modelů GNN [ , , , , Jsou to jeho zvláštní případy. 26 54 18 3.1 Strukturální kódování v Graphormeru Jak bylo diskutováno v úvodu, je důležité vyvinout způsoby, jak využít strukturální informace grafů do modelu Transformeru. Za tímto účelem představujeme tři jednoduché, ale účinné návrhy kódování v Graphormeru. Pro jednu ilustraci. 1 3.1.1 Centrality Encoding v rozložení pozornosti se vypočítává na základě sémantické korelace mezi uzly. Nicméně, centralizace uzlu, která měří, jak důležitý je uzel v grafu, je obvykle silným signálem pro chápání grafu. Například celebrity, které mají obrovské množství následovníků, jsou důležitými faktory při předpovídání trendu sociální sítě [ , Takové informace jsou v současném výpočtu pozornosti zanedbávány a věříme, že by to mělo být cenným signálem pro modely Transformeru. Čtverec 4, 40 39 V Graphormeru používáme stupňovou centrálnost, která je jedním ze standardních měřítek centrálnosti v literatuře, jako dodatečný signál do neurální sítě. který přiděluje každému uzlu dva reálně hodnotné vektory vkládání podle jeho indegree a outdegree. Centrální kódování kde z −, z+ ∈ R d jsou učitelné vektory vkládání specifikované indegree deg−(vi) a outdegree deg+(vi) respektive. Pro nesměrné grafy mohou být deg−(vi) a deg+(vi) sjednoceny na deg(vi). Pomocí centrálního kódování v vstupu může softmax pozornost zachytit signál důležitosti uzlu v dotazech a klíčích. 1.2 Prostorové kódování An advantage of Transformer is its global receptive field. In each Transformer layer, each token can attend to the information at any position and then process its representation. But this operation has a byproduct problem that the model has to explicitly specify different positions or encode the positional dependency (such as locality) in the layers. For sequential data, one can either give each position an embedding (i.e., absolute positional encoding [ ]) jako vstup nebo kódování relativní vzdálenosti jakýchkoli dvou pozic (tj. relativní poziční kódování v oblasti transformátorů. 49 [45 ] , Čtyřiadvacet) Nicméně, pro grafy, uzly nejsou uspořádány jako sekvence. Mohou ležet v multidimenzionálním prostorovém prostoru a jsou propojeny okraji. Chcete-li kódovat strukturální informace grafu v modelu, navrhujeme novou prostorové kódování. Konkrétně, pro jakýkoliv graf G, uvažujeme o funkci φ (vi , vj ) : V × V → R, která měří prostorový vztah mezi vi a vj v grafu G. Funkce φ může být definována konektivitou mezi uzly v grafu. V tomto papíře zvolíme φ(vi , vj ) jako vzdálenost nejkratší cesty (SPD) mezi vi a vj, pokud jsou dva uzly propojeny. Pokud ne, nastavíme výstup φ jako speciální hodnotu, tj. -1. Přid kde ( ) je učitelný skalář indexovaný ( ) a sdílené ve všech vrstvách. bf Vč, Vč φ Vy, VJ Za prvé, ve srovnání s konvenčními GNN popsanými v oddíle 2, kde je receptivní pole omezeno na sousedy, můžeme vidět, že v Eq. , vrstva transformátoru poskytuje globální informace, že každý uzel může přistupovat ke všem ostatním uzlům v grafu. ( ), každý uzel v jedné vrstvě transformátoru může adaptivně přistupovat ke všem ostatním uzelům podle strukturálních informací grafu. ( ) je (6) se bf Vč, Vč bf Vč, Vč Je to funkce, která klesá ve vztahu k ( Pro každý uzel bude model pravděpodobně věnovat více pozornosti uzlům poblíž a méně pozornosti uzlům daleko od něj. φ Vy, VJ 3.1.3 Edge kódování v pozornosti V mnoha grafových úkolech mají okraje také strukturální vlastnosti, např. v molekulárním grafu mohou mít atomové páry vlastnosti popisující typ vazby mezi nimi. Takové vlastnosti jsou důležité pro grafovou reprezentaci a kódování je spolu s funkcemi uzlů do sítě je nezbytné. Existují hlavně dvě metody kódování okrajů používané v předchozích pracích. , , ].Ve druhé metodě budou pro každý uzel použity funkce jeho souvisejících okrajů společně s funkcemi uzlu v agregaci [ , , , , Tyto způsoby používání funkce Edge však pouze šíří informace o okraji do přidružených uzlin, což nemusí být účinným způsobem, jak využít informace o okraji při představování celého grafu. 22 30 15 54 26 Pro lepší kódování okrajových funkcí do vrstev pozornosti navrhujeme novou metodu kódování okrajů v Graphormeru. Věříme, že i v tomto směru by se měly vztahovat vztahy mezi těmito skupinami. , , ]. pro každý nařízený nůžový pár ( Zde nalezneme (jeden z) nejkratší cestu SP = a ( 1*, a , ... , eN * ) od Dvě , a vypočítat průměr bodových produktů okrajové funkce a učitelné vkládání podél cesty. Navrhované okrajové kódování zahrnuje okrajové funkce prostřednictvím predispozičního termínu do modulu pozornosti. Konkrétně, modifikujeme ( a) prvek v rámci EQ. Další informace o edge encodingu jako : Vy, VJ 34 51 Vy, VJ IJ e 2 VI VJ I, J A (3) se Čí kde xen je vlastnost n-tého okraje en v SPij, w E n ∈ R dE je n-tého závaží a dE je dimenzionálnost okraje funkce. 3.2 Implementační detaily Graphormer Graphormer je postaven na původní implementaci klasického kodéru Transformer popsaného v [ Kromě toho aplikujeme normalizace vrstev (LN) před multi-head self-attention (MHA) a feed-forward bloky (FFN) namísto po [ Tato změna byla jednomyslně přijata všemi současnými implementacemi Transformeru, protože vede k efektivnější optimalizaci [ ].Zejména pro podvrstvu FFN nastavujeme dimenzionálnost vstupu, výstupu a vnitřní vrstvy na stejnou dimenzi s Formálně charakterizujeme Graphormerovou vrstvu níže: Graphormer Layer. 49 53 43 d Jak bylo uvedeno v předchozím oddíle, různé funkce shromažďování grafů jsou navrženy tak, aby představovaly vkládání grafů. ], v Graphormeru přidáme do grafu speciální uzel s názvem [VNode] a vytvoříme spojení mezi [VNode] a každým uzlem individuálně.V kroku AGGREGATE-COMBINE bylo zobrazení [VNode] aktualizováno jako normální uzly v grafu a zobrazení celého grafu Bude se jednat o závěrečný úkol, který se bude konat v přípravném řízení. [celý článek] , , ], existuje podobný token, tj. [CLS], který je speciální token připojený na začátku každé sekvence, aby reprezentoval funkci na úrovni sekvence na následujících úkolech. Zatímco [VNode] je spojen se všemi ostatními uzly v grafu, což znamená, že vzdálenost nejkratší cesty je 1 pro jakýkoliv (přesněji řečeno ) a ( [VNode]), spojení není fyzické. Chcete-li rozlišit spojení fyzické a virtuální, inspirované [ ], resetujeme všechny prostorové kódování pro ([VNode] ) a ( Na rozdíl od toho, co se naučíte, Special Node. 15 HG 11 35 φ a VJ φ Já jsem, 25 bf VJ bf Já jsem, 3.3 Jak mocný je Graphormer? V předchozích pododdílech jsme představili tři strukturální kódování a architekturu Graphormeru. V této podsekci nejprve dáme kladnou odpověď tím, že ukážeme, že Graphormer může reprezentovat kroky AGGREGATE a COMBINE v populárních modelech GNN: Dělají tyto modifikace Graphormer silnější než jiné varianty GNN? Fact 1. Výběrem správné váhy a vzdálenost funkce φ, Graphormer vrstva může reprezentovat AGGREGATE a COMBINE kroky populárních modelů GNN, jako je GIN, GCN, GraphSAGE. Důkazní skica k odvození tohoto výsledku je: 1) Prostorové kódování umožňuje samopozorovacímu modulu rozlišit sousední sadu N (vi) uzlu vi tak, aby funkce softmax mohla vypočítat průměrné statistiky nad N (vi); 2) Znalost stupně uzlu, průměr nad sousedy může být přeložena na součet nad sousedy; 3) S více hlavami a FFN mohou být reprezentace vi a N (vi) zpracovávány samostatně a kombinovány společně později. Kromě toho dále ukazujeme, že pomocí našeho prostorového kódování může Graphormer jít nad rámec klasické zprávy procházející GNNs, jejichž expresivní síla není větší než test 1-Weisfeiler-Lehman (WL). Kromě vynikající expresivity než populární GNNs, nacházíme také zajímavý vztah mezi použitím sebe-pozornost a virtuálního uzlu heuristické [ , , , , , , Jak je uvedeno v tabulce OGB [ ], virtuální knoflíkový trik, který zvyšuje grafy s dalšími supernody, které jsou připojeny ke všem uzlům v původních grafech, může výrazně zlepšit výkon stávajících GNN. (jako funkci READOUT) a poté jej šířit na Nicméně, naivní přidání supernodu do grafu může potenciálně vést k neúmyslnému nadměrnému změkčení šíření informací [ Místo toho zjistíme, že taková agregační a propagační operace na úrovni grafu může být přirozeně uskutečněna vanilkovou sebedůvěrou bez dalších kódování. Connection between Self-attention and Virtual Node. 15 31 24 22 22 Celý graf Každý nůž 24 Fact 2. Výběrem správné váhy může každá uzlová reprezentace výstupu vrstvy Graphormeru bez dalších kódování představovat funkce MEAN READOUT. Tato skutečnost využívá výhod sebezáchovy, že každý uzel může navštěvovat všechny ostatní uzly. Tímto způsobem může simulovat operaci READOUT na úrovni grafu k agregování informací z celého grafu. Kromě teoretického odůvodnění zjistíme empiricky, že Graphormer se nesetkává s problémem nadměrného vyrovnávání, což činí zlepšení škálovatelným. 4 Experimenty Nejprve provádíme experimenty na nedávném OGB-LSC [ ] kvantová chemie regrese (tj., PCQM4M-LSC) výzva, která je v současné době největší datový soubor pro předpověď na úrovni grafu a obsahuje více než 3,8M grafy celkem. Poté oznamujeme výsledky na dalších třech populárních úkolech: ogbg-molhiv, ogbg-molpcba a ZINC, které pocházejí z OGB [ ] a benchmarking-GNN [ Konečně jsme zlomili důležité konstrukční prvky Graphormeru. Podrobný popis datových souborů a strategií školení lze nalézt v příloze B. 21 22 14 4.1 OGB Large-Scale Challenge We benchmark the proposed Graphormer with GCN [ ] and GIN [ ], and their variants with virtual node (-VN) [ ]. They achieve the state-of-the-art valid and test mean absolute error (MAE) on the official leaderboard [Zobrazit ]. In addition, we compare to GIN’s multi-hop variant [ ], and 12-layer deep graph network DeeperGCN [ ], které také ukazují slibný výkon na jiných tabulkách.Dále srovnáváme náš Graphormer s nedávným grafickým modelem GT založeným na Transformeru Baselines. 26 54 15 4 21 5 30 [13]. We primarily report results on two model sizes: (Některé = 12*, d* = 768), and a smaller one ( = 6*, d* = 512). jak počet hlav pozornosti v modulu pozornosti, tak rozměrnost okrajových funkcí are set to 32. We use AdamW as the optimizer, and set the hyper-parameter to 1e-8 and ( 1*, β*2) to (0.99,0.999). The peak learning rate is set to 2e-4 (3e-4 for ) with a 60k-step warm-up stage followed by a linear decay learning rate scheduler. The total training steps are 1M. The batch size is set to 1024. All models are trained on 8 NVIDIA V100 GPUS for about 2 days. Settings. Graphormer L GraphormerSMALL L dE ϵ β GraphormerSMALL Table summarizes performance comparisons on PCQM4M-LSC dataset. From the table, GIN-VN achieves the previous state-of-the-art validate MAE of 0.1395. The original implementation of GT [ ] employs a hidden dimension of 64 to reduce the total number of parameters. For a fair comparison, we also report the result by enlarging the hidden dimension to 768, denoted by GT-Wide, which leads to a total number of parameters of 83.2M. While, both GT and GT-Wide do not outperform GIN-VN and DeeperGCN-VN. Especially, we do not observe a performance gain along with the growth of parameters of GT. Results. 1 13 Compared to the previous state-of-the-art GNN architecture, Graphormer noticeably surpasses GIN-VN by a large margin, e.g., 11.5% relative validate MAE decline. By using the ensemble with ExpC [ ], we got a 0.1200 MAE on complete test set and won the first place of the graph-level track in OGB Large-Scale Challenge[ , ]. As stated in Section dále zjišťujeme, že navrhovaný Graphormer se nesetkává s problémem nadměrného vyhlazování, tj. s tím, že vlak a validace chyb pokračují v poklesu spolu s růstem hloubky a šířky modelů. 55 21 58 3.3, 4.2 Graph Representation In this section, we further investigate the performance of Graphormer on commonly used graph-level prediction tasks of popular leaderboards, i.e., OGB [ ] (OGBG-MolPCBA, OGBG-MolHIV), and benchmarking-GNN [ ] (ZINC). Vzhledem k tomu, že předškolní výcvik je podporován OGB, zkoumáme převážně přenositelné schopnosti modelu Graphormer předškolně vycvičeného na OGB-LSC (tj. PCQM4M-LSC). Vezměte prosím na vědomí, že konfigurace modelu, hyperparametry a předškolní výkon předškolně vycvičených Graphormers používaných pro MolPCBA a MolHIV se liší od modelů použitých v předchozím pododdíle. Pro podrobné popisy se prosím obraťte na dodatek B. Pro benchmarking-GNN, který nepodporuje velký předškolně vycvičený model, vycvičíme další GraphormerSLIM ( = 12*, d* = 80, total param.= 489 ) od nuly na ZINC. 22 14 L K We report performance of GNNs which achieve top-performance on the official leader-boards . Considering that the pre-trained Graphormer leverages external data, for a fair comparison on OGB datasets, we additionally report performance for fine-tuning GIN-VN pre-trained on PCQM4M-LSC dataset, which achieves the previous state-of-the-art valid and test MAE on that dataset. Baselines. 5 bez dalších doménových specifikací We report detailed training strategies in Appendix B. In addition, Graphormer is more easily trapped in the over-fitting problem due to the large size of the model and the small size of the dataset. Therefore, we employ a widely used data augmentation for graph - FLAG [ ], to mitigate the over-fitting problem on OGB datasets. Settings. 27 Table and summarize performance of Graphormer comparing with other GNNs on MolHIV, MolPCBA and ZINC datasets. Especially, GT [ ] and SAN [ Na stole are recently proposed Transformer-based GNN models. Graphormer consistently and significantly outperforms previous state-of-the-art GNNs on all three datasets by a large margin. Specially, except Graphormer, the other pre-trained GNNs do not achieve competitive performance, which is in line with previous literature [ ]. In addition, we conduct more comparisons to fine-tuning the pre-trained GNNs, please refer to Appendix C. Results. 2, 3 4 13 28 4 20 4.3 Ablation Studies We perform a series of ablation studies on the importance of designs in our proposed Graphormer, on PCQM4M-LSC dataset. The ablation results are included in Table Chcete-li ušetřit výpočetní zdroje, transformátorové modely v tabulce have 12 layers, and are trained for 100K iterations. 5. 5 We compare previously used positional encoding (PE) to our proposed spatial encoding, which both aim to encode the information of distinct node relation to Transformers. There are various PEs employed by previous Transformer-based GNNs, e.g., Weisfeiler-Lehman-PE (WL-PE) [ ] and Laplacian PE [ , ]. We report the performance for Laplacian PE since it performs well comparing to a series of PEs for Graph Transformer in previous literature [ ]. Transformer architecture with the spatial encoding outperforms the counterpart built on the positional encoding, which demonstrates the effectiveness of using spatial encoding to capture the node spatial information. Node Relation Encoding. 61 3 14 13 Transformer architecture with degree-based centrality encoding yields a large margin performance boost in comparison to those without centrality information. This indicates that the centrality encoding is indispensable to Transformer architecture for modeling graph data. Centrality Encoding. We compare our proposed edge encoding (denoted as via attn bias) to two commonly used edge encodings described in Section to incorporate edge features into GNN, denoted as via node and via Aggr in Table From the table, the gap of performance is minor between the two conventional methods, but our proposed edge encoding performs significantly better, which indicates that edge encoding as attention bias is more effective for Transformer to capture spatial information on edges. Edge Encoding. 3.1.3 5. 5 Related Work In this section, we highlight the most recent works which attempt to develop standard Transformer architecture-based GNN or graph structural encoding, but spend less effort on elaborating the works by adapting attention mechanism to GNNs [33, 60, 7, 23, 1, 50, 51, 61, 48]. 5.1 Graph Transformer There are several works that study the performance of pure Transformer architectures (stacked by transformer layers) with modifications on graph representation tasks, which are more related to our Graphormer. For example, several parts of the transformer layer are modified in [ ], including an additional GNN employed in attention sub-layer to produce vectors of , , and , long-range residual connection, and two branches of FFN to produce node and edge representations separately. They pre-train their model on 10 million unlabelled molecules and achieve excellent results by fine-tuning on downstream tasks. Attention module is modified to a soft adjacency matrix in [ ] by directly adding the adjacency matrix and RDKit -computed inter-atomic distance matrix to the attention probabilites. Very recently, Dwivedi [ ] revisit a series of works for Transformer-based GNNs, and suggest that the attention mechanism in Transformers on graph data should only aggregate the information from neighborhood (i.e., using adjacent matrix as attention mask) to ensure graph sparsity, and propose to use Laplacian eigenvector as positional encoding. Their model GT surpasses baseline GNNs on graph representation task. A concurrent work [ ] propose a novel full Laplacian spectrum to learn the position of each node in a graph, and empirically shows better results than GT. 46 Q K V 41 6 et al. 13 28 5.2 Strukturální kódování v GNNs Informace o cestě a vzdálenosti se běžně používají v GNNs. Například agregace založená na pozornosti je navržena v [ ] where the node features, edge features, one-hot feature of the distance and ring flag feature are concatenated to calculate the attention probabilites; similar to path-based attention is leveraged in to model the influence between the center node and its higher-order neighbors; a distance-weighted aggregation scheme on graph is proposed in [ ]; it has been proved in [ ] that adopting distance encoding (i.e., one-hot feature of the distance as extra node attribute) could lead to a strictly more expressive power than the 1-WL test. Path and Distance in GNNs. 9 [9], [56] 59 32 Several works introduce positional encoding (PE) to Transformer-based GNNs to help the model capture the node position information. For example, Graph-BERT [ ] introduces three types of PE to embed the node position information to model, i.e., an absolute WL-PE which represents different nodes labeled by Weisfeiler-Lehman algorithm, an intimacy based PE and a hop based PE which are both variant to the sampled subgraphs. Absolute Laplacian PE is employed in [ ] and empircal study shows that its performance surpasses the absolute WL-PE used in Positional Encoding in Transformer on Graph. 61 13 [61]. Except the conventionally used methods to encode edge feature, which are described in previous section, there are several attempts that exploit how to better encode edge features: an attention-based GNN layer is developed in [ ] to encode edge features, where the edge feature is weighted by the similarity of the features of its two nodes; edge feature has been encoded into the popular GIN [ ] in [ ]; in [ ], the authors propose to project edge features to an embedding vector, then multiply it by attention coefficients, and send the result to an additional FFN sub-layer to produce edge representations; Edge Feature. 16 54 5 13 6 Conclusion We have explored the direct application of Transformers to graph representation. With three novel graph structural encodings, the proposed Graphormer works surprisingly well on a wide range of popular benchmark datasets. While these initial results are encouraging, many challenges remain. For example, the quadratic complexity of the self-attention module restricts Graphormer’s application on large graphs. Therefore, future development of efficient Graphormer is necessary. Performance improvement could be expected by leveraging domain knowledge-powered encodings on particular graph datasets. Finally, an applicable graph sampling strategy is desired for node representation extraction with Graphormer. We leave them for future works. 7 Acknowledgement We would like to thank Mingqi Yang and Shanda Li for insightful discussions. References [1] Jinheon Baek, Minki Kang, and Sung Ju Hwang. Accurate learning of graph representations with graph multiset pooling. , 2021. ICLR [2] Dominique Beaini, Saro Passaro, Vincent Létourneau, William L Hamilton, Gabriele Corso, and Pietro Liò. Directional graph networks. In v roce 2021. International Conference on Machine Learning [3] Mikhail Belkin and Partha Niyogi. Laplacian eigenmaps for dimensionality reduction and data representa-tion. , 15(6):1373–1396, 2003. Neurální výpočet [4] Xavier Bresson and Thomas Laurent. Residual gated graph convnets. , 2017. arXiv preprint arXiv:1711.07553 [5] Rémy Brossard, Oriel Frigo, and David Dehaene. Graph convolutions that can finally model local structure. v roce 2020. arXiv preprint arXiv:2011.15069 [6] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, , volume 33, pages 1877–1901. Curran Associates, Inc., 2020. Advances in Neural Information Processing Systems [7] Deng Cai and Wai Lam. Graph transformer for graph-to-sequence learning. In , volume 34, pages 7464–7471, 2020. Proceedings of the AAAI Conference on Artificial Intelligence [8] Tianle Cai, Shengjie Luo, Keyulu Xu, Di He, Tie-yan Liu, and Liwei Wang. Graphnorm: A principled approach to accelerating graph neural network training. In , 2021. International Conference on Machine Learning [9] Benson Chen, Regina Barzilay, and Tommi Jaakkola. Path-augmented graph transformer network. , 2019. arXiv preprint arXiv:1905.12712 [10] Gabriele Corso, Luca Cavalleri, Dominique Beaini, Pietro Liò, and Petar Velicˇkovic´. Principal neighbour-hood aggregation for graph nets. , 33, 2020. Advances in Neural Information Processing Systems [11] Jacob Devlin, Ming-Wei Chang, Kenton Lee a Kristina Toutanova. Bert: Pre-školení hlubokých bidi-rectionálních transformátorů pro jazykové porozumění. , pages 4171–4186, 2019. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) [12] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, et al. An image is worth 16x16 words: Transformers for image recognition at scale. , 2020. arXiv preprint arXiv:2010.11929 [13] Vijay Prakash Dwivedi a Xavier Bresson. generalizace transformátorových sítí na grafy. , 2021. AAAI Workshop on Deep Learning on Graphs: Methods and Applications [14] Vijay Prakash Dwivedi, Chaitanya K Joshi, Thomas Laurent, Yoshua Bengio a Xavier Bresson. , 2020. arXiv preprint arXiv:2003.00982 [15] Justin Gilmer, Samuel S Schoenholz, Patrick F Riley, Oriol Vinyals, and George E Dahl. Neural message passing for quantum chemistry. In , pages 1263–1272. PMLR, 2017. International Conference on Machine Learning [16] Liyu Gong and Qiang Cheng. Exploiting edge features for graph neural networks. In , pages 9211–9219, 2019. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition [17] Anmol Gulati, James Qin, Chung-Cheng Chiu, Niki Parmar, Yu Zhang, Jiahui Yu, Wei Han, Shibo Wang, Zhengdong Zhang, Yonghui Wu a další. , 2020. arXiv preprint arXiv:2005.08100 [18] William L Hamilton, Zhitao Ying, and Jure Leskovec. Inductive representation learning on large graphs. In V roce 2017. NIPS [19] Vincent J Hellendoorn, Charles Sutton, Rishabh Singh, Petros Maniatis, and David Bieber. Global relational models of source code. In , 2019. International conference on learning representations [20] W Hu, B Liu, J Gomes, M Zitnik, P Liang, V Pande, and J Leskovec. Strategies for pre-training graph neural networks. In , 2020. International Conference on Learning Representations (ICLR) [21] Weihua Hu, Matthias Fey, Hongyu Ren, Maho Nakata, Yuxiao Dong, and Jure Leskovec. Ogb-lsc: A large-scale challenge for machine learning on graphs. , 2021. arXiv preprint arXiv:2103.09430 [22] Weihua Hu, Matthias Fey, Marinka Zitnik, Yuxiao Dong, Hongyu Ren, Bowen Liu, Michele Catasta a Jure Leskovec. Open graph benchmark: Datasets pro strojové učení na grafech. , 2020. arXiv preprint arXiv:2005.00687 [23] Ziniu Hu, Yuxiao Dong, Kuansan Wang, and Yizhou Sun. Heterogeneous graph transformer. In , pages 2704–2710, 2020. Proceedings of The Web Conference 2020 [24] Katsuhiko Ishiguro, Shin-ichi Maeda, and Masanori Koyama. Graph warp module: an auxiliary module for boosting the power of graph neural networks in molecular graph analysis. , 2019. arXiv předtisk arXiv:1902.01020 [25] Guolin Ke, Di He, and Tie-Yan Liu. Rethinking the positional encoding in language pre-training. , 2020. ICLR [26] Thomas N Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. v roce 2016. arXiv preprint arXiv:1609.02907 [27] Kezhi Kong, Guohao Li, Mucong Ding, Zuxuan Wu, Chen Zhu, Bernard Ghanem, Gavin Taylor, and Tom Goldstein. Flag: Adversarial data augmentation for graph neural networks. , 2020. arXiv preprint arXiv:2010.09891 [28] Devin Kreuzer, Dominique Beaini, William Hamilton, Vincent Létourneau, and Prudencio Tossou. Re-thinking graph transformers with spectral attention. , 2021. arXiv preprint arXiv:2106.03893 [29] Tuan Le, Marco Bertolini, Frank Noé, and Djork-Arné Clevert. Parameterized hypercomplex graph neural networks for graph classification. , 2021. arXiv preprint arXiv:2103.16584 [30] Guohao Li, Chenxin Xiong, Ali Thabet a Bernard Ghanem. Deepergcn: Vše, co potřebujete k výcviku hlubších gcns. , 2020. arXiv preprint arXiv:2006.07739 [31] Junying Li, Deng Cai, and Xiaofei He. Learning graph-level representation for drug discovery. V roce 2017. arXiv preprint arXiv:1709.03741 [32] Pan Li, Yanbang Wang, Hongwei Wang, and Jure Leskovec. Distance encoding: Design provably more powerful neural networks for graph representation learning. , 33, 2020. Advances in Neural Information Processing Systems [33] Yuan Li, Xiaodan Liang, Zhiting Hu, Yinbo Chen, and Eric P. Xing. Graph transformer, 2019. [34] Xi Victoria Lin, Richard Socher, and Caiming Xiong. Multi-hop knowledge graph reasoning with reward shaping. , 2018. arXiv preprint arXiv:1808.10568 [35] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. , 2019. arXiv preprint arXiv:1907.11692 [36] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, and Baining Guo. Swin transformer: Hierarchical vision transformer using shifted windows. , 2021. arXiv preprint arXiv:2103.14030 [37] Shengjie Luo, Shanda Li, Tianle Cai, Di He, Dinglan Peng, Shuxin Zheng, Guolin Ke, Liwei Wang, and Tie-Yan Liu. Stable, fast and accurate: Kernelized attention with relative positional encoding. v roce 2021. NeurIPS [38] Haggai Maron, Heli Ben-Hamu, Hadar Serviansky, and Yaron Lipman. Provably powerful graph networks. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, Společnost Curran Associates, Inc., 2019. Advances in Neural Information Processing Systems [39] P David Marshall. The promotion and presentation of the self: celebrity as marker of presentational media. , 1(1):35–48, 2010. Celebrity studies [40] Alice Marwick and Danah Boyd. To see and be seen: Celebrity practice on twitter. , 17(2):139–158, 2011. Convergence [41] Łukasz Maziarka, Tomasz Danel, Sławomir Mucha, Krzysztof Rataj, Jacek Tabor, and Stanisław Jastrze˛bski. Molecule attention transformer. , 2020. arXiv preprint arXiv:2002.08264 [42] Maho Nakata and Tomomi Shimazaki. Pubchemqc project: a large-scale first-principles electronic structure database for data-driven chemistry. , 57(6):1300–1308, 2017 Journal of chemical information and modeling [43] Sharan Narang, Hyung Won Chung, Yi Tay, William Fedus, Thibault Fevry, Michael Matena, Karishma Malkan, Noah Fiedel, Noam Shazeer, Zhenzhong Lan, et al. Do transformer modifications transfer across implementations and applications? , 2021. arXiv preprint arXiv:2102.11972 [44] Dinglan Peng, Shuxin Zheng, Yatao Li, Guolin Ke, Di He a Tie-Yan Liu. . PMLR, 2021. International Conference on Machine Learning [45] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. , 21(140):1–67, 2020 Journal of Machine Learning Research [46] Yu Rong, Yatao Bian, Tingyang Xu, Weiyang Xie, Ying Wei, Wenbing Huang, and Junzhou Huang. Self-supervised graph transformer on large-scale molecular data. , 33, 2020. Advances in Neural Information Processing Systems [47] Peter Shaw, Jakob Uszkoreit a Ashish Vaswani. Samostatná pozornost s relativními reprezentacemi pozice. , pages 464–468, 2018. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers) [48] Yunsheng Shi, Zhengjie Huang, Wenjin Wang, Hui Zhong, Shikun Feng, and Yu Sun. Masked label predic-tion: Unified message passing model for semi-supervised classification. v roce 2020. arXiv předtisk arXiv:2009.03509 [49] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In V roce 2017. NIPS [50] Petar Velicˇkovic´, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. Graph attention networks. , 2018. ICLR [51] Guangtao Wang, Rex Ying, Jing Huang, and Jure Leskovec. Direct multi-hop attention based graph neural network. , 2020. arXiv preprint arXiv:2009.14332 [52] Sinong Wang, Belinda Li, Madian Khabsa, Han Fang, and Hao Ma. Linformer: Self-attention with linear complexity. , 2020. arXiv preprint arXiv:2006.04768 [53] Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei Wang a Tieyan Liu. , stránky 10524–10533. PMLR, 2020 International Conference on Machine Learning [54] Keyulu Xu, Weihua Hu, Jure Leskovec, and Stefanie Jegelka. How powerful are graph neural networks? In , 2019. International Conference on Learning Representations [55] Mingqi Yang, Yanming Shen, Heng Qi, and Baocai Yin. Breaking the expressive bottlenecks of graph neural networks. , 2020. arXiv preprint arXiv:2012.07219 [56] Yiding Yang, Xinchao Wang, Mingli Song, Junsong Yuan, and Dacheng Tao. Spagan: Shortest path graph attention network. , 2019. Advances in IJCAI [57] Chengxuan Ying, Guolin Ke, Di He, and Tie-Yan Liu. Lazyformer: Self attention with lazy update. , 2021. arXiv preprint arXiv:2102.12702 [58] Chengxuan Ying, Mingqi Yang, Shuxin Zheng, Guolin Ke, Shengjie Luo, Tianle Cai, Chenglin Wu, Yuxin Wang, Yanming Shen a Di He. , 2021. arXiv preprint arXiv:2106.08279 [59] Jiaxuan You, Rex Ying, and Jure Leskovec. Position-aware graph neural networks. In , pages 7134–7143. PMLR, 2019. International Conference on Machine Learning Seongjun Yun, Minbyul Jeong, Raehyun Kim, Jaewoo Kang a Hyunwoo J Kim. , 32 , 2019 Advances in Neural Information Processing Systems [61] Jiawei Zhang, Haopeng Zhang, Congying Xia, a Li Sun. Graph-bert: Pouze pozornost je zapotřebí pro učení grafických reprezentací. , 2020. arXiv preprint arXiv:2001.05140 [62] Chen Zhu, Yu Cheng, Zhe Gan, Siqi Sun, Tom Goldstein, and Jingjing Liu. Freelb: Enhanced adversarial training for natural language understanding. In , 2020. ICLR [63] Daniel Zügner, Tobias Kirschstein, Michele Catasta, Jure Leskovec, and Stephan Günnemann. Language-agnostic representation learning of source code from structure and context. In v roce 2020. International Conference on Learning Representations A Proofs A.1 SPD can Be Used to Improve WL-Test 1-WL-test fails in many cases [ , ], thus classic message passing GNNs also fail to distinguish many pairs of graphs. We show that SPD might help when 1-WL-test fails, for example, in Figure kde 1-WL-test selže, sady SPD ze všech uzlů na ostatní úspěšně rozlišují dva grafy. 38 32 2 A.2 Proof of Fact 1 1 We begin by showing that self-attention module with Spatial Encoding can repre-sent MEAN aggregation. This is achieved by in Eq. : 1) setting = 0 if = 1 and = otherwise where is the SPD; 2) setting = = 0 a to be the identity matrix. Then softmax ( ) gives the average of representations of the neighbors. MEAN AGGREGATE. (6) bf φ bφ −∞ φ WQ WK WV A V The SUM aggregation can be realized by first perform MEAN aggregation and then multiply the node degrees. Specifically, the node degrees can be extracted from Centrality Encoding by an additional head and be concatenated to the representations after MEAN aggregation. Then the FFN module in Graphormer can represent the function of multiplying the degree to the dimensions of averaged representations by the universal approximation theorem of FFN. SUM AGGREGATE. Reprezentování agregace MAX je obtížnější než MEAN a SUM. of the representation vector, we need one head to select the maximal value over Rozměry v sousedním by v Eq. : 1) setting = 0 pokud = 1 a = otherwise where is the SPD; 2) setting = which is the • standardní základna; = 0 and the bias term (which is ignored in the previous description for simplicity) of to be ; and = , where is the temperature that can be chosen to be large enough so that the softmax function can approximate hard max and is the vector whose elements are all 1. MAX AGGREGATE. t t (6) bφ φ bφ −∞ φ WK et t WQ Q T 1 WV et T 1 The COMBINE step takes the result of AGGREGATE and the previous representation of current node as input. This can be achieved by the AGGREGATE operations described above together with an additional head which outputs the features of present nodes, i.e., in Eq. : 1) setting = 0 pokud = 0 and = otherwise where je SPD; 2) nastavení = = 0 and to be the identity matrix. Then the FFN module can approximate any COMBINE function by the universal approximation theorem of FFN. COMBINE. (6) bφ φ bφ −∞ φ WQ WK WV A.3 Proof of Fact 2 2 To lze prokázat nastavením = = 0, the bias terms of to be , a to be the identity matrix where Měla by být mnohem větší než velikost Tak to 2 T dominates the Spatial Encoding term. MEAN READOUT. WQ WK Q, K T 1 WV T bf T 11 B Experiment Details B.1 Details of Datasets We summarize the datasets used in this work in Table PCQM4m-LSC is a quantum chemistry graph-level prediction task in recent OGB Large-Scale Challenge, originally curated under the PubChemQC project [ 6. 42 The task of PCQM4M-LSC is to predict DFT(density functional theory)-calculated HOMO-LUMO energy gap of molecules given their 2D molecular graphs, which is one of the most practically-relevant quantum chemical properties of molecule science. PCQM4M-LSC is unprecedentedly large in scale comparing to other labeled graph-level prediction datasets, which contains more than 3.8M graphs. Besides, we conduct experiments on two molecular graph datasets in popular OGB leaderboards, i.e., OGBG-MolPCBA and OGBG-MolHIV. They are two molecular property prediction datasets with different sizes. The pre-trained knowledge of molecular graph on PCQM4M-LSC could be easily leveraged on these two datasets. We adopt official scaffold split on three datasets following [ , , Kromě toho používáme další populární leaderboard, tj. benchmarking-gnn [ ]. Používáme datové sady ZINC, které jsou nejpopulárnější reálnou molekulární datovou sadou pro předpovídání regrese vlastností grafu pro nucenou rozpustnost, důležitou chemickou vlastnost pro navrhování generativních GNN pro molekuly. 21 22 14 B.2 Details of Training Strategies B.2.1 PCQM4M-LSC We report the detailed hyper-parameter settings used for training Graphormer in Table Snížíme rozměr vnitřní vrstvy FFN o 4 in [ ] to , which does not appreciably hurt the performance but significantly save the parameters. The embedding dropout ratio is set to 0.1 by default in many previous Transformer works [ , , ]. Nicméně, jsme empiricky zjistili, že malý vkládací drop-out poměr (např. 0,1) by vedl k pozorovatelnému poklesu výkonu na validační sadu PCQM4M-LSC. Jedním z možných důvodů je, že molekulární graf je relativně malý (tj, medián #atomy v každé molekule je přibližně 15), takže vlastnost grafu je citlivější na vkládání každého uzlu. 7. d 49 d 11 35 B.2.2 OGBG-MolPCBA We first report the model configurations and hyper-parameters of the pre-trained Graphormer on PCQM4M-LSC. Empirically, we find that the performance on MolPCBA benefits from the large pre-training model size. Therefore, we train a deep Graphormer with 18 Transformer layers on PCQM4M-LSC. The hidden dimension and FFN inner-layer dimension are set to 1024. We set peak learning rate to 1e-4 for the deep Pre-training. Graphormer. Besides, we enlarge the attention dropout ratio from 0.1 to 0.3 in both pre-training and fine-tuning to prevent the model from over-fitting. The rest of hyper-parameters remain unchanged. The pre-trained Graphormer used for MolPCBA achieves a valid MAE of 0.1253 on PCQM4M-LSC, which is slightly worse than the reports in Table 1. stůl shrnuje hyper-parametry používané pro jemné nastavení Graphormer na OGBG-MolPCBA. Provádíme síťové vyhledávání několika hyper-parametry najít optimální konfiguraci. Experimentální výsledky jsou hlášeny průměrem 10 nezávislých běží s náhodnými semeny. Používáme FLAG [ ] with minor modifications for graph data augmentation. In particular, except the step size and the number of steps , we also employ a projection step in [ ] with maximum perturbation Výkon Graphormeru na MolPCBA je poměrně robustní vůči hyper-parametrům FLAG. Fine-tuning. 8 27 α m 62 g B.2.3 OGBG-MolHIV Používáme Graphormer zejména v tabulce as the pre-trained model for OGBG-MolHIV, where the pre-training hyper-parameters are summarized in Table Pre-training. 1 7. Hyper-parametry pro jemné nastavení Graphormer na OGBG-MolHIV jsou uvedeny v tabulce Empiricky zjistíme, že různé volby hyper-parametry FLAG (tj. velikost kroku Počet kroků Maximální narušení ) by výrazně ovlivnilo výkon Graphormeru na OGBG-MolHiv. Proto vynakládáme více úsilí na provádění síťového vyhledávání hyperparametrů FLAG. Fine-tuning. 9. α m g B.2.4 ZINC Chcete-li udržet celkové parametry Graphormer méně než 500K na žádost od benchmarking-GNN leader-board [ ], trénujeme štíhlý 12-vrstvý Graphormer s skrytým rozměrem 80, který se nazývá GraphormerSLIM v Tabulce a má přibližně 489K učitelných parametrů. Počet pozorných hlav je nastaven na 8. shrnuje podrobné hyper-parametry na ZINC. trénujeme 400K kroků na této datové sadě a používáme rozpad hmotnosti 0.01. 14 4 , 10 B.3 Details of Hyper-parameters for Baseline Methods V této sekci uvádíme podrobnosti o naší opětovné implementaci základních metod. B.3.1 PCQM4M-LSC Oficiální GitHub úložiště OGB-LSC poskytuje hyperparametry a kódy pro reprodukci výsledků na tabulce. Tyto hyperparametry fungují dobře na téměř všech populárních variantách GNN, s výjimkou DeeperGCN-VN, což vede k vzdělávací divergenci. Proto pro DeeperGCN-VN dodržujeme oficiální nastavení hyperparametrů Na základě informací poskytnutých autory [ ]. For a fair comparison to Graphormer, we train a 12-layer DeeperGCN. The hidden dimension is set to 600. The batch size is set to 256. The learning rate is set to 1e-3, and a step learning rate scheduler is employed with the decaying step size and the decaying factor 30 epoch a 0,25. model je trénován pro 100 epoch. 7 8 30 γ Výchozí rozměry laplacian PE z GT [ Proto pro GT a GT-Wide nastavujeme rozměr laplacian PE na 4, což má za následek pouze 0,08% filtrování. Přijímáme výchozí nastavení hyperparametrů popsané v [ ], s výjimkou toho, že snižujeme míru učení na 1e-4, což vede k lepší konvergenci na PCQM4M-LSC. 13 13 B.3.2 OGBG-MolPCBA Chceme-li přizpůsobit předem vyškolený GIN-VN na MolPCBA, postupujeme podle nastavení hyperparametrů uvedených v původním papíru OGB [ Abychom byli konkrétnější, načteme předem vyškolený kontrolní bod zpravidla v tabulce Využíváme síťové vyhledávání na hyperparametrech pro lepší výkon finálního nastavení. Zejména je zvolena rychlost učení z {1e − 5, 1e − 4, 1e − 3}; poměr spouštění je zvolen z {0.0, 0.1, 0.5}; velikost dávky je zvolena z {32, 64}. 22 1 B.3.3 OGBG MolHIV Podobně přizpůsobujeme předtříděný GIN-VN na MolHIV podle nastavení hyperparametrů uvedených v původním papíru OGB [ ]. Také provádíme vyhledávání sítě, abychom hledali optimální hyperparametry. Rozsahy pro každý hyperparametr vyhledávání sítě jsou stejné jako předchozí pododdíl. 22 C Více experimentů Jak je popsáno v související práci, GROVER je GNN založený na transformátoru, který má 100 milionů parametrů a je předtím trénován na 10 milionech neoznačených molekul pomocí 250 GPU Nvidia V100. Předem vyškolené modely GROVER stahujeme z oficiální webové stránky Github Postupujte podle oficiálních pokynů a přizpůsobit předem vyškolené kontrolní body s pečlivým vyhledáváním hyperparametrů (v tabulce Zjistili jsme, že GROVER by mohl dosáhnout konkurenčního výkonu na MolHIV pouze tehdy, pokud by použil další molekulární funkce, tj. morganové molekulární otisky prstů a 2D funkce. Proto hlásíme skóre GROVERu tím, že vezmeme tyto dvě další molekulární vlastnosti. , we can know such additional molecular features are very effective on MolHIV dataset. 9 10 11 ) 11 12 stůl a shrnout výkon GROVER a GROVERLARGE ve srovnání s Graphormer na MolHIV a MolPCBA. Z tabulek pozorujeme, že Graphormer by mohl důsledně překonat GROVER i bez jakýchkoliv dalších molekulárních vlastností. 12 13 D Diskuse a budoucí práce Podobně jako u běžného transformátoru, mechanismus pozornosti v Graphormeru měří čtvercově s počtem uzlin. v vstupním grafu, který může být pro velké a vylučuje jeho použití v nastaveních s omezenými výpočetními zdroji. Nedávno bylo navrženo mnoho řešení pro řešení tohoto problému v Transformeru [ , , , , , ]. This issue would be greatly benefit from the future development of efficient Graphormer. Complexity. n n 25 52 57 37 V Graphormeru existuje několik možností pro síťovou centralitu a funkci prostorového kódování. ( ). For example, one can leverage the 2 vzdálenost ve 3D struktuře mezi dvěma atomy v molekule. V tomto článku hodnotíme hlavně obecnou centralitu a metriku vzdálenosti v teorii grafů, tj. stupňovou centralitu a nejkratší cestu. Choice of centrality and φ φ Vy, VJ L Existuje široká škála úkolů reprezentace uzlin na strukturovaných datových grafech, jako jsou finance, sociální sítě a časové předpovědi. Graphormer by mohl být přirozeně použit pro extrakci reprezentace uzlin s použitelnou strategií vzorkování grafů. Node Representation. Tento dokument je k dispozici v archivu pod licencí CC by 4.0 Deed (Attribution 4.0 International). Tento dokument je k dispozici v archivu pod licencí CC by 4.0 Deed (Attribution 4.0 International).