Microsoft'un Graphormer: Sonunda GNN'leri Öldüren Transformer

Yazarlar : Chengxuan Ying, yingchengsyuan@gmail.com (Dalian University of Technology) Tianle Cai, tianle.cai@princeton.edu (Princeton University) Shengjie Luo, luosj@stu.pku.edu.cn (Peking University) Shuxin Zheng, shuz@microsoft.com (Microsoft Research Asia) Guolin Ke, guoke@microsoft.com (Microsoft Research Asia) Di He, dihe@microsoft.com (Microsoft Research Asia) Yanming Shen, shen@dlut.edu.cn (Dalian University of Technology) Tie-Yan Liu, tyliu@microsoft.com (Microsoft Research Asia) Yazarlar : Chengxuan Ying, yingchengsyuan@gmail.com (Dalian Teknoloji Üniversitesi) Tianle Cai, tianle.cai@princeton.edu (Princeton Üniversitesi) Shengjie Luo, luosj@stu.pku.edu.cn (Peking Üniversitesi) Shuxin Zheng, shuz@microsoft.com (Microsoft Araştırma Asya) Guolin Ke, guoke@microsoft.com (Microsoft Araştırma Asya) Di He, dihe@microsoft.com (Microsoft Araştırma Asya) Yanming Shen, shen@dlut.edu.cn (Dalian Teknoloji Üniversitesi) Tie-Yan Liu, tyliu@microsoft.com (Microsoft Araştırma Asya) abstraklık Grafikler, doğal dil işleme ve bilgisayar görüşü gibi birçok alanda dominant bir seçim haline gelmiştir. Bununla birlikte, GNN ana varyantlarına kıyasla popüler grafik seviyesindeki tahmin lider panellerinde rekabetçi performans elde etmedi. Bu nedenle, Transformers'ın grafik temsilcilik öğrenimi için nasıl iyi performans gösterebileceği bir gizem kalmaktadır. Bu makalede, Graphormer'ı, standart Transformer mimarisi üzerine kurulan ve özellikle son OGB Büyük ölçekli meydan okuma verileri üzerinde geniş bir yelpazede mükemmel sonuçlar elde edebilmekte olan rekabetçi performansını sunarak bu gizemi çözüyoruz. Bu amaçla, Graphormer modelinin daha iyi grafik yapılandırılmış verilerine yardımcı olmak için birkaç basit ama etkili yapısal kodlama yöntemini öneririz. Ayrıca, Graphormer . https://github.com/Microsoft/Graphormer 1 Giriş Değiştiriciler [ ] doğal dil gibi seri verileri modellemek için en güçlü nöral ağı olarak bilinir. ve ve Konuşma ve konuşma ]. Transformer üzerinde inşa edilmiş model varyasyonları da bilgisayar görüşünde mükemmel performans göstermiştir [ ve ] ve programlama dili [ ve ve Ancak, en iyi bildiğimiz kadarıyla, Transformer hala kamuya açık grafik temsilcilik liderboards üzerinde de-facto standart değildi [ ve ve ]. Transformer'ı grafik alanına kullanmaya yönelik birçok girişim var, ancak tek etkili yol, klasik GNN varyantlarında bazı anahtar modülleri (örneğin, özellik toplama) softmax dikkatiyle değiştirmektir. ve ve ve ve ve ve Bu nedenle, Transformer mimarisinin grafik modelleme için uygun olup olmadığını ve grafik temsilcilik öğreniminde nasıl çalışmasını sağlamak için hala açık bir sorundur. 49 11 35 6 17 12 36 19 63 44 22 14 21 50 7 23 51 61 46 13 Bu makalede, doğrudan standart Transformer'a dayanan ve çok yeni Open Graph Benchmark Large-Scale Challenge (OGB-LSC) de dahil olmak üzere geniş bir dizi grafik düzeyinde tahmin görevi üzerinde en gelişmiş performans sağlayan Graphormer'ı geliştirerek olumlu bir yanıt veriyoruz. ], and several popular leaderboards (e.g., OGB [ ] Benchmarking-GNN için [ ]).Transformör başlangıçta seri modelleme için tasarlanmıştır.Grafiklerde gücünü kullanmak için, anahtarın, grafiklerin yapısal bilgilerini modeline doğru bir şekilde entegre etmek olduğuna inanıyoruz. Öz dikkat sadece semantik benzerliği hesaplar ve diğer düğümler, düğümlere yansıyan bir grafonun yapısal bilgilerini ve düğüm çiftleri arasındaki ilişkiyi dikkate almadan.Graphormer aşağıda açıklanan bu tür bilgileri kullanmak için birkaç etkili yapısal kodlama yöntemini içerir. 21 22 14 i i Öncelikle A’yı öneriyoruz Graphormer'da grafikte düğme önemini yakalamak için. Bir grafikte, farklı düğmeler farklı önem taşıyor olabilir, örneğin, ünlüler bir sosyal ağdaki web kullanıcılarının çoğundan daha etkili olarak kabul edilir. Ancak, bu tür bilgiler kendi dikkat modülünde yansıtılmıyor, çünkü benzerlikleri esas olarak düğme semantik özelliklerini kullanarak hesaplar. Sorunu çözmek için, Graphormer'da düğme merkezi kodlamayı öneririz. Her bir düğmeye derecesine göre bir öğrenilebilir vektör atfedildiği ve giriş katmanındaki düğme özelliklerine eklendiği merkezilik kodlama için.Empirik çalışmalar, basit merkezilik kodlamanın Transformers için grafik verilerini modellemek için etkili olduğunu göstermektedir. Merkez kodlama Merkezleşme Seviyesi İkinci olarak, bir roman öneriyoruz. Graphormer'da, düğümler arasındaki yapısal ilişkiyi yakalamak için Graphormer'da. Diğer yapılandırılmış verileri, örneğin dil, resimler, diğer yapılandırılmış verilerden ayırt eden önemli bir geometrik özellik, düğümlerin sadece bir Euklidian uzayda bulunabileceği ve kenarlarla bağlantılı olduğu gerçeğidir. Bu tür yapısal bilgileri model etmek için, her düğüm çifti için, alan ilişkileri temelinde öğrenilebilir bir yerleştirme atarız. Edebiyatta çoklu ölçümler uzay ilişkileri modellemek için kullanılabilir. Genel bir amaç için, herhangi bir iki düğüm arasındaki en kısa yolun mesafesini bir göstergesi olarak kullanırız, bu da softmax dikkatinde bir önyargı terimi olarak kodlanacak ve modelin Uzay Kodlama Yukarıda önerilen kodlamaları kullanarak, Graphormer'in popüler GNN varyantlarının çoğunun sadece özel durumları olduğu gibi güçlü bir ifade gücüne sahip olduğunu daha matematiksel olarak gösteriyoruz. Open Graph Benchmark Large-Scale Challenge (OGB-LSC) ], Graphormer, orijinal GNN varyantlarının çoğunun orijinal hatası açısından% 10'dan fazla puanla daha iyi performans gösterir. diğer popüler grafik temsilcilik öğrenme lider panolarında (örneğin, MolHIV, MolPCBA, ZINC) [ ve ], Graphormer aynı zamanda daha önceki en iyi sonuçları aştı, Transformers mimarisinin potansiyelini ve uyumluğunu gösterdi. 3 21 22 14 2 Önceki Bu bölümde, Graph Nöral Ağları ve Transformer'da öncelikleri anlattık. G = (V, E) V = {v1, v2, · · · , vn}, n =annooV, düğümlerin sayısı olduğu bir grafik gösterir. düğümün özellik vektörü xi olmasını sağlayın. GNN'ler düğümlerin ve grafiklerin temsilini öğrenmeyi amaçlamaktadır. Genellikle modern GNN'ler, bir düğümün temsilini ilk veya daha yüksek sırada komşularının temsillerini birleştirerek iteratif olarak güncelleyen bir öğrenme şeması takip ederler. h (l) i'yi l-sınıfında vi'nin temsilidir ve h (0) i = xi'yi tanımlar. Birleştirmenin l-th iterasyonu AGGREGATE-COMBINE adımlarıyla karakterize edilebilir. Graph Neural Network (GNN). N (vi) vi'nin birinci veya daha yüksek sıradaki komşuların bir kümesidir. AGGREGATE işlevi komşulardan bilgi toplamak için kullanılır. Ortak birleştirme işlevleri, GNN'lerin farklı mimarilerinde kullanılan MEAN, MAX, SUM içerir [26, 18, 50, 54]. COMBINE işlevi, komşulardan gelen bilgileri düğme temsiline birleştirmektir. Buna ek olarak, grafik temsilcilik görevleri için, bir READOUT işlevi, nihai iterasyonun düğme özelliklerini h (L) i'yi tüm grafik G'nin temsil hG'sine birleştirmek için tasarlanmıştır: READOUT, toplama [54] gibi basit bir permutasyon değişmez fonksiyonu veya daha sofistike bir grafik düzeyde birleştirme fonksiyonu [1] ile uygulanabilir. Transformer mimarisi Transformer katmanlarının bir bileşiminden oluşur [49]. Her Transformer katmanının iki parçası vardır: kendine dikkat modülü ve pozisyon yönünde bir iletken-gelişmiş ağı (FFN). H = h > 1, · · , h> n > ∈ R n×d, d'nin gizli boyut ve hi ∈ R 1×d'nin konumundaki gizli temsil olduğunu gösteren kendine dikkat modülünün girişini gösterir. Giriş H'yi üç matris WQ ∈ R d×dK , WK ∈ R d×dK ve WV ∈ R d×dV ile ilgili temsillere Q, K, V'ye projekte edilir. Transformer Nerede sorular ve anahtarlar arasındaki benzerliği yakalayan bir matristir. örneği basitleştirmek için, tek kafalı öz dikkatini düşünürüz ve varsayalım = Hakkında = Hakkında Çok kafa dikkatinin uzantısı standart ve basittir ve basitlik için önyargı terimleri atarız. A dk dv d 3 Grafikler Bu bölümde, grafik görevleri için Graphormer'imizi sunuyoruz. İlk olarak, Graphormer'da, grafik temsilini öğrenmek için sinir ağında bir indüktif önyargı olarak hizmet eden birkaç anahtar tasarım üzerinde çalışıyoruz. Daha sonra Graphormer'ın ayrıntılı uygulamalarını sunuyoruz. Son olarak, önerdiğimiz Graphormer'in popüler GNN modellerinden bu yana daha güçlü olduğunu gösteriyoruz. ve ve Bunlar onun özel durumlarıdır. 26 54 18 3.1 Graphormer'da Yapısal Kodlamalar Başlangıçta tartışıldığı gibi, grafiklerin yapısal bilgilerini Transformer modeline entegre etmenin yollarını geliştirmek önemlidir. Bu amaçla, Graphormer'da kodlama üç basit ama etkili tasarımı sunuyoruz. Bir örnek için. 1 1.1 Merkez kodlama içinde Dikkat dağılımı, düğümler arasındaki semantik ilişkiye dayanarak hesaplanır. Ancak, bir düğümün grafikte ne kadar önemli olduğunu ölçen düğüm merkezi, genellikle grafik anlayışı için güçlü bir sinyaldir. Örneğin, çok sayıda takipçisi olan ünlüler, bir sosyal ağın eğilimi tahmininde önemli faktörlerdir. ve Bu tür bilgiler mevcut dikkat hesaplamalarında göz ardı edilir ve Transformer modelleri için değerli bir sinyal olması gerektiğine inanıyoruz. Çekim 4 40 39 Graphormer'da, literatürde standart merkezlilik ölçümlerinden biri olan derecelendirme merkezliliği, sinir ağına ek bir sinyal olarak kullanırız. Her bir düğmeye indegree ve outdegree göre iki gerçek değerli yerleştirme vektörü atar. her bir düğmeye merkezi kodlama uygulanırken, her bir düğmeye basitçe giriş olarak düğme özelliklerine ekleriz. Merkez kodlama z −, z+ ∈ R d, indegree deg−(vi) ve outdegree deg+(vi) tarafından belirlenen öğrenilebilir yerleştirme vektörleridir. yönlendirilmemiş grafikler için, deg−(vi) ve deg+(vi) deg(vi) olarak birleştirilebilir. Girişte merkezi kodlamayı kullanarak, softmax dikkat, sorgularda ve anahtarlarda düğme önem sinyali yakalayabilir. Bu nedenle, model dikkat mekanizmasında hem semantik ilişkiyi hem de düğme önemini yakalayabilir. 1.2 Uzay Kodlaması Transformer'ın bir avantajı küresel alıcı alanıdır. Her Transformer katmanında, her token herhangi bir konumda bilgiye katılabilir ve sonra temsilini işleyebilir. Ama bu operasyonun, modelin farklı konumları açıkça belirtmesi veya katmanlarda konum bağımlılığını (örneğin yerleşim) kodlaması gerektiği bir yan ürün sorunu vardır. Sıralı veriler için, her pozisyon için bir yerleştirme (yani mutlak konum kodlaması) verebiliriz. ]) Giriş olarak veya herhangi iki pozisyonun nispeten mesafesini kodlamak (yani, nispeten pozisyon kodlama) Transformers tablosunda 49 [45 izlenme] 47 ) Bununla birlikte, grafikler için düğümler bir dizi olarak düzenlenmezler. Çok boyutlu bir uzay alanında yer alabilirler ve kenarlarla ilişkilendirilirler. Modeldeki bir grafonun yapısal bilgilerini kodlamak için, yeni bir Uzay Kodlaması öneririz. Özellikle, herhangi bir grafik G için, vi ve vj arasındaki en kısa yolun (SPD) mesafesi olarak φ(vi , vj ) düşünürüz: V × V → R. G'de vi ve vj arasındaki uzay ilişkisini ölçer. Aksi takdirde, φ'nın çıkışını bir özel değere ayarlayabiliriz, yani, bu makalede, her bir (feasible) çıkış değeri, kendine dikkat modülünde bir bias olarak hizmet edecek bir ölçücüye atarız. Nerede ( ) is a learnable scalar indexed by ( ) ve tüm bölgelerde paylaşılmıştır. BFF Hakkında VJ ve VJ φ Viyana Vj Burada önerdiğimiz yöntemin birkaç avantajını tartışıyoruz.Birincisi, 2. Bölümde açıklanan geleneksel GNN'lere kıyasla, reseptif alanın komşularla sınırlı olduğu Eq'de bunu görebiliriz. , Transformer tabakası, her düğmeye grafikteki diğer tüm düğmelere erişebileceği küresel bir bilgi sağlar. ( ), tek bir Transformer tabakasındaki her düğüm grafik yapısal bilgilere göre diğer tüm düğümlere adaptif olarak katılabilir. ( ) olarak (6) için BFF Hakkında VJ ve VJ BFF Hakkında VJ ve VJ Düşen bir fonksiyon olarak biliniyor ( ), her düğme için, model muhtemelen yakınındaki düğmelere daha fazla dikkat edecek ve ondan uzak olan düğmelere daha az dikkat edecektir. φ Viyana Vj 3.1.3 Edge Kodlama Dikkat Çoğu grafik görevinde, kenarların ayrıca yapısal özellikleri vardır, örneğin, moleküler bir grafikte, atom çiftleri arasındaki bağ türünü tanımlayan özellikler olabilir. Bu tür özellikler grafik temsilinde önemlidir ve bunları ağ içine düğme özellikleri ile birlikte kodlamak önemlidir. Önceki çalışmalarda kullanılan iki kenar kodlama yöntemleri vardır. İlk yöntemde, kenar özellikleri ilişkili düğmelerin özelliklerine eklenir. ve İkinci yöntemde, her bir düğüm için, ilişkili kenarların özellikleri, birleşimdeki düğüm özellikleri ile birlikte kullanılacaktır [ ve ve Bununla birlikte, bu tür kenar özelliğini kullanma yöntemleri sadece kenar bilgileri ilişkili düğmelere yayar, bu da tüm grafiklerin temsil edilmesinde kenar bilgileri kullanmanın etkili bir yolu olmayabilir. 22 30 15 54 26 Gelişmiş teknolojilerden faydalanabilmek için, bu teknolojilerden faydalanabilmek için, yeni teknolojilerden faydalanabilmek için, Gelişmiş teknolojilerden faydalanabilmek için, Gelişmiş teknolojilerden faydalanabilmek için, Gelişmiş teknolojiler ( Biz de bunları bir araya getirebileceğimize inanıyoruz. ve Her bir çift için ( en kısa yolu bulduk. • ( 1 * E , ... , eN * ) için İki bu ilanı beğen Ağu 11 Listening to the Lane (London) bu ilanı gizle geri yükle bu ilanı geri yükle • Elemanı Eq için Edge Kodlama ile ilgili diğer içeriklerimiz gibi : Viyana Vj 34 51 Viyana Vj IŞİD e 2 Vİ vj i , j A Üçüncü Cİ Xen SPij'de n-th kenar en'in özelliğidir, w E n ∈ R dE n-th ağırlık yerleştirme ve dE kenar özelliğinin boyutluluğudur. 3.2 Graphormer Uygulama Detayları Graphormer, klasik Transformer kodlayıcısının orijinal uygulanması üzerine inşa edilmiştir. Buna ek olarak, katman normalizasyonunu (LN) multi-head self-attention (MHA) ve feed-forward bloklarından (FFN) önce kullanırız. ]. Bu değişiklik tüm mevcut Transformer uygulamaları tarafından tek taraflı olarak kabul edilmiştir, çünkü daha etkili bir optimizasyona yol açar [ ]. Özellikle, FFN alt tabaka için, giriş, çıkış ve iç tabaka boyutunu aynı boyuta ayarladık Graphormer tablosunu aşağıdaki şekilde tanımlıyoruz: Graphormer Layer. 49 53 43 d As stated in the previous section, various graph pooling functions are proposed to represent the graph embedding. Inspired by [ ], Graphormer'da, grafikte [VNode] adında özel bir düğüm ekliyoruz ve [VNode] ile her düğüm arasındaki bağlantıyı bireysel olarak yapıyoruz. AGGREGATE-COMBINE adımında, [VNode] temsilcisi grafikte normal düğümler olarak güncellenmiştir ve tüm grafik temsilcisi Sonraki İçerikİzmir’de Şanlıurfa’da Şanlıurfa’da Şanlıurfa’da Şanlıurfa’da Şanlıurfa’da Şanlıurfa’da Şanlıurfa’da Şanlıurfa’da Şanlıurfa’da Şanlıurfa’da Şanlıurfa’da Şanlıurfa’da Şanlıurfa’da Şanlıurfa’da Şanlıurfa’da Şanlıurfa’da Şanlıurfa ve ], benzer bir token vardır, yani, [CLS], her dizinin başında yer alan özel bir token, aşağıdaki görevlerde dizin düzeyi özelliğini temsil etmek için. [VNode] grafikte diğer tüm düğümlere bağlanırken, en kısa yolun mesafesi 1'dir. (Göğüsler için) ) ve ( Bu bağlamda, fiziksel ve sanal bağlantıları ayırt etmek için, [...] ], tüm uzay kodlamasını yeniden ayarlıyoruz (Göğüsler için) ) ve ( Bilinçli bir öğrenme sürecine girer. Special Node. 15 hg 11 35 φ Ve VJ φ Bizde , 25 BFF Hakkında vevj BFF Hakkında Bizde , 3.3 Graphormer Ne Kadar Güçlü? Önceki bölümlerde, üç yapısal kodlama ve Graphormer mimarisini tanıtıyoruz. Bu alt bölümde, Graphormer'ın popüler GNN modellerinde AGGREGATE ve COMBINE adımlarını temsil edebildiğini göstererek önce onaylı bir yanıt veriyoruz: Bu değişiklikler Graphormer'ı diğer GNN varyantlarından daha güçlü yapar mı? Fact 1. Uygun ağırlıklar ve mesafe fonksiyonu φ seçerek, Graphormer katmanı GIN, GCN, GraphSAGE gibi popüler GNN modellerinin AGGREGATE ve COMBINE adımlarını temsil edebilir. Bu sonucu elde etmek için kanıt taslağı şunlardır: 1) Uzay kodlaması, kendine dikkat modülü, node vi'nin komşu setinin N (vi)'ini ayırt etmesini sağlar, böylece softmax işlevi, N (vi) üzerinde ortalama istatistikleri hesaplayabilir; 2) bir düğün derecesini bilerek, komşular üzerinde ortalama, komşular üzerinde toplam olarak tercüme edilebilir; 3) çok sayıda baş ve FFN ile, vi ve N (vi) temsilleri ayrı ayrı olarak işlenebilir ve daha sonra birlikte birleştirilebilir. Dahası, yerel kodlamalarımızı kullanarak, Graphormer, 1-Weisfeiler-Lehman (WL) testinden daha fazla ifade gücü olmayan GNN'leri geçiren klasik mesajların ötesine geçebilir. Popüler GNN'lerden daha üstün ifade gücüne ek olarak, kendi dikkatini kullanarak ve sanal düğüm heuristik ile ilginç bir bağlantı buluruz. ve ve ve OGB’nin lider tablosunda gösterildiği gibi [ ], orijinal grafiklerde tüm düğümlere bağlı olan ek süper düğümlerle grafikleri arttıran sanal düğüm hile, mevcut GNN'lerin performansını önemli ölçüde artırabilir. (Öncelikle okuma fonksiyonu gibi) ve daha sonra Bununla birlikte, bir grafikte bir süpernodun naif bir eklemesi, bilginin yayılmasının yanlışlıkla aşırı derinleşmesine yol açabilir. ]. Bunun yerine, böyle bir grafik düzeyde birleştirme ve yayılma operasyonunun doğal olarak ek kodlama olmadan vanilya öz dikkatiyle gerçekleştirilebileceğini bulduk. Connection between Self-attention and Virtual Node. 15 31 24 22 22 Tüm grafiği Her bir node 24 Fact 2. Uygun ağırlıkları seçerek, herhangi bir ek kodlama olmadan bir Graphormer katmanının çıkışını temsil eden her düğme MEAN READOUT işlevlerini temsil edebilir. Bu faktör, her düğümün diğer tüm düğümlere katılabileceği kendi dikkatinin avantajını alır. Böylece, tüm grafikten bilgi toplamak için grafik düzeyinde READOUT operasyonunu simüle edebilir. Teorik haklılığımızın yanı sıra, Graphormer'ın aşırı düzelme sorunu ile karşılaşmadığını empirik olarak buluruz, bu da iyileştirmeyi ölçeklenebilir hale getirir. 4 Deneyler İlk olarak son OGB-LSC üzerinde deneyler yürütüyoruz [ ] kuantum kimya regresyonu (yani, PCQM4M-LSC), şu anda en büyük grafik düzeyinde tahmin veritabanı ve toplamda 3.8M'den fazla grafik içerir. sonra, OGB'den gelen diğer üç popüler görev sonuçlarını rapor: ogbg-molhiv, ogbg-molpcba ve ZINC [ ) ve benchmarking-GNN [ ] liderboards. Son olarak, Graphormer'ın önemli tasarım elemanlarını siliyoruz. veri setlerinin ve eğitim stratejilerinin ayrıntılı bir açıklaması Ek B'de bulunabilir. 21 22 14 4.1 OGB Büyük ölçekli meydan okuma We benchmark the proposed Graphormer with GCN [ ] and GIN [ ], and their variants with virtual node (-VN) [ Resmi lider tablosunda en son geçerli ve test ortalama mutlak hatayı (MAE) bildirdiler. [Bölüm] ]. In addition, we compare to GIN’s multi-hop variant [ ], and 12-layer deep graph network DeeperGCN [ ], which also show promising performance on other leaderboards. We further compare our Graphormer with the recent Transformer-based graph model GT Baselines. 26 54 15 4 21 5 30 [13 gün önce] We primarily report results on two model sizes: ( = 12*, d* = 768), and a smaller one ( = 6*, d* = 512). Both the number of attention heads in the attention module and the dimensionality of edge features 32 olarak ayarlanmıştır. optimizör olarak AdamW'yi kullanırız ve hiperparametreyi 1 ve 8 ( 1*, β*2) to (0.99,0.999). The peak learning rate is set to 2e-4 (3e-4 for ) with a 60k-step warm-up stage followed by a linear decay learning rate scheduler. The total training steps are 1M. The batch size is set to 1024. All models are trained on 8 NVIDIA V100 GPUS for about 2 days. Settings. Graphormer L GraphormerSMALL L dE ϵ β GraphormerSMALL Table summarizes performance comparisons on PCQM4M-LSC dataset. From the table, GIN-VN achieves the previous state-of-the-art validate MAE of 0.1395. The original implementation of GT [ ] Parametrelerin toplam sayısını azaltmak için 64'in gizli boyutunu kullanır. adil bir karşılaştırma için, gizli boyutunu 768'e genişleterek sonuçları da rapor ediyoruz, bu da 83.2M'nin toplam parametreler sayısına yol açar. GT ve GT-Wide hem GIN-VN hem de DeeperGCN-VN'i aşmamaktadır. Results. 1 13 Önceki state-of-the-art GNN mimarisi ile karşılaştırıldığında, Graphormer GIN-VN'i büyük bir marjla gözle görülür bir şekilde aşar, örneğin, 11,5% oranında doğrulanmış MAE düşüşü. ], we got a 0.1200 MAE on complete test set and won the first place of the graph-level track in OGB Large-Scale Challenge[ , ]. As stated in Section we further find that the proposed Graphormer does not encounter the problem of over-smoothing, i.e., the train and validate error keep going down along with the growth of depth and width of models. 55 21 58 3.3, 4.2 Graph Representation In this section, we further investigate the performance of Graphormer on commonly used graph-level prediction tasks of popular leaderboards, i.e., OGB [ ] (OGBG-MolPCBA, OGBG-MolHIV), and benchmarking-GNN [ ] (ZINC). Since pre-training is encouraged by OGB, we mainly explore the transferable capability of a Graphormer model pre-trained on OGB-LSC (i.e., PCQM4M-LSC). Please note that the model configurations, hyper-parameters, and the pre-training performance of pre-trained Graphormers used for MolPCBA and MolHIV are different from the models used in the previous subsection. Please refer to Appendix B for detailed descriptions. For benchmarking-GNN, which does not encourage large pre-trained model, we train an additional GraphormerSLIM ( = 12*, d* = 80, total param.= 489 ) from scratch on ZINC. 22 14 L K We report performance of GNNs which achieve top-performance on the official leader-boards . Considering that the pre-trained Graphormer leverages external data, for a fair comparison on OGB datasets, we additionally report performance for fine-tuning GIN-VN pre-trained on PCQM4M-LSC dataset, which achieves the previous state-of-the-art valid and test MAE on that dataset. Baselines. 5 Domain özel özellikleri yok Ek B'de ayrıntılı eğitim stratejileri rapor ediyoruz. ek olarak, Graphormer, modelin büyük boyutu ve veri kümesinin küçük boyutu nedeniyle aşırı uyum sorunu içinde daha kolay sıkışır. ], to mitigate the over-fitting problem on OGB datasets. Settings. 27 Table and summarize performance of Graphormer comparing with other GNNs on MolHIV, MolPCBA and ZINC datasets. Especially, GT [ ve San [ ] in Table Son zamanlarda Transformer tabanlı GNN modelleri önerilmektedir. Graphormer her üç veritabanında önceki state-of-the-art GNN'leri büyük bir marjla sürekli ve önemli ölçüde öne çıkar. Özellikle, Graphormer hariç, diğer önceden eğitilmiş GNN'ler, önceki edebiyatla uyumlu olan rekabetçi performans elde etmez. ]. In addition, we conduct more comparisons to fine-tuning the pre-trained GNNs, please refer to Appendix C. Results. 2 , 3 4 13 28 4 20 4.3 Ablation Studies We perform a series of ablation studies on the importance of designs in our proposed Graphormer, on PCQM4M-LSC dataset. The ablation results are included in Table Bilgisayar kaynaklarını kaydetmek için, tablodaki Transformers modelleri have 12 layers, and are trained for 100K iterations. 5. 5 We compare previously used positional encoding (PE) to our proposed spatial encoding, which both aim to encode the information of distinct node relation to Transformers. There are various PEs employed by previous Transformer-based GNNs, e.g., Weisfeiler-Lehman-PE (WL-PE) [ ] and Laplacian PE [ , ]. We report the performance for Laplacian PE since it performs well comparing to a series of PEs for Graph Transformer in previous literature [ ]. Transformer architecture with the spatial encoding outperforms the counterpart built on the positional encoding, which demonstrates the effectiveness of using spatial encoding to capture the node spatial information. Node Relation Encoding. 61 3 14 13 Transformer architecture with degree-based centrality encoding yields a large margin performance boost in comparison to those without centrality information. This indicates that the centrality encoding is indispensable to Transformer architecture for modeling graph data. Centrality Encoding. Önerilen kenar kodlamamızı (attn bias ile ifade edilir) Bölümde açıklanan iki yaygın olarak kullanılan kenar kodlamaya kıyaslıyoruz. to incorporate edge features into GNN, denoted as via node and via Aggr in Table From the table, the gap of performance is minor between the two conventional methods, but our proposed edge encoding performs significantly better, which indicates that edge encoding as attention bias is more effective for Transformer to capture spatial information on edges. Edge Encoding. 3.1.3 5. 5 Related Work In this section, we highlight the most recent works which attempt to develop standard Transformer architecture-based GNN or graph structural encoding, but spend less effort on elaborating the works by adapting attention mechanism to GNNs [33, 60, 7, 23, 1, 50, 51 olarak, 61, 48]. 5.1 Graph Transformer There are several works that study the performance of pure Transformer architectures (stacked by transformer layers) with modifications on graph representation tasks, which are more related to our Graphormer. For example, several parts of the transformer layer are modified in [ ], including an additional GNN employed in attention sub-layer to produce vectors of , , and , uzun mesafeli geri kalan bağlantı ve ayrı olarak düğme ve kenar temsillerini üretmek için iki FFN dalı. Onlar 10 milyon etiketli olmayan moleküller üzerinde modellerini önceden eğitmek ve aşağıdaki görevleri ince ayarlayarak mükemmel sonuçlar elde etmek. Dikkat modülü yumuşak bir adjacence matrisine değiştirilmiştir [ ] doğrudan adjacency matrix ve RDKit ekleyerek -computed inter-atomic distance matrix to the attention probabilites. Very recently, Dwivedi [ ] revisit a series of works for Transformer-based GNNs, and suggest that the attention mechanism in Transformers on graph data should only aggregate the information from neighborhood (i.e., using adjacent matrix as attention mask) to ensure graph sparsity, and propose to use Laplacian eigenvector as positional encoding. Their model GT surpasses baseline GNNs on graph representation task. A concurrent work [ ] propose a novel full Laplacian spectrum to learn the position of each node in a graph, and empirically shows better results than GT. 46 Q K V 41 6 ve al 13 28 5.2 GNN'lerde Yapısal Kodlamalar Information of path and distance is commonly used in GNNs. For example, an attention-based aggregation is proposed in [ ] where the node features, edge features, one-hot feature of the distance and ring flag feature are concatenated to calculate the attention probabilites; similar to path-based attention is leveraged in Orta düğme ile daha yüksek sıradaki komşuları arasındaki etkiyi modellemek için; grafikte uzaktan ağırlanan bir toplama şeması [ ]; it has been proved in [ ] that adopting distance encoding (i.e., one-hot feature of the distance as extra node attribute) could lead to a strictly more expressive power than the 1-WL test. Path and Distance in GNNs. 9 [9], [56] 59 32 Several works introduce positional encoding (PE) to Transformer-based GNNs to help the model capture the node position information. For example, Graph-BERT [ ] introduces three types of PE to embed the node position information to model, i.e., an absolute WL-PE which represents different nodes labeled by Weisfeiler-Lehman algorithm, an intimacy based PE and a hop based PE which are both variant to the sampled subgraphs. Absolute Laplacian PE is employed in [ ] and empircal study shows that its performance surpasses the absolute WL-PE used in Positional Encoding in Transformer on Graph. 61 13 [61]. Except the conventionally used methods to encode edge feature, which are described in previous section, there are several attempts that exploit how to better encode edge features: an attention-based GNN layer is developed in [ ] to encode edge features, where the edge feature is weighted by the similarity of the features of its two nodes; edge feature has been encoded into the popular GIN [ ] in [ ]; in [ ], the authors propose to project edge features to an embedding vector, then multiply it by attention coefficients, and send the result to an additional FFN sub-layer to produce edge representations; Edge Feature. 16 54 5 13 6 Conclusion Transformers'ın grafik temsiline doğrudan uygulanmasını keşfettik. Üç yeni grafik yapısal kodlama ile, önerilen Graphormer, popüler benchmark veritabanlarının geniş bir yelpazesinde şaşırtıcı derecede iyi çalışıyor. Bu ilk sonuçlar teşvik edici olsa da, birçok zorluk kalıyor. Örneğin, öz dikkat modülünün kare karmaşıklığı, Graphormer'ın büyük grafiklerde uygulamasını kısıtlıyor. Bu nedenle, verimli Graphormer'ın gelecekteki geliştirilmesi gereklidir. Gelecekteki çalışmalar için onları bırakıyoruz. 7 Acknowledgement We would like to thank Mingqi Yang and Shanda Li for insightful discussions. References [1] Jinheon Baek, Minki Kang, and Sung Ju Hwang. Accurate learning of graph representations with graph multiset pooling. , 2021. ICLR Hakkında [2] Dominique Beaini, Saro Passaro, Vincent Létourneau, William L Hamilton, Gabriele Corso, and Pietro Liò. Directional graph networks. In , 2021. International Conference on Machine Learning [3] Mikhail Belkin and Partha Niyogi. Laplacian eigenmaps for dimensionality reduction and data representa-tion. , 15(6):1373–1396, 2003. Nöral Bilgisayar [4] Xavier Bresson and Thomas Laurent. Residual gated graph convnets. , 2017. arXiv preprint arXiv:1711.07553 [5] Rémy Brossard, Oriel Frigo, and David Dehaene. Graph convolutions that can finally model local structure. 2020 için. arXiv preprint arXiv:2011.15069 [6] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, , volume 33, pages 1877–1901. Curran Associates, Inc., 2020. Neural Bilgi İşleme Sistemlerinde Gelişmeler [7] Deng Cai and Wai Lam. Graph transformer for graph-to-sequence learning. In , volume 34, pages 7464–7471, 2020. Proceedings of the AAAI Conference on Artificial Intelligence [8] Tianle Cai, Shengjie Luo, Keyulu Xu, Di He, Tie-yan Liu, and Liwei Wang. Graphnorm: A principled approach to accelerating graph neural network training. In , 2021. International Conference on Machine Learning [9] Benson Chen, Regina Barzilay, and Tommi Jaakkola. Path-augmented graph transformer network. , 2019. arXiv ön baskı arXiv:1905.12712 [10] Gabriele Corso, Luca Cavalleri, Dominique Beaini, Pietro Liò, and Petar Velicˇkovic´. Principal neighbour-hood aggregation for graph nets. , 33, 2020. Advances in Neural Information Processing Systems [11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pre-training of deep bidi-rectional transformers for language understanding. In , pages 4171–4186, 2019. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) [12] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly ve diğerleri. , 2020. arXiv preprint arXiv:2010.11929 [13] Vijay Prakash Dwivedi and Xavier Bresson. A generalization of transformer networks to graphs. , 2021. AAAI Workshop on Deep Learning on Graphs: Methods and Applications [14] Vijay Prakash Dwivedi, Chaitanya K Joshi, Thomas Laurent, Yoshua Bengio, and Xavier Bresson. Bench-marking graph neural networks. , 2020. arXiv preprint arXiv:2003.00982 [15] Justin Gilmer, Samuel S Schoenholz, Patrick F Riley, Oriol Vinyals, and George E Dahl. Neural message passing for quantum chemistry. In , pages 1263–1272. PMLR, 2017. International Conference on Machine Learning [16] Liyu Gong and Qiang Cheng. Exploiting edge features for graph neural networks. In , pages 9211–9219, 2019. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition [17] Anmol Gulati, James Qin, Chung-Cheng Chiu, Niki Parmar, Yu Zhang, Jiahui Yu, Wei Han, Shibo Wang, Zhengdong Zhang, Yonghui Wu, et al. Conformer: Convolution-augmented transformer for speech recognition. 2020 için. arXiv preprint arXiv:2005.08100 [18] William L Hamilton, Zhitao Ying, and Jure Leskovec. Inductive representation learning on large graphs. In , 2017. NIPS [19] Vincent J Hellendoorn, Charles Sutton, Rishabh Singh, Petros Maniatis, and David Bieber. Global relational models of source code. In , 2019. Eğitim temsilcilikleri ile ilgili uluslararası konferans [20] W Hu, B Liu, J Gomes, M Zitnik, P Liang, V Pande, and J Leskovec. Strategies for pre-training graph neural networks. In , 2020. International Conference on Learning Representations (ICLR) [21] Weihua Hu, Matthias Fey, Hongyu Ren, Maho Nakata, Yuxiao Dong, and Jure Leskovec. Ogb-lsc: A large-scale challenge for machine learning on graphs. , 2021. arXiv preprint arXiv:2103.09430 [22] Weihua Hu, Matthias Fey, Marinka Zitnik, Yuxiao Dong, Hongyu Ren, Bowen Liu, Michele Catasta, and Jure Leskovec. Open graph benchmark: Datasets for machine learning on graphs. , 2020. arXiv preprint arXiv:2005.00687 [23] Ziniu Hu, Yuxiao Dong, Kuansan Wang, and Yizhou Sun. Heterogeneous graph transformer. In , pages 2704–2710, 2020. Proceedings of The Web Conference 2020 [24] Katsuhiko Ishiguro, Shin-ichi Maeda, and Masanori Koyama. Graph warp module: an auxiliary module for boosting the power of graph neural networks in molecular graph analysis. , 2019. arXiv preprint arXiv:1902.01020 [25] Guolin Ke, Di He, and Tie-Yan Liu. Rethinking the positional encoding in language pre-training. 2020 için. ICLR [26] Thomas N. Kipf ve Max Welling. Grafik konvolisyonlu ağlarla yarı denetlenmiş sınıflandırma. 2016 yılında arXiv preprint arXiv:1609.02907 [27] Kezhi Kong, Guohao Li, Mucong Ding, Zuxuan Wu, Chen Zhu, Bernard Ghanem, Gavin Taylor, and Tom Goldstein. Flag: Adversarial data augmentation for graph neural networks. , 2020. arXiv preprint arXiv:2010.09891 [28] Devin Kreuzer, Dominique Beaini, William Hamilton, Vincent Létourneau ve Prudencio Tossou. Spektral dikkat ile grafik transformatörleri yeniden düşünmek. , 2021. arXiv preprint arXiv:2106.03893 [29] Tuan Le, Marco Bertolini, Frank Noé, and Djork-Arné Clevert. Parameterized hypercomplex graph neural networks for graph classification. , 2021. arXiv preprint arXiv:2103.16584 [30] Guohao Li, Chenxin Xiong, Ali Thabet, and Bernard Ghanem. Deepergcn: All you need to train deeper gcns. , 2020. arXiv preprint arXiv:2006.07739 [31] Junying Li, Deng Cai, and Xiaofei He. Learning graph-level representation for drug discovery. , 2017. arXiv preprint arXiv:1709.03741 [32] Pan Li, Yanbang Wang, Hongwei Wang, and Jure Leskovec. Distance encoding: Design provably more powerful neural networks for graph representation learning. , 33, 2020. Neural Bilgi İşleme Sistemlerinde Gelişmeler [33] Yuan Li, Xiaodan Liang, Zhiting Hu, Yinbo Chen, and Eric P. Xing. Graph transformer, 2019. [34] Xi Victoria Lin, Richard Socher ve Caiming Xiong. Ödül şekillendirme ile çok hop bilgi grafik mantık. , 2018. arXiv preprint arXiv:1808.10568 [35] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach. , 2019. arXiv preprint arXiv:1907.11692 [36] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin ve Baining Guo. Swin dönüştürücü: Değiştirilmiş pencereleri kullanan hijerarşik görüş dönüştürücü. , 2021. arXiv preprint arXiv:2103.14030 [37] Shengjie Luo, Shanda Li, Tianle Cai, Di He, Dinglan Peng, Shuxin Zheng, Guolin Ke, Liwei Wang, and Tie-Yan Liu. Stable, fast and accurate: Kernelized attention with relative positional encoding. , 2021. nöroloji [38] Haggai Maron, Heli Ben-Hamu, Hadar Serviansky, and Yaron Lipman. Provably powerful graph networks. In H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc, E. Fox, and R. Garnett, editors, , volume 32. Curran Associates, Inc., 2019. Advances in Neural Information Processing Systems [39] P David Marshall. The promotion and presentation of the self: celebrity as marker of presentational media. , 1(1): 35-48 yıl önce Celebrity studies Alice Marwick ve Danah Boyd - Görmek ve Görülmek: Twitter'da Ünlüler Uygulaması , 17(2):139–158, 2011. Convergence [41] Łukasz Maziarka, Tomasz Danel, Sławomir Mucha, Krzysztof Rataj, Jacek Tabor, and Stanisław Jastrze˛bski. Molecule attention transformer. , 2020. arXiv preprint arXiv:2002.08264 [42] Maho Nakata and Tomomi Shimazaki. Pubchemqc project: a large-scale first-principles electronic structure database for data-driven chemistry. , 57(6):1300-1308, 2017 Journal of chemical information and modeling [43] Sharan Narang, Hyung Won Chung, Yi Tay, William Fedus, Thibault Fevry, Michael Matena, Karishma Malkan, Noah Fiedel, Noam Shazeer, Zhenzhong Lan, et al. Do transformer modifications transfer across implementations and applications? 2021 için. arXiv preprint arXiv:2102.11972 [44] Dinglan Peng, Shuxin Zheng, Yatao Li, Guolin Ke, Di He, and Tie-Yan Liu. How could neural networks understand programs? In . PMLR, 2021. International Conference on Machine Learning [45] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. , 21(140):1–67, 2020 Makine Öğrenimi Araştırmaları Dergisi [46] Yu Rong, Yatao Bian, Tingyang Xu, Weiyang Xie, Ying Wei, Wenbing Huang, and Junzhou Huang. Self-supervised graph transformer on large-scale molecular data. 33 yıl, 2020 Neural Bilgi İşleme Sistemlerinde Gelişmeler [47] Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. Self-attention with relative position representations. In , pages 464–468, 2018. Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers) [48] Yunsheng Shi, Zhengjie Huang, Wenjin Wang, Hui Zhong, Shikun Feng, and Yu Sun. Masked label predic-tion: Unified message passing model for semi-supervised classification. , 2020. arXiv preprint arXiv:2009.03509 [49] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In 2017 yılında NIPS [50] Petar Velicˇkovic´, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. Graph attention networks. , 2018. ICLR [51] Guangtao Wang, Rex Ying, Jing Huang, and Jure Leskovec. Direct multi-hop attention based graph neural network. , 2020. arXiv preprint arXiv:2009.14332 [52] Sinong Wang, Belinda Li, Madian Khabsa, Han Fang, and Hao Ma. Linformer: Self-attention with linear complexity. 2020 için. arXiv preprint arXiv:2006.04768 [53] Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei Wang, and Tieyan Liu. On layer normalization in the transformer architecture. In , pages 10524–10533. PMLR, 2020. International Conference on Machine Learning [54] Keyulu Xu, Weihua Hu, Jure Leskovec, and Stefanie Jegelka. How powerful are graph neural networks? In , 2019. International Conference on Learning Representations [55] Mingqi Yang, Yanming Shen, Heng Qi, and Baocai Yin. Breaking the expressive bottlenecks of graph neural networks. , 2020. arXiv preprint arXiv:2012.07219 [56] Yiding Yang, Xinchao Wang, Mingli Song, Junsong Yuan, and Dacheng Tao. Spagan: Shortest path graph attention network. , 2019. IJCAI’de gelişmeler [57] Chengxuan Ying, Guolin Ke, Di He, and Tie-Yan Liu. Lazyformer: Self attention with lazy update. , 2021. arXiv preprint arXiv:2102.12702 [58] Chengxuan Ying, Mingqi Yang, Shuxin Zheng, Guolin Ke, Shengjie Luo, Tianle Cai, Chenglin Wu, Yuxin Wang, Yanming Shen ve Di He. İlk yer kdd cup 2021 çözümü & ogb büyük ölçekli meydan okumak grafik düzeyi pist. , 2021. arXiv preprint arXiv:2106.08279 [59] Jiaxuan You, Rex Ying, and Jure Leskovec. Position-aware graph neural networks. In , pages 7134–7143. PMLR, 2019. International Conference on Machine Learning [60] Seongjun Yun, Minbyul Jeong, Raehyun Kim, Jaewoo Kang, and Hyunwoo J Kim. Graph transformer networks. 32 ve 2019 Advances in Neural Information Processing Systems [61] Jiawei Zhang, Haopeng Zhang, Congying Xia ve Li Sun. Graph-bert: Yalnızca grafik temsillerini öğrenmek için dikkat gereklidir. , 2020. arXiv preprint arXiv:2001.05140 [62] Chen Zhu, Yu Cheng, Zhe Gan, Siqi Sun, Tom Goldstein, and Jingjing Liu. Freelb: Enhanced adversarial training for natural language understanding. In , 2020. ICLR [63] Daniel Zügner, Tobias Kirschstein, Michele Catasta, Jure Leskovec, and Stephan Günnemann. Language-agnostic representation learning of source code from structure and context. In , 2020. International Conference on Learning Representations A Proofs A.1 SPD can Be Used to Improve WL-Test 1-WL-test fails in many cases [ , ], thus classic message passing GNNs also fail to distinguish many pairs of graphs. We show that SPD might help when 1-WL-test fails, for example, in Figure where 1-WL-test fails, the sets of SPD from all nodes to others successfully distinguish the two graphs. 38 32 2 A.2 Proof of Fact 1 1 We begin by showing that self-attention module with Spatial Encoding can repre-sent MEAN aggregation. This is achieved by in Eq. : 1) setting = 0 if = 1 and = otherwise where is the SPD; 2) setting = = 0 and to be the identity matrix. Then softmax ( ) gives the average of representations of the neighbors. MEAN AGGREGATE. (6) bφ φ bφ −∞ φ WQ WK WV A V The SUM aggregation can be realized by first perform MEAN aggregation and then multiply the node degrees. Specifically, the node degrees can be extracted from Centrality Encoding by an additional head and be concatenated to the representations after MEAN aggregation. Then the FFN module in Graphormer can represent the function of multiplying the degree to the dimensions of averaged representations by the universal approximation theorem of FFN. SUM AGGREGATE. Representing the MAX aggregation is harder than MEAN and SUM. For each dimension of the representation vector, we need one head to select the maximal value over Eq’de komşu boyut. 1) Yürütme = 0 if = 1 and = Hakkında otherwise where is the SPD; 2) setting = which is the • Standart temel; = 0 and the bias term (which is ignored in the previous description for simplicity) of olmak ; and = , where is the temperature that can be chosen to be large enough so that the softmax function can approximate hard max and is the vector whose elements are all 1. MAX AGGREGATE. t t (6) bφ φ bφ −∞ φ WK et t WQ Q T 1 WV için et T 1 The COMBINE step takes the result of AGGREGATE and the previous representation of current node as input. This can be achieved by the AGGREGATE operations described above together with an additional head which outputs the features of present nodes, i.e., in Eq. 1) Yürütme = 0 if = 0 and = Hakkında Aksi takdirde nerede SPD’nin kurulması; 2) = = 0 and Daha sonra FFN modülü, FFN'nin evrensel yaklaşım teoremi ile herhangi bir COMBINE fonksiyonunu yaklaştırabilir. COMBINE. (6) BFF Hakkında φ BFF Hakkında −∞ φ WQ WK WV A.3 Proof of Fact 2 2 This can be proved by setting = Hakkında = 0, the bias terms of to be ve kimlik matrisinin nerede olduğu boyutundan çok daha büyük olmalı so that 2 T dominates the Spatial Encoding term. MEAN READOUT. WQ WK Q, K T 1 WV T BFF Hakkında T 11 B Experiment Details B.1 Detaylı Bilgiler We summarize the datasets used in this work in Table PCQM4m-LSC is a quantum chemistry graph-level prediction task in recent OGB Large-Scale Challenge, originally curated under the PubChemQC project [ ]. 6. 42 The task of PCQM4M-LSC is to predict DFT(density functional theory)-calculated HOMO-LUMO energy gap of molecules given their 2D molecular graphs, which is one of the most practically-relevant quantum chemical properties of molecule science. PCQM4M-LSC is unprecedentedly large in scale comparing to other labeled graph-level prediction datasets, which contains more than 3.8M graphs. Besides, we conduct experiments on two molecular graph datasets in popular OGB leaderboards, i.e., OGBG-MolPCBA and OGBG-MolHIV. They are two molecular property prediction datasets with different sizes. The pre-trained knowledge of molecular graph on PCQM4M-LSC could be easily leveraged on these two datasets. We adopt official scaffold split on three datasets following [ , ]. In addition, we employ another popular leaderboard, i.e., benchmarking-gnn [ ]. En popüler gerçek dünya moleküler veritabanı olan ZINC veritabanını, moleküller için jeneratif GNN'leri tasarlamak için önemli bir kimyasal özellik olan zorunlu çözünürlük için grafik mülkiyet regresyonunu tahmin etmek için kullanıyoruz. OGB'deki çubuk bölünmesinden farklı olarak, veri bölünmesi için ZINC'de eşit örnekleme uygulanır. 21 22 14 B.2 Details of Training Strategies B.2.1 PCQM4M-LSC We report the detailed hyper-parameter settings used for training Graphormer in Table We reduce the FFN inner-layer dimension of 4 in [ (İkinci Bu, performansın önemli ölçüde zarar görmemesi, ancak parametreleri önemli ölçüde tasarrufu sağlar.Gömleyici drop-out oranı, önceki birçok Transformer çalışmasında varsayılan olarak 0.1'e ayarlanmıştır. ve ]. However, we empirically find that a small embedding dropout ratio (e.g., 0.1) would lead to an observable performance drop on validation set of PCQM4M-LSC. One possible reason is that the molecular graph is relative small (i.e., the median of #atoms in each molecule is about 15), making graph property more sensitive to the embeddings of each node. Therefore, we set embedding dropout ratio to 0 on this dataset. 7. d 49 d 11 35 B.2.2 OGBG-MolPCBA İlk olarak, PCQM4M-LSC'de önceden eğitilmiş Graphormer'ın model yapılandırmalarını ve hiper parametrelerini rapor ediyoruz. Empirik olarak, MolPCBA'daki performansın büyük önceden eğitilmiş model boyutundan faydalanıldığını bulduk. Bu nedenle, PCQM4M-LSC'de 18 Transformer tabakasıyla derin bir Graphormer'i eğitiyoruz. Gizli boyut ve FFN iç tabakası boyutu 1024'e ayarlanmıştır. Pre-training. Graphormer. Buna ek olarak, modelin aşırı ayarlanmasını önlemek için hem ön antrenman hem de ince ayarlamada 0.1'den 0.3'e dikkat düşme oranı arttırdık. Diğer hiper parametreler değişmedi. MolPCBA için kullanılan önceden eğitilmiş Graphormer, PCQM4M-LSC'de geçerli MAE'yi 0.1253'e ulaştı, bu da Tablo'daki raporlardan biraz daha kötü. 1. Table OGBG-MolPCBA'da Graphormer'in ince ayarlanması için kullanılan hiper parametreyi özetler. Optimum yapılandırmayı bulmak için birkaç hiper parametre için bir ağ arama yaparız. Deneysel sonuçlar rastgele tohumlarla 10 bağımsız çalışmanın ortalamasıyla bildirilir. FLAG'ı kullanırız [ ] with minor modifications for graph data augmentation. In particular, except the step size and the number of steps , we also employ a projection step in [ ] with maximum perturbation MolPCBA'da Graphormer'ın performansı FLAG'ın hiper-parametrelerine göre oldukça sağlamdır. Fine-tuning. 8 27 α m 62 g B.2.3 OGBG-MolHIV için We use the Graphormer reported in Table as the pre-trained model for OGBG-MolHIV, where the pre-training hyper-parameters are summarized in Table Pre-training. 1 7. OGBG-MolHIV üzerinde Graphormer'ın ince ayarlanması için hiper-parametreler Tablo'da sunulmaktadır Empirik olarak, FLAG'ın farklı hiper-parametre seçeneklerinin (yani, adım boyutunun adımların sayısı , and maximum perturbation ) would greatly affect the performance of Graphormer on OGBG-MolHiv. Therefore, we spend more effort to conduct grid search for hyper-parameters of FLAG. We report the best hyper-parameters by the mean of 10 independent runs with random seeds. Fine-tuning. 9. α m g 4.2 Zincir Graphormer'ın toplam parametrelerini benchmarking-GNN lider tablosundan talep başına 500K'dan daha az tutmak için [ ], Tablo'da GraphormerSLIM olarak adlandırılan 80'in gizli boyutuyla ince 12 katmanlı Graphormer'ı eğitiyoruz ve yaklaşık 489K öğrenilebilir parametreler vardır. Dikkat başlarının sayısı 8'e ayarlanmıştır. summarizes the detailed hyper-parameters on ZINC. We train 400K steps on this dataset, and employ a weight decay of 0.01. 14 4 , 10 B.3 Details of Hyper-parameters for Baseline Methods In this section, we present the details of our re-implementation of the baseline methods. B.3.1 PCQM4M-LSC için OGB-LSC'nin resmi Github deposu Bu hiperparametreler, DeeperGCN-VN hariç neredeyse tüm popüler GNN varyantlarında iyi çalışıyor, bu nedenle, DeeperGCN-VN için resmi hiperparametr ayarını takip ediyoruz provided by the authors [ ]. Graphormer ile adil bir karşılaştırma için, 12 katmanlı DeeperGCN'yi eğitiyoruz. Gizli boyut 600'e ayarlanmıştır. Parça boyutu 256'a ayarlanmıştır. Öğrenme oranı 1e-3'e ayarlanmıştır ve bir adım öğrenme oranı planlayıcısı bozulma adım boyutu ve bozulma faktörü ile çalışmaktadır. 30 epoch ve 0.25. model 100 epoch için eğitilmiştir. 7 8 30 γ Gümüşhane’nin Gümüşhane’nin Gümüşhane’nin Gümüşhane’nin ( ] is set to 8. However, it will cause 2.91% small molecules (less than 8 atoms) to be filtered out. Therefore, for GT and GT-Wide, we set the dimension of laplacian PE to 4, which results in only 0.08% filtering out. We adopt the default hyper-parameter settings described in [ ], ancak PCQM4M-LSC üzerinde daha iyi bir yaklaşımına yol açan öğrenme oranı 1e-4'e düşürüyoruz. 13 13 B.3.2 OGBG-MolPCBA To fine-tune the pre-trained GIN-VN on MolPCBA, we follow the hyper-parameter settings provided in the original OGB paper [ ]. Daha kesin olmak için, önceden eğitilmiş kontrol noktalarını Tablo'da bildiriyoruz OGBG-MolPCBA veritabanında düzgün bir şekilde ayarlayın. Daha iyi düzgün bir şekilde ayarlanma performansını sağlamak için hiperparametrelerdeki şebeke aramasını kullanırız. Özellikle, öğrenme oranı {1e − 5, 1e − 4, 1e − 3} arasından seçilir; düşüş oranı {0.0, 0.1, 0.5} arasından seçilir; grup boyutu {32, 64} arasından seçilir. 22 1 B.3.3 OGBG-MolHIV Benzer şekilde, orijinal OGB kağıdında sağlanan hyper-parameter ayarlarını izleyerek MolHIV üzerinde önceden eğitilmiş GIN-VN'i düzeltiyoruz [ ]. Ayrıca, optimum hyperparametreleri aramak için grid arama yaparız. grid arama her hyperparametresi için aralıklar önceki alt bölümle aynıdır. 22 C Daha Fazla Deney As described in the related work, GROVER is a Transformer-based GNN, which has 100 million parameters and pre-trained on 10 million unlabelled molecules using 250 Nvidia V100 GPUs. In this section, we report the fine-tuning scores of GROVER on MolHIV and MolPCBA, and compare with proposed Graphormer. We download the pre-trained GROVER models from its official Github webpage , follow the official instruc-tions ve sağlanan önceden eğitilmiş kontrol noktalarını hiper-parametrelerin dikkatli bir şekilde aramakla düzeltin (Tablo'da We find that GROVER could achieve competitive performance on MolHIV only if employing additional molecular features, i.e., morgan molecular finger prints and 2D features . Therefore, we report the scores of GROVER by taking these two additional molecular features. Please note that, from the leaderboard Bu tür ek moleküler özellikler MolHIV veritabanında çok etkili olduğunu biliyoruz. 9 10 11 ) 11 12 masanın ve summarize the performance of GROVER and GROVERLARGE comparing with Graphormer on MolHIV and MolPCBA. From the tables, we observe that Graphormer could consistently outperform GROVER even without any additional molecular features. 12 13 D Discussion & Future Work Similar to regular Transformer, the attention mechanism in Graphormer scales quadratically with the number of nodes Giriş grafiğinde, bu, büyük ölçüde pahalı olabilir and precludes its usage in settings with limited computational resources. Recently, many solutions have been proposed to address this problem in Transformer [ , ve , Bu sorun, gelecekte verimli Graphormer geliştirilmesinden büyük fayda sağlayacaktır. Complexity. n n 25 52 57 37 Graphormer'da, ağ merkezi ve uzay kodlama fonksiyonu için çok sayıda seçenek vardır. ( ). For example, one can leverage the 2 molekülde iki atom arasındaki 3D yapıda mesafe. Bu makalede, grafik teorisinde genel merkezi ve mesafe metriklerini, yani derece merkezi ve en kısa yolunu değerlendiriyoruz. performans iyileştirmesi, belirli bir grafik veritabanında alan bilgisi desteklenen kodlamaları kullanarak beklenebilir. Choice of centrality and φ φ vi, vj L Finans, sosyal ağ ve zaman tahminleri gibi grafik yapılandırılmış veriler üzerinde çok çeşitli düğüm temsilcilik görevleri vardır. Graphormer doğal olarak geçerli bir grafik örnekleme stratejisi ile düğüm temsilcilik çıkarmak için kullanılabilir. Node Representation. This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv Bu kağıt CC by 4.0 Deed (Attribution 4.0 International) lisansı altında. available on arxiv