Cara Baru untuk Melatih AI pada Data Graf Tanpa Pengawasan

```html Penulis: Zhen Peng Wenbing Huang Minnan Luo Qinghua Zheng Yu Rong Tingyang Xu Junzhou Huang ABSTRAK Kekayaan konten berbagai jaringan informasi seperti jejaring sosial dan jaringan komunikasi menyediakan potensi yang belum pernah ada sebelumnya untuk mempelajari representasi ekspresif berkualitas tinggi tanpa pengawasan eksternal. Makalah ini menyelidiki cara mempertahankan dan mengekstrak informasi melimpah dari data terstruktur graf ke dalam ruang penyematan secara tidak terawasi. Untuk tujuan ini, kami mengusulkan konsep baru, Graphical Mutual Information (GMI), untuk mengukur korelasi antara graf input dan representasi tersembunyi tingkat tinggi. GMI menggeneralisasi ide perhitungan informasi bersama konvensional dari ruang vektor ke domain graf di mana pengukuran informasi bersama dari dua aspek fitur node dan struktur topologi sangat diperlukan. GMI menunjukkan beberapa keuntungan: Pertama, ia invarian terhadap transformasi isomorfik dari graf input—batasan yang tak terhindarkan dalam banyak algoritma pembelajaran representasi graf yang ada; Selain itu, ia dapat diperkirakan dan dimaksimalkan secara efisien oleh metode estimasi informasi bersama saat ini seperti MINE; Akhirnya, analisis teoretis kami mengonfirmasi kebenaran dan rasionalitasnya. Dengan bantuan GMI, kami mengembangkan model pembelajaran tanpa pengawasan yang dilatih dengan memaksimalkan GMI antara input dan output dari encoder graf saraf. Eksperimen yang cukup pada klasifikasi node transductive dan induktif serta prediksi tautan menunjukkan bahwa metode kami mengungguli rekan-rekan tanpa pengawasan canggih, dan bahkan terkadang melebihi kinerja yang diawasi. 1 PENDAHULUAN Untuk mencapai analisis kuantitatif yang andal untuk berbagai jaringan informasi, pembelajaran representasi berkualitas tinggi untuk data terstruktur graf telah menjadi salah satu topik menarik saat ini. Metode terbaru menuju tujuan ini, yang umumnya dikategorikan sebagai Graph Neural Networks (GNNs), telah membuat kemajuan luar biasa dalam banyak tugas pembelajaran, seperti klasifikasi node [ , , ], prediksi tautan [ , , ], penyelarasan graf [ , , ], generasi molekuler [ , , ], untuk menyebutkan beberapa. Meskipun dalam kemajuan yang berbuah, melatih GNN dalam pendekatan yang ada biasanya membutuhkan bentuk pengawasan tertentu. Tidak diragukan lagi, informasi pelabelan mahal untuk diperoleh—anotasi manual atau membayar izin, dan bahkan tidak mungkin diperoleh karena kebijakan privasi. Belum lagi keandalan label yang diberikan terkadang patut dipertanyakan. Oleh karena itu, bagaimana mencapai representasi graf berkualitas tinggi tanpa pengawasan menjadi suatu keharusan untuk banyak kasus praktis, yang memotivasi studi makalah ini. 35 42 50 26 27 49 12 19 43 4 5 46 Melalui pemeriksaan cermat data terstruktur graf yang kami kumpulkan, kami menemukan bahwa mereka umumnya berasal dari berbagai sumber seperti jejaring sosial, jaringan kutipan, dan jaringan komunikasi di mana terdapat sejumlah besar informasi konten dan tautan. Misalnya, data di banyak platform sosial seperti Twitter, Flickr, dan Facebook menyertakan fitur pengguna, *misalnya*, detail pribadi dasar, teks, gambar, IP, dan hubungan mereka, *misalnya*, membeli barang yang sama, menjadi teman. Data konten yang kaya ini cukup untuk mendukung tugas penambangan selanjutnya tanpa panduan tambahan: jika dua entitas menunjukkan kesamaan ekstrem dalam fitur, ada kemungkinan tinggi adanya tautan di antara mereka (prediksi tautan), dan mereka kemungkinan besar termasuk dalam kategori yang sama (klasifikasi); jika dua entitas keduanya terhubung ke entitas yang sama, mereka mungkin memiliki karakteristik serupa (rekomendasi). Dalam pengertian ini, mempertahankan dan mengekstrak informasi sebanyak mungkin dari jaringan informasi ke dalam ruang penyematan memfasilitasi pembelajaran representasi ekspresif berkualitas tinggi yang menunjukkan kinerja yang diinginkan dalam tugas penambangan tanpa bentuk pengawasan apa pun. Pembelajaran representasi graf tanpa pengawasan adalah pilihan yang lebih disukai dalam banyak kasus karena kebebasan dari label, terutama ketika kita bermaksud memanfaatkan data tak berlabel skala besar di alam liar. Untuk sepenuhnya mewarisi informasi kaya dalam graf, dalam makalah ini, kami melakukan penyematan graf berdasarkan maksimisasi Mutual Information (MI), terinspirasi oleh keberhasilan empiris metode Deep Info-Max [ ] yang beroperasi pada gambar. Untuk menemukan representasi yang berguna, Deep InfoMax melatih encoder untuk memaksimalkan MI antara inputnya (yaitu, gambar) dan outputnya (yaitu, vektor tersembunyi). Ketika mempertimbangkan Deep InfoMax di domain graf, batu pertama yang perlu kita lalui adalah bagaimana mendefinisikan MI antara graf dan vektor tersembunyi, sedangkan topologi graf lebih rumit daripada gambar (lihat Gambar Salah satu tantangan adalah memastikan fungsi MI antara representasi tersembunyi setiap node dan fitur input lingkungannya mematuhi sifat simetris, atau setara, invarian terhadap permutasi lingkungan. Sebagai salah satu karya terbaru yang mempertimbangkan MI, Deep Graph Infomax (DGI) [ ] pertama-tama menyematkan graf input dan graf yang rusak yang sesuai, kemudian meringkas graf input sebagai vektor melalui fungsi pembacaan, akhirnya memaksimalkan MI antara vektor ringkasan ini dan representasi tersembunyi dengan membedakan graf input (sampel positif) dari graf yang rusak (sampel negatif). Gambar memberikan gambaran umum DGI yang mudah dipahami. Maksimisasi MI semacam ini terbukti setara dengan memaksimalkan yang antara fitur node input dan vektor tersembunyi, tetapi kesetaraan ini berlaku di bawah beberapa kondisi yang telah ditentukan sebelumnya, *misalnya*, fungsi pembacaan harus injektif, yang tampaknya terlalu dibatasi dalam kasus nyata. Bahkan jika kita dapat menjamin keberadaan fungsi pembacaan injektif dengan desain tertentu, *misalnya*, yang digunakan dalam DeepSets [ ], kemampuan injektif fungsi pembacaan juga dipengaruhi oleh bagaimana parameternya dilatih. Artinya, fungsi yang awalnya injektif masih berisiko menjadi non-injektif jika dilatih tanpa pengawasan eksternal apa pun. Dan jika fungsi pembacaan tidak injektif, informasi graf input yang terkandung dalam vektor ringkasan akan berkurang seiring bertambahnya ukuran graf. Selain itu, DGI tetap dalam maksimisasi MI tingkat graf/patch yang kasar. Oleh karena itu, dalam DGI, tidak ada jaminan bahwa encoder dapat menyaring informasi yang cukup dari data input karena tidak pernah secara cermat mengorelasikan representasi tersembunyi dengan input aslinya. 20 1). 41 1 47 Dalam makalah ini, kami mengusulkan cara yang lebih sederhana untuk mempertimbangkan MI dalam hal struktur graf tanpa menggunakan fungsi pembacaan dan fungsi kerusakan. Kami langsung menurunkan MI dengan membandingkan input (yaitu, sub-graf yang terdiri dari lingkungan input) dan output (yaitu, representasi tersembunyi dari setiap node) dari encoder. Dan menariknya, penurunan teoretis kami menunjukkan bahwa MI yang diformulasikan secara langsung dapat diuraikan menjadi jumlah tertimbang dari MI lokal antara setiap fitur lingkungan dan vektor tersembunyi. Dengan cara ini, kami telah menguraikan fitur input dan membuat perhitungan MI dapat dilacak. Selain itu, bentuk MI ini dapat dengan mudah memenuhi sifat simetris jika kita menyesuaikan nilai bobotnya. Rincian lebih lanjut kami tunda ke § Karena MI di atas terutama diukur pada tingkat fitur node, kami menyebutnya Feature Mutual Information (FMI). 3.1. Dua masalah yang tersisa tentang FMI: **1.** bobot penggabungan masih belum diketahui dan **2.** ia tidak memperhitungkan topologi (yaitu, fitur tepi). Untuk lebih mengatasi kedua masalah ini, kami mendefinisikan pengukuran Graphical Mutual Information (GMI) kami berdasarkan FMI. Secara khusus, GMI menerapkan penetapan nilai intuitif dengan mengatur bobot dalam FMI sama dengan kedekatan antara setiap tetangga dan node target dalam ruang representasi. Untuk mempertahankan informasi topologi, GMI selanjutnya mengorelasikan bobot ini dengan fitur tepi input melalui istilah informasi bersama tambahan. GMI yang dihasilkan invarian secara topologis dan juga dapat dihitung dengan Mutual Information Neural Estimation (MINE) Kontribusi utama dari karya kami adalah sebagai berikut: [2]. • * *: Kami menggeneralisasi estimasi MI konvensional ke domain graf dan mengusulkan konsep baru Graphical Mutual Information (GMI). GMI bebas dari Konsep risiko potensial yang disebabkan oleh fungsi pembacaan karena mempertimbangkan MI antara graf input dan penyematan tingkat tinggi dalam pola yang lugas. • * *: Melalui analisis teoretis kami, kami memberikan bentuk GMI yang dapat dilacak dan dihitung yang menguraikan Algoritma GMI keseluruhan menjadi jumlah tertimbang dari MI lokal. Dengan bantuan metode MINE, maksimisasi GMI dapat dengan mudah dicapai pada tingkat node. • * *: Kami memverifikasi efektivitas GMI pada beberapa tugas klasifikasi node dan prediksi tautan yang populer Temuan Eksperimental termasuk yang transductive dan induktif. Eksperimen menunjukkan bahwa metode kami memberikan kinerja yang menjanjikan pada berbagai tolok ukur dan bahkan terkadang mengungguli rekan-rekan yang diawasi. 2 PEKERJAAN TERKAIT Sejalan dengan fokus pekerjaan kami, kami secara singkat meninjau karya sebelumnya di dua bidang berikut: **1.** estimasi informasi bersama, dan **2.** jaringan saraf untuk pembelajaran representasi di atas graf. . Karena prinsip InfoMax [ ] menganjurkan maksimisasi MI antara input dan output jaringan saraf, banyak metode seperti algoritma ICA [ , ] mencoba menerapkan ide MI dalam pembelajaran fitur tanpa pengawasan. Namun, metode ini tidak dapat digeneralisasi ke jaringan saraf dalam dengan mudah karena kesulitan dalam menghitung MI antara variabel kontinu berdimensi tinggi. Untungnya, Mutual Information Neural Estimation (MINE) [ ] membuat estimasi MI pada jaringan saraf dalam menjadi layak melalui pelatihan jaringan statistik sebagai pengklasifikasi untuk membedakan sampel yang berasal dari distribusi gabungan dan produk dari marginal dari dua variabel acak. Secara khusus, MINE menggunakan formulasi MI berbasis KL yang tepat, sementara alternatif non-KL, Jensen-Shannon divergence (JSD) [ ], dapat digunakan tanpa kekhawatiran tentang nilai MI yang tepat. Estimasi informasi bersama 3 1 21 2 30 . Dengan pesatnya perkembangan graph neural network (GNN), sejumlah besar algoritma pembelajaran representasi graf berdasarkan GNN telah diusulkan dalam beberapa tahun terakhir, yang menunjukkan kinerja lebih kuat daripada pendekatan penyematan berbasis random walk dan faktorisasi tradisional [ , , , , ]. Biasanya, metode ini dapat dibagi menjadi kategori terawasi dan tidak terawasi. Di antara mereka, ada banyak literatur tentang pembelajaran representasi terawasi di atas graf [ , , , , ]. Meskipun bervariasi dalam arsitektur jaringan, mereka mencapai keberhasilan empiris dengan bantuan label yang seringkali tidak dapat diakses dalam skenario realistis. Dalam kasus ini, metode pembelajaran graf tanpa pengawasan [ , , ] memiliki potensi aplikasi yang lebih luas. Metode terkenal adalah GraphSAGE [ ], kerangka kerja induktif untuk melatih GNN dengan tujuan berbasis random-walk dalam pengaturan tidak terawasi. Dan baru-baru ini, DGI [ ] menerapkan ide maksimisasi MI ke domain graf dan memperoleh kinerja kuat dalam pola tidak terawasi. Namun, DGI mengimplementasikan maksimisasi kasar (yaitu, memaksimalkan MI pada tingkat graf/patch) yang membuatnya sulit untuk mempertahankan informasi halus dalam graf input. Selain itu, kondisi yang diberlakukan pada fungsi pembacaan yang digunakan dalam DGI tampaknya terlalu dibatasi dalam kasus nyata. Sebaliknya, kami berfokus pada menghilangkan batasan fungsi pembacaan dan mencapai maksimisasi informasi bersama graf pada tingkat node dengan secara langsung memaksimalkan MI antara input dan output encoder. Representasi yang diturunkan oleh metode kami lebih canggih dalam menjaga informasi graf input, yang memastikan potensinya untuk tugas penambangan graf hilir, *misalnya*, klasifikasi node, prediksi tautan, dan rekomendasi. Jaringan saraf untuk pembelajaran representasi graf 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 3 INFORMASI BERSAMA GRAFIS: DEFINISI DAN MAKSIMISASI Sebelum melangkah lebih jauh, kami pertama-tama memberikan konsep pendahuluan yang digunakan dalam makalah ini. Misalkan G = (V, E) menyatakan graf dengan *N* node *vi* ∈ V dan tepi *eij* = (*vi* , *vj* ) ∈ E. Fitur node, dengan distribusi probabilitas empiris yang diasumsikan P, diberikan oleh *X* ∈ R*N* ×*D* = {*x* 1, · · · , *x N* } di mana *xi* ∈ R*D* menunjukkan fitur untuk node *vi*. Matriks ketetanggaan *A* ∈ R*N* ×*N* mewakili koneksi tepi, di mana *Aij* yang terkait dengan tepi *eij* bisa berupa angka riil atau vektor multi-dimensi1. Tujuan pembelajaran representasi graf adalah untuk mempelajari encoder *f* : R*N* ×*D* × R*N* ×*N* → R*N* ×*D* ′ , sedemikian rupa sehingga vektor tersembunyi *H* = {*h*1, · · · , *hN* } = *f* (*X* , *A*) menunjukkan representasi tingkat tinggi untuk semua node. Proses pengkodean dapat ditulis ulang dalam bentuk node-wise. Untuk menunjukkannya, kita mendefinisikan *Xi* dan *Ai* untuk node *i* masing-masing sebagai fitur dari tetangganya dan matriks ketetanggaan yang sesuai bersyarat pada tetangga. Khususnya, *Xi* terdiri dari semua tetangga k-hop dari *vi* dengan *k* ≤ *l* ketika encoder *f* adalah GNN lapisan *l*, dan ia berisi node *i* itu sendiri jika kita lebih lanjut menambahkan loop diri dalam matriks ketetanggaan. Di sini, kami menyebut sub-graf yang diperluas oleh *Xi* dan *Ai* sebagai *support graph* untuk node *i*, yang dilambangkan dengan G*i*. Dengan definisi support graph, pengkodean untuk setiap node menjadi *hi* = *f* (G*i*) = *f* (*Xi* , *Ai*). Dalam Deep InfoMax [ ], tujuan pelatihan encoder adalah memaksimalkan MI antara input dan outputnya. MI diestimasi dengan menggunakan jaringan statistik sebagai diskriminator untuk mengklasifikasikan sampel yang berasal dari distribusi gabungan dan sampel yang diambil dari produk marginal. Secara alami, ketika mengadaptasi ide Deep InfoMax ke graf, kita harus memaksimalkan MI antara representasi *hi* dan support graph G*i* untuk setiap node. Kami menyebut MI grafis semacam ini sebagai *I* (*hi* ; G*i*). Namun, tidak mudah untuk mendefinisikan I (hi ; Gi ). Kesulitannya adalah: Kesulitan dalam mendefinisikan informasi bersama graf. 20 • MI grafis harus invarian terhadap indeks node. Dengan kata lain, kita harus memiliki *I* (*hi* ; G*i*) = *I* (*hi* ; G′*i*), jika G*i* dan G′*i* isomorfik satu sama lain. • Jika kita mengadopsi metode MINE untuk perhitungan MI, diskriminator dalam MINE hanya menerima input ukuran tetap. Ini belum layak untuk G*i* karena G*i* yang berbeda biasanya menyertakan jumlah node yang berbeda dan oleh karena itu memiliki ukuran yang berbeda. Untuk mengatasi masalah mendefinisikan informasi bersama graf, bagian ini dimulai dengan memperkenalkan konsep Feature Mutual Information (FMI) yang hanya mengandalkan fitur node. Berdasarkan inspirasi dari dekomposisi FMI, kami kemudian mendefinisikan Graphical Mutual Information (GMI), yang memperhitungkan baik fitur node maupun 3.1 Informasi Bersama Fitur Kami menyebut distribusi probabilitas empiris dari fitur node *Xi* sebagai *p*( *Xi* ), probabilitas *hi* sebagai *p*( *hi* ), dan distribusi gabungan sebagai *p*( *hi* , *Xi* ). Menurut teori informasi, MI antara *hi* dan *Xi* didefinisikan sebagai Menariknya, kami memiliki teorema dekomposisi informasi bersama berikut untuk menghitung *I* (*hi* ; *Xi* ). Teorema 1 (Dekomposisi Informasi Bersama). *Jika probabilitas kondisional p*( *hi* |*Xi* ) bersifat multiplikatif (lihat definisi multiplikatif di [ ]), informasi bersama global *I* (*hi* ; *Xi*) yang didefinisikan dalam Persamaan dapat diuraikan sebagai jumlah tertimbang dari MI lokal, yaitu, 36 (1) *di mana, xj* adalah tetangga ke-j dari node i, in* adalah jumlah semua elemen dalam *Xi*, dan bobot *wij* memenuhi ≤ *wij* ≤ 1 *untuk setiap j.* 1 Untuk membuktikan teorema di atas, kami pertama-tama memperkenalkan dua lemma dan satu definisi. Lemma 1. *Untuk variabel acak X, Y , dan Z apa pun, kita memiliki* Dengan dekomposisi dalam Teorema kita dapat menghitung sisi kanan Persamaan melalui MINE karena input diskriminator sekarang menjadi pasangan (*hi* , *xj*) yang ukurannya selalu sama (yaitu, *D* ′-kali-*D*). Selain itu, kita dapat menyesuaikan bobot untuk mencerminkan transformasi isomorfik dari graf input. Misalnya, jika *Xi* hanya berisi tetangga satu hop dari node *i*, menetapkan semua bobot agar identik akan menghasilkan MI yang sama untuk node input dalam urutan yang berbeda. 1, (2) Meskipun ada beberapa manfaat dari dekomposisi, sulit untuk mengkarakterisasi nilai pasti dari bobot karena mereka terkait dengan nilai *I* (*hi* ; *xj*) dan distribusi probabilitas yang mendasarinya. Cara trivial adalah mengatur semua bobot menjadi , kemudian memaksimalkan sisi kanan Persamaan setara dengan memaksimalkan batas bawah *I* (*hi* ; *Xi* ), yang dengannya FMI sebenarnya juga dimaksimalkan sampai batas tertentu. Selain metode ini, kami tambahan memberikan solusi yang lebih ditingkatkan dengan mempertimbangkan bobot sebagai perhatian yang dapat dilatih, yang merupakan topik di bagian berikutnya. 1 (2) Terinspirasi dari dekomposisi dalam Teorema kami mencoba untuk membangun bobot yang dapat dilatih dari aspek lain dari graf (yaitu, 3.2 Informasi Bersama Sadar Topologi 1, tampilan topologis) sehingga nilai *wij* dapat lebih fleksibel dan menangkap properti inheren graf. Akhirnya kami menurunkan definisi Graphical Mutual Information (GMI). Definisi 2 (Graphical Mutual Information). *MI antara vektor tersembunyi h dan support graph-nya* G = (*X* , *A* ) *didefinisikan sebagai* di mana definisi *xj* dan *in* sama seperti Teorema 1, *aij* adalah bobot/fitur tepi dalam matriks ketetanggaan *A*, dan *σ* (·) adalah fungsi sigmoid. Secara intuitif, bobot *wij* dalam istilah pertama Persamaan (10) mengukur ditangani dalam eksperimen tidak berbobot. Secara formal, kami menghitung *I* (*wij* ; *aij*) = *aij* log *wij* + (1 − *aij* ) log (1 − *wij* ). (12) Dengan memaksimalkan *I* (*hi* ; G*i*) dengan jumlah Persamaan (11) dan (12) di atas semua vektor tersembunyi *H*, kami sampai pada fungsi tujuan lengkap kami untuk kontribusi MI lokal terhadap MI global. Kami mengimplementasikan kontribusi *I* (*hi* ; *xj*) melalui kesamaan antara representasi *hi* dan *hj* (yaitu, *wij* = *σ* (*hThj* )). Sementara itu, istilah *I* (*wij* ; *aij*) memaksimalkan MI antara *wij* dan bobot/fitur tepi graf input (yaitu, *aij*) untuk memaksa *wij* agar sesuai dengan hubungan topologis. Dalam pengertian ini, tingkat kontribusi akan konsisten dengan kedekatan dalam struktur topologis, yang umumnya diterima sebagai fakta bahwa *wij* bisa lebih besar jika node *j* "lebih dekat" ke node *i* dan sebaliknya. Strategi ini mengkompensasi kekurangan bahwa FMI hanya berfokus pada fitur node dan membuat MI lokal berkontribusi pada MI global secara adaptif. Untuk lebih memahami ide perhatian dalam strategi ini, Anda dapat merujuk ke GCN berbasis perhatian [40]. Perhatikan bahwa definisi Persamaan (10) berlaku untuk kasus umum. Untuk situasi spesifik tertentu, kami dapat sedikit memodifikasi Persamaan (10) untuk efisiensi. Misalnya, ketika berhadapan dengan graf yang tidak berbobot (yaitu, nilai tepi adalah 1 jika terhubung dan 0 jika tidak), kami dapat mengganti istilah MI kedua *I* (*wij* ; *aij*) dengan kerugian cross-entropy negatif. Meminimalkan cross-entropy juga berkontribusi pada maksimisasi MI, dan ia memberikan perhitungan yang lebih efisien. Kami menunda rincian lebih lanjut di bagian berikutnya. Secara keseluruhan, ada beberapa keuntungan dari definisi Persamaan (10). Pertama, MI semacam ini invarian terhadap transformasi isomorfik dari graf input. Kedua, ia layak secara komputasi karena setiap komponen di sisi kanan dapat diestimasi oleh MINE. Lebih penting lagi, GMI lebih kuat daripada DGI dalam menangkap informasi input asli karena korelasi eksplisit antara vektor tersembunyi dan fitur input dari node dan tepi pada tingkat node yang terperinci. 3.3 Maksimisasi GMI Sekarang kita secara langsung memaksimalkan sisi kanan Persamaan dengan bantuan MINE. Perhatikan bahwa MINE mengestimasi batas bawah MI dengan representasi Donsker-Varadhan (DV) dari KL-divergence antara distribusi gabungan dan produk marginal. Karena kami lebih fokus pada maksimisasi MI daripada mendapatkan nilai spesifiknya, alternatif non-KL lainnya seperti Jensen-Shannon MI estimator (JSD) [ ] dan Noise-Contrastive estimator (infoNCE) [ ] dapat digunakan untuk menggantikannya. Berdasarkan temuan eksperimental dan analisis di [ ], kami menggunakan estimator JSD dalam makalah ini demi efektivitas dan efisiensi, karena estimator infoNCE sensitif terhadap strategi pengambilan sampel negatif (jumlah sampel negatif) sehingga dapat menjadi hambatan untuk kumpulan data skala besar dengan memori yang tersedia tetap. Sebaliknya, ketidakpekaan estimator JSD terhadap strategi pengambilan sampel negatif dan kinerjanya yang terhormat pada banyak tugas membuatnya lebih cocok untuk tugas kami. Khususnya, kami menghitung *I* (*hi* ; *xj*) dalam istilah pertama Persamaan dengan (10) [10] 30 31 20 (10) di mana D*w* : *D* × *D* ′ → R adalah diskriminator yang dibangun oleh jaringan saraf dengan parameter *w*. *xj* adalah sampel negatif yang diambil dari P = P, dan *sp*(x) = log(1 + exp(x)) menunjukkan fungsi soft-plus. Seperti yang disebutkan di § kami memaksimalkan *I* (*wij* ; *aij*) dengan menghitung cross-entropy-nya alih-alih menggunakan estimator JSD karena graf yang kami tangani dalam eksperimen tidak berbobot. Secara formal, kami menghitung 3.2, Dengan memaksimalkan I (hi ; Gi ) dengan jumlah Persamaan (11) dan (12) di atas semua vektor tersembunyi H , kami sampai pada fungsi tujuan lengkap kami untuk optimisasi GMI. Selain itu, kami dapat lebih lanjut menambahkan parameter trade-off untuk menyeimbangkan Persamaan (11) dan (12) untuk fleksibilitas lebih. 4 EKSPERIMEN Dalam bagian ini, kami secara empiris mengevaluasi kinerja GMI pada dua tugas umum: klasifikasi node (transductive dan induktif) dan prediksi tautan. Perbandingan yang relatif adil tambahan antara GMI dan dua algoritma tanpa pengawasan lainnya (EP-B dan DGI) lebih menunjukkan efektivitasnya. Kami juga memberikan visualisasi plot t-SNE dan menganalisis pengaruh kedalaman model. 4.1 Dataset Untuk menilai kualitas pendekatan kami di setiap tugas, kami mengadopsi 4 atau 5 kumpulan data tolok ukur yang umum digunakan dalam karya sebelumnya [ , , Statistik terperinci diberikan dalam Tabel 16 25 41]. 1. Dalam tugas klasifikasi, Cora, Citeseer, dan PubMed [ ]2 adalah jaringan kutipan di mana node sesuai dengan dokumen dan tepi mewakili kutipan. Setiap dokumen dikaitkan dengan vektor representasi bag-of-words dan termasuk dalam salah satu kelas yang telah ditentukan. Mengikuti pengaturan transductive di [ , ], pelatihan dilakukan pada semua node, dan 1000 node uji digunakan untuk evaluasi. Reddit3 adalah jaringan sosial besar yang terdiri dari banyak posting Reddit yang saling terhubung yang dibuat selama September 2014 [ ]. Postingan diperlakukan sebagai node dan tepi berarti pengguna yang sama memberikan komentar. 38 25 41 16 ![ Tabel 1: Statistik dataset yang digunakan dalam eksperimen. ](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-eph3eec.jpeg) Label kelas adalah komunitas dan tujuan kami adalah memprediksi komunitas mana yang berbeda dimiliki oleh postingan. PPI3 adalah dataset interaksi protein-protein yang mencakup banyak graf yang berkaitan dengan jaringan jaringan yang berbeda [ ]. Kumpulan gen posisi, kumpulan gen motif, dan tanda imuno-logis dianggap sebagai fitur node, dan setiap node memiliki total 121 label yang diberikan oleh kumpulan gen ontologi. Klasifikasi fungsi protein yang mungkin termasuk dalam multi-genre di berbagai graf PPI adalah tujuan kami. Mengikuti pengaturan induktif di [ ], di Reddit, kami memasukkan postingan yang dibuat dalam 20 hari pertama ke dalam model untuk pelatihan, sementara sisanya digunakan untuk pengujian (dengan 30% digunakan untuk validasi); pada PPI, ada 20 graf untuk pelatihan, 2 untuk validasi, dan 2 untuk pengujian. Perlu ditekankan bahwa, untuk Reddit dan PPI, pengujian dilakukan pada node dan graf yang belum pernah dilihat (belum dilatih), sementara tiga dataset pertama digunakan untuk pembelajaran transductive. 52 16 Dalam tugas prediksi tautan, BlogCatalog4 adalah situs web blogging sosial di mana blogger saling mengikuti dan mendaftarkan blog mereka di bawah 6 kategori yang telah ditentukan. Tag blog diambil sebagai fitur node. Flickr4 adalah situs web berbagi gambar di mana pengguna berinteraksi dengan orang lain dan membentuk jaringan sosial. Pengguna mengunggah foto dengan 9 kelas yang telah ditentukan dan memilih tag yang dilampirkan untuk mencerminkan minat mereka yang memberikan informasi atribut. Deskripsi Cora dan PPI dihilangkan demi keringkasan. Mengikuti pengaturan eksperimental dan metrik evaluasi di [15], diberikan graf dengan sebagian tepi yang dihapus, kami bertujuan untuk memprediksi tautan yang hilang ini. Untuk Cora, BlogCatalog, dan Flickr, kami secara acak menghapus 20%, 50%, dan 70% tepi sambil memastikan bahwa sisa jaringan yang diperoleh setelah penghapusan tepi terhubung dan menggunakan jaringan yang rusak untuk pelatihan. Tentang PPI, kami langsung memperlakukan sebagian tepi yang tidak terlihat selama pelatihan sebagai target prediksi alih-alih penghapusan tepi buatan manusia. 4.2 Pengaturan Eksperimental Kami menggunakan model Graph Convolutional Network (GCN) standar dengan aturan propagasi lapis-ke-lapis berikut sebagai encoder untuk tugas klasifikasi dan prediksi tautan: Desain encoder. Di mana Aˆ = D -1/2AD - 1/2A = A + In, Dii = Aij, H (1) dan H (I + 1) adalah matriks input dan output dari lapisan *l*, *W* (*l*) adalah matriks bobot yang dapat dilatih khusus lapisan. Di sini transformasi nonlinier *σ* yang kami terapkan adalah fungsi PReLU (parametric ReLU) [ ]. Perlu diakui bahwa untuk node *i*, lingkungan *Xi* dalam support graph Gi-nya berisi node i itu sendiri karena loop diri dimasukkan melalui A¯. 17 Lebih spesifik, encoder yang kami gunakan pada Citeseer dan PubMed adalah GCN satu lapis dengan dimensi output *D* ′ = 512. Dan pada Cora, Reddit, BlogCatalog, Flickr, dan PPI, kami menggunakan GCN dua lapis sebagai encoder kami. Di sini, kami memiliki dimensi tersembunyi sebagai *D* ′ = 512 di setiap lapisan GCN. Perhatikan bahwa menggunakan encoder GCN yang serupa untuk tugas klasifikasi transductive dan induktif membuat metode yang kami usulkan lebih mudah diikuti dan diskalakan ke jaringan besar daripada DGI, karena DGI harus merancang encoder yang bervariasi agar sesuai dengan tugas pembelajaran yang berbeda, terutama encoder yang digunakan dalam tugas induktif terlalu rumit dan kompleks, yang