Supervizor olmadan qraf məlumatları üzərində süni intellektə təlim verməyin yeni yolu

```html Müəlliflər: Zhen Peng Wenbing Huang Minnan Luo Qinghua Zheng Yu Rong Tingyang Xu Junzhou Huang ABSTRAKT Sosial şəbəkələr və kommunikasiya şəbəkələri kimi müxtəlif məlumat şəbəkələrinin məzmununun zənginliyi, xarici nəzarət olmadan yüksək keyfiyyətli ifadəli təmsillər öyrənmək üçün misilsiz potensial təmin edir. Bu məqalə qrafik strukturlaşdırılmış məlumatlardan qrafik təmsilini təkmil şəkildə qoruyub çıxarmağı və onları nəzarətsiz şəkildə embedding fəzasına çıxarmağı araşdırır. Bu məqsədlə, daxil olan qrafiklər və yüksək səviyyəli gizli təmsillər arasındakı əlaqəni ölçmək üçün Qrafik Qarşılıqlı Məlumat (GMI) adlı yeni bir konsepsiya təklif edirik. GMI, vektor fəzasından qrafik sahəsinə adi qarşılıqlı məlumat hesablamaları ideyasını ümumiləşdirir, burada qrafik təmsili öyrənmənin həm düyüm xüsusiyyətləri, həm də topoloji quruluşu aspektlərindən qarşılıqlı məlumatı hesablamaq vacibdir. GMI bir sıra faydalar təqdim edir: Birincisi, bir çox mövcud qrafik təmsilini öyrənmə üsullarında qaçılmaz məhdudiyyət olan, daxil olan qrafiklər üçün izomorf transformasiyaya qarşı dəyişməzdir; Bundan əlavə, MINE kimi mövcud qarşılıqlı məlumatı təxmin etmə üsulları ilə səmərəli şəkildə təxmin edilə və maksimallaşdırıla bilər; Nəhayət, nəzəri təhlilimiz onun doğruluğunu və məqsədəuyğunluğunu təsdiq edir. GMI-nin köməyi ilə biz qrafik neyron kodlayıcısının girdisi və çıxdısı arasındakı GMI-ni maksimallaşdırmaqla öyrədilən nəzarətsiz bir təlim modeli inkişaf etdiririk. Transduktiv və induktiv düyüm təsnifatı və əlaqə proqnozlaşdırması üzrə aparılmış əhəmiyyətli təcrübələr göstərir ki, bizim üsulmuz ən qabaqcıl nəzarətsiz rəqiblərdən üstündürdür və hətta bəzən nəzarətli üsulların performansını da üstələyir. 1 GİRİŞ Müxtəlif məlumat şəbəkələri üçün etibarlı kəmiyyət təhlili aparmaq məqsədi ilə, qrafik strukturlaşdırılmış məlumatların yüksək keyfiyyətli təmsilinin öyrənilməsi hazırda ən maraqlı mövzulardan birinə çevrilmişdir. Bu məqsədə doğru son metodlar, ümumiyyətlə Qrafik Neyron Şəbəkələri (GNNs) kimi təsnif edilir, düyüm təsnifatı [ , , ], əlaqə proqnozlaşdırması [ , , ], qrafik uyğunlaşdırması [ , , ], molekulyar generasiya [ , , ] kimi bir çox öyrənmə tapşırıqlarında əhəmiyyətli irəliləyişlər əldə etmişdir. Nəzərə almaq lazımdır ki, mövcud yanaşmalarda GNN-ləri öyrətmək üçün adətən müəyyən bir nəzarət forması tələb olunur. Şübhəsiz ki, etiket məlumatlarını əldə etmək bahalıdır — əl ilə annotasiya etmək və ya icazə üçün ödəniş etmək, hətta gizlilik siyasətinə görə əldə etmək qeyri-mümkündür. Verilən etiketlərin etibarlılığı bəzən şübhəli olduqda isə heç demirik. Buna görə də, bir çox praktik hallarda nəzarət olmadan yüksək keyfiyyətli qrafik təmsili necə əldə etmək vacib hala gəlir ki, bu da bu məqalənin öyrənilməsinə səbəb olur. 35 42 50 26 27 49 12 19 43 4 5 46 Toplanmış qrafik strukturlaşdırılmış məlumatlarımızı diqqətlə nəzərdən keçirərkən, onların ümumiyyətlə sosial şəbəkələr, sitat şəbəkələri və kommunikasiya şəbəkələri kimi müxtəlif mənbələrdən gəldiyini, burada böyük həcmdə həm məzmun, həm də əlaqə məlumatlarının mövcud olduğunu müşahidə edirik. Məsələn, Twitter, Flickr və Facebook kimi bir çox sosial platformalardakı məlumatlar istifadəçi xüsusiyyətlərini əhatə edir, məsələn, əsas şəxsi məlumatlar, mətnlər, şəkillər, IP ünvanları və onların əlaqələri, məsələn, eyni əşyanı almaq, dost olmaq. Bu zəngin məzmun məlumatları, əlavə təlimat olmadan sonrakı mədən tapşırıqlarını dəstəkləmək üçün kifayətdir: əgər iki obyekt xüsusiyyətlərdə həddindən artıq oxşarlıq göstərirsə, onlar arasında bir əlaqənin olması ehtimalı yüksəkdir (əlaqə proqnozlaşdırması), və onlar eyni kateqoriyaya aid ola bilərlər (təsnifat); əgər iki obyekt eyni bir obyektə işarə edirsə, onlar ehtimal ki, oxşar xüsusiyyətlərə malikdirlər (tövsiyə). Bu mənada, məlumat şəbəkələrindən mümkün qədər çox məlumatı embedding fəzasına qoruyub çıxarmaq, heç bir nəzarət olmadan mədən tapşırıqlarında arzu olunan performansı göstərən yüksək keyfiyyətli ifadəli təmsillər öyrənməyə kömək edir. Nəzarətsiz qrafik təmsili öyrənmə, xüsusən də böyük miqyaslı etiketlənməmiş məlumatlardan faydalanmaq istədiyimiz zaman, etiketlərdən azad olduğu üçün bir çox hallarda daha əlverişli bir seçimdir. Qrafiklərdəki zəngin məlumatları tam şəkildə miras almaq üçün, bu məqalədə biz Deep Info-Max metodu [ ] tərəfindən şəkillərdə empirik uğur qazandığına görə, Qarşılıqlı Məlumat (MI) maksimallaşdırmasına əsaslanan qrafik embeddingini həyata keçiririk. Faydalı təmsilləri kəşf etmək üçün Deep InfoMax kodlayıcını onun girdiləri (yəni şəkillər) və çıxdıları (yəni gizli vektorlar) arasındakı MI-ni maksimallaşdırmaq üçün öyrədir. Qrafik sahəsində Deep InfoMax nəzərə alındıqda, ilk aşmalı olduğumuz maneə, qrafiklər təsvirlərdən (şəkil 1-ə baxın) daha mürəkkəb olan qrafiklər və gizli vektorlar arasındakı MI-ni necə müəyyənləşdirməkdir. Əsas çətinliklərdən biri, hər bir düyümün gizli təmsili ilə onun qonşuluğundakı giriş xüsusiyyətləri arasındakı MI funksiyasının simmetrik xassəyə tabe olmasını təmin etməkdir, və ya ekvivalent olaraq, qonşuların permütasiyalarına qarşı dəyişməz olmasını təmin etməkdir. MI-ni nəzərə alan son işlərdən biri, Deep Graph Infomax (DGI) [ ] əvvəlcə bir giriş qrafiki və müvafiq korlanmış qrafiki embedding edir, sonra oxuducu funksiya vasitəsilə giriş qrafikini bir vektor kimi ümumiləşdirir, nəhayət bu ümumiləşdirmə vektoru ilə gizli təmsillər arasındakı MI-ni giriş qrafikini (pozitiv nümunə) korlanmış qrafikdən (neqativ nümunə) ayırmaqla maksimallaşdırır. Şəkil 1 DGI-nin asanlı başa düşülən ümumi baxışını verir. Bu cür MI-nin maksimallaşdırılması, giriş düyüm xüsusiyyətləri ilə gizli vektorlar arasındakı MI-ni maksimallaşdırmaya bərabər olduğu sübut edilmişdir, lakin bu ekvivalentlik bir sıra əvvəlcədən müəyyən edilmiş şərtlər altında keçərlidir, məsələn, oxuducu funksiya injektiv olmalıdır, lakin bu, real hallarda həddən artıq məhdudlaşdırıcı görünür. Hətta injektiv oxuducu funksiyanın mövcudluğunu müəyyən dizaynla təmin etsək də, məsələn, DeepSets-də [ ] istifadə edilən, oxuducu funksiyanın injektiv qabiliyyəti də onun parametrlərinin necə öyrədildiyindən təsirlənir. Yəni, ilkin injektiv funksiya, əgər hər hansı bir xarici nəzarət olmadan öyrədilirsə, qeyri-injektiv olma riski daşıyır. Və əgər oxuducu funksiya injektiv deyilsə, giriş qrafik informasiyası, qrafikin ölçüsü artdıqca ümumiləşdirilmiş vektorda azalacaqdır. Bundan əlavə, DGI kobud qrafik/yama səviyyəli MI maksimallaşdırmasında qalır. Buna görə DGI-də kodlayıcının giriş məlumatlarından kifayət qədər məlumat distillə etməsinə zəmanət yoxdur, çünki o, heç vaxt gizli təmsilləri orijinal girdiləri ilə əlaqələndirmir. 20 41 47 Bu məqalədə, heç bir oxuducu və ya korlama funksiyasından istifadə etmədən, qrafik strukturlara baxımından MI-ni nəzərə almağın daha sadə bir yolunu təklif edirik. MI-ni birbaşa kodlayıcının girdisi (yəni, daxil olan qonşuluğu təşkil edən alt-qrafik) və çıxdısı (yəni, hər bir düyümün gizli təmsili) müqayisə edərək əldə edirik. Maraqlı bir şəkildə, nəzəri təhlillərimiz göstərir ki, birbaşa formalaşdırılmış MI, hər bir qonşuluq xüsusiyyəti ilə gizli vektor arasındakı yerli MI-lərin çəkili cəminə dekompoziyə edilə bilər. Bu şəkildə, giriş xüsusiyyətlərini dekompoziyə etdik və MI hesablamasını idarə olunan hala gətirdik. Bundan əlavə, bu cür MI, çəkilərin dəyərlərini tənzimləyərək simmetrik xassəyə asanlıqla uyğunlaşa bilər. Daha ətraflı məlumat üçün § 3.1-ə baxın. Yuxarıdakı MI əsasən düyüm xüsusiyyətləri səviyyəsində ölçüldüyü üçün, biz onu Xüsusiyyət Qarşılıqlı Məlumat (FMI) adlandırırıq. FMI ilə bağlı iki qalan məsələ: birləşdirici çəkilər hələ də məlum deyil və o, topologiyanı (yəni, kənar xüsusiyyətləri) nəzərə almır. Bu iki məsələni daha da həll etmək üçün, biz Qrafik Qarşılıqlı Məlumat (GMI) ölçümüzü FMI əsasında təyin edirik. Xüsusilə, GMI, FMI-dəki çəkiləri hər bir qonşunun hədəf düyümə olan yaxınlığına bərabər edərək intuitiv dəyər təyin edir. Topologiya məlumatını qorumaq üçün, GMI əlavə bir qarşılıqlı məlumat termini vasitəsilə bu çəkiləri daxil olan kənar xüsusiyyətlərlə əlaqələndirir. Nəticədə yaranan GMI topoloji cəhətdən dəyişməzdir və həmçinin Qarşılıqlı Məlumat Neyron Təxmini (MINE) [2] kimi hesablanabilirdir. İşimizin əsas töhfələri aşağıdakılardır: 1. 2. • : Biz adi MI təxminini qrafik sahəsinə ümumiləşdiririk və buna uyğun olaraq Qrafik Qarşılıqlı Məlumat (GMI) adlı yeni bir konsepsiya təklif edirik. GMI, birbaşa nümunədə qrafiklər və yüksək səviyyəli embeddings arasındakı MI-ni nəzərə aldığı üçün oxuducu funksiyadan qaynaqlanan potensial riskdən azaddır. Konsepsiyalar • : Nəzəri təhlilimiz vasitəsilə biz GMI-nin idarə olunan və hesablanabilən bir formasını təqdim edirik ki, bu da bütün GMI-ni yerli MI-lərin çəkili cəminə dekompoziyə edir. MINE metodu köməyi ilə GMI maksimallaşdırması düyüm səviyyəsində asanlıqla əldə edilə bilər. Algoritmlər • : Biz GMI-nin effektivliyini bir neçə populyar düyüm təsnifatı və əlaqə proqnozlaşdırma tapşırıqlarında, həm transduktiv, həm də induktiv olmaqla təsdiqləyirik. Təcrübələr göstərir ki, bizim metodumuz müxtəlif benchmarklarda yaxşı performans göstərir və hətta bəzən nəzarətli rəqiblərdən üstün performans göstərir. Təcrübi Nəticələr 2 ƏLAQƏLİ İŞLƏR İşimizin diqqət mərkəzinə uyğun olaraq, biz əvvəlki işləri aşağıdakı iki sahədə qısaca nəzərdən keçiririk: qarşılıqlı məlumat təxmini, və qrafiklər üzərində təmsil öyrənmə üçün neyron şəbəkələri. 1. 2. . InfoMax prinsipi [ ] neyron şəbəkələrinin girdiləri və çıxdıları arasındakı MI-ni maksimallaşdırmağı təbliğ etdiyi üçün, ICA üsulları [ , ] kimi bir çox metodlar MI ideyasını nəzarətsiz xüsusiyyət öyrənməsində istifadə etməyə çalışır. Lakin, MI-nin yüksək ölçülü davamlı dəyişənlər arasında hesablanmasının çətinliyi səbəbindən bu metodlar dərin neyron şəbəkələrinə asanlıqla ümumiləşdirilə bilməz. Xoşbəxtlikdən, Qarşılıqlı Məlumat Neyron Təxmini (MINE) [ ] MI-nin təxminini dərin neyron şəbəkələrində, ortaq paylanma və iki təsadüfi dəyişənin marjinal paylanmalarının cəmindən gələn nümunələri ayırmaq üçün bir statistika şəbəkəsini təlim etməklə mümkün edir. Xüsusilə, MINE KL-ə əsaslanan MI formulundan istifadə edir, eyni zamanda qeyri-KL alternativ, Jensen-Shannon fərqliliyi (JSD) [ ] MI-nin dəqiq dəyəri narahatlığı olmadan istifadə edilə bilər. Qarşılıqlı məlumat təxmini 3 1 21 2 30 . Qrafik neyron şəbəkələrinin (GNN) sürətli inkişafı ilə, son illərdə GNN-lərə əsaslanan çox sayda qrafik təmsili öyrənmə algoritmi təklif edilmişdir ki, bu da ənənəvi təsadüfi gəzinti əsaslı və faktora əsaslanan embedding üsullarından [ , , , , ] daha güclü performans göstərir. Tipik olaraq, bu metodlar nəzarətli və nəzarətsiz kateqoriyalara bölünə bilər. Bunlar arasında, qrafiklər üzərində nəzarətli təmsil öyrənmə haqqında zəngin ədəbiyyat var [ , , , , ]. Şəbəkə arxitekturasındakı fərqlərinə baxmayaraq, onlar adətən real ssenarilərdə əlçatmaz olan etiketlərin köməyi ilə empirik uğur qazanırlar. Bu vəziyyətdə, nəzarətsiz qrafik öyrənmə üsulları [ , , ] daha geniş tətbiq potensialına malikdir. Yaxşı tanınan metod, onun nəzarətsiz rejimində təsadüfi gəzinti əsaslı məqsəd funksiyası ilə GNN-ləri öyrətmək üçün induktiv bir çərçivə olan GraphSAGE-dir [ ]. Və son vaxtlarda, DGI [ ] MI maksimallaşdırması ideyasını qrafik sahəsinə tətbiq edərək nəzarətsiz bir nümunədə güclü performans əldə etmişdir. Lakin, DGI kobud qrafik/yama səviyyəli MI maksimallaşdırması həyata keçirir, bu da daxil olan qrafikdəki incə məlumatları qorumağı çətinləşdirir. Bundan əlavə, DGI-də istifadə olunan oxuducu funksiyaya qoyulan şərt real hallarda həddən artıq məhdudlaşdırıcı görünür. Əksinə, biz oxuducu funksiya məhdudiyyətini aradan qaldırmağa və kodlayıcının girdiləri və çıxdıları arasındakı MI-ni birbaşa maksimallaşdırmaqla düyüm səviyyəsində qrafik qarşılıqlı məlumat maksimallaşdırmasına nail olmağa diqqət yetiririk. Bizim metodumuz tərəfindən əldə edilən təmsillər, giriş qrafik məlumatlarını qorumaqda daha inkişaf etmişdir, bu da onun aşağı axın qrafik mədən tapşırıqları, məsələn, düyüm təsnifatı, əlaqə proqnozlaşdırması və tövsiyə üçün potensialını təmin edir. Qrafik təmsili öyrənmə üçün neyron şəbəkələri 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 3 QRAFİK QARŞILIQLI MƏLUMAT: TƏİNİMİ VƏ MAKİSMALLAŞDIRILMASI Daha irəli getməzdən əvvəl, bu məqalədə istifadə olunan ilkin anlayışları təqdim edirik. G = (V, E) bir qrafı N düyümü vi ∈ V və kənar əşyaları eij = (vi , vj ) ∈ E ilə təmsil edək. Düyüm xüsusiyyətləri, empirik paylanma P-nin olduğu fərz edilir, X ∈ R N ×D = {x 1, · · · , x N } kimi verilir, burada xi ∈ R D düyüm vi üçün xüsusiyyəti təmsil edir. A ∈ R N ×N qonşuluq matrisi kənar əlaqələri təmsil edir, burada Aij , kənar əşyası eij-ə uyğun olan bir real ədəd və ya çoxölçülü bir vektor1 ola bilər. Qrafik təmsilini öyrənməyin məqsədi, gizli vektorlar H = {h1, · · · , hN } = f (X , A) bütün düyümlər üçün yüksək səviyyəli təmsilləri göstərən bir kodlayıcı f : R N ×D × R N ×N → R N ×D ′ öyrənməkdir. Kodlaşdırma prosesi düyüm-əsaslı formada yenidən yazıla bilər. Bunu göstərmək üçün, düyüm i üçün Xi və Ai-ni müvafiq olaraq onun qonşularının xüsusiyyətləri və qonşulara şərtlendirilmiş müvafiq qonşuluq matrisi kimi təyin edirik. Xüsusilə, Xi, kodlayıcı f l-laylı bir GNN olduqda k ≤ l olan bütün k-hop qonşularını əhatə edir və əgər qonşuluq matrisinə öz-özünə döngülər əlavə etsək, düyüm i-nin özünü də ehtiva edir. Burada, Xi və Ai tərəfindən genişləndirilmiş alt-qrafik, düyüm i üçün "dəstək qrafiki" adlanır və Gi ilə təmsil olunur. Dəstək qrafikinin təyini ilə, hər bir düyüm üçün kodlaşdırma hi = f (Gi ) = f (Xi , Ai ) olur. Deep InfoMax-da [ ], kodlayıcının təlim məqsədi onun girdiləri və çıxdıları arasındakı MI-ni maksimallaşdırmaqdır. MI, ortaq paylanma və marjinal paylanmaların cəmindən gələn nümunələri təsnif etmək üçün bir diskriminant kimi statistika şəbəkəsindən istifadə edərək təxmin edilir. Təbii olaraq, Deep InfoMax ideyasını qrafiklərə uyğunlaşdırarkən, biz hər bir düyüm üçün təmsil hi və dəstək qrafiki Gi arasındakı MI-ni maksimallaşdırmalıyıq. Biz belə bir qrafik MI-ni I (hi ; Gi ) kimi təmsil edirik. Lakin, I (hi ; Gi) -ni təyin etmək birbaşa deyil. Çətinliklər aşağıdakılardır: Qrafik qarşılıqlı məlumatı müəyyənləşdirmədə çətinliklər. 20 • Qrafik MI, düyüm indeksinə nisbətən dəyişməz olmalıdır. Başqa sözlə, əgər Gi və G′i bir-birinə izomorfdursa, I (hi ; Gi) = I (hi ; G′i) olmalıdır. • MI hesablamaq üçün MINE metodunu istifadə etsək, MINE-dəki diskriminant yalnız sabit ölçülü girdiləri qəbul edir. Bu, Gi üçün qeyri-mümkündür, çünki fərqli Gi adətən müxtəlif sayda düyümlər əhatə edir və buna görə də fərqli ölçülərə malikdir. Qrafik qarşılıqlı məlumatı müəyyənləşdirmə problemini həll etmək üçün, bu bölmədə yalnız düyüm xüsusiyyətlərinə əsaslanan Xüsusiyyət Qarşılıqlı Məlumat (FMI) konsepsiyasını təqdim edirik. FMI-nin dekompozisiyasından ilham alaraq, biz sonra həm düyüm xüsusiyyətlərini, həm də 3.1 XÜSUSİYYƏT QARŞILIQLI MƏLUMAT Düyüm xüsusiyyətləri Xi-nin empirik paylanma ehtimalını p(Xi), hi-nin paylanma ehtimalını p(hi) və ortaq paylanmanı p(hi , Xi) kimi təmsil edirik. Məlumat nəzəriyyəsinə görə, hi və Xi arasındakı MI belə təyin olunur Maraqlıdır ki, I (hi ; Xi) hesablanması üçün aşağıdakı qarşılıqlı məlumat dekompozisiya teoreminə malikik. Teorem 1 (Qarşılıqlı Məlumat Dekompozisiyası). Əgər şərti paylanma p(hi |Xi) multiplikativdirsə (multiplikativ anlayışının tərifinə görə [ ]), təyin olunmuş qlobal qarşılıqlı məlumat I (hi ; Xi) Tənlikdə. 4 (1) yerli MI-lərin çəkili cəmi kimi dekompoziyə edilə bilər, yəni, 36 burada, xj düyüm i-nin j-ci qonşusudur, in Xi-dəki bütün elementlərin sayıdir, və çəki wij hər bir j üçün 1 ≤ wij ≤ 1 şərtini ödəyir. Yuxarıdakı teoremi sübut etmək üçün əvvəlcə iki lemma və bir tərif təqdim edirik. Lemma 1. Hər hansı təsadüfi dəyişənlər X, Y və Z üçün aşağıdakı əlaqə doğrudur Teorem 5-dəki dekompozisiya ilə, Tənlik 6 (2) sağ tərəfini MINE ilə hesablaya bilərik, çünki diskriminant üçün girdilər indi (hi , xj ) cütləridir, onların ölçüsü həmişə eyni qalır (yəni, D ′-by-D). Bundan əlavə, biz çəkiləri tənzimləyərək daxil olan qrafiklərin izomorf transformasiyasını əks etdirə bilərik. Məsələn, əgər Xi yalnız düyüm i-nin bir-hop qonşularını əhatə edirsə, bütün çəkiləri eyni dəyərə qurmaq, müxtəlif sıradakı daxil olan düyümlər üçün eyni MI-ni verəcəkdir. Dekompozisiyanın bəzi faydalarına baxmayaraq, çəkilərin dəqiq dəyərlərini xarakterizə etmək çətindir, çünki onlar I (hi ; xj ) dəyərləri və onların underlying paylanma ehtimalı ilə əlaqədardır. Sadə bir üsul, bütün çəkiləri 1 olaraq qurmaqdır, sonra Tənlik 6 (2) sağ tərəfini I (hi ; Xi)-nin aşağı sərhəddini maksimallaşdırmaqla maksimallaşdırırıq, bununla da həqiqi FMI də müəyyən dərəcədə maksimallaşdırılır. Bu üsuldan başqa, biz çəkiləri təlim edilə bilən diqqət sahələri kimi nəzərə almaqla daha təkmil bir həll təklif edirik, bu da növbəti alt bölmədə mövzudur. Teorem 5-dəki dekompozisiyadan ilham alaraq, wij dəyərlərini daha çevik etmək və qrafiklərin daxili xüsusiyyətlərini tutmaq üçün qrafiklərin digər aspektlərindən (yəni, 3.2 Topologiyaya Həssas Qarşılıqlı Məlumat topoloji görünüş) təlim edilə bilən çəkilər qurmağa çalışırıq. Nəhayət, Qrafik Qarşılıqlı Məlumat (GMI) tərifini əldə edirik. Tərif 2 (Qrafik Qarşılıqlı Məlumat). Gizli vektor h və onun dəstək qrafiki G = (X , A) arasındakı MI belə təyin olunur burada, h