```html
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Autorë: 
 
 
 
 
 
 
 
 Zhen Peng Wenbing Huang Minnan Luo Qinghua Zheng Yu Rong Tingyang Xu Junzhou Huang ABSTRAKT Pasuria në përmbajtjen e rrjeteve të ndryshme të informacionit si rrjetet sociale dhe rrjetet e komunikimit ofron potencialin e paprecedentë për të mësuar përfaqësime shprehëse me cilësi të lartë pa mbikëqyrje të jashtme. Ky artikull shqyrton se si të ruhet dhe të nxirret informacioni i bollshëm nga të dhënat me strukturë grafike në hapësirën e embedding-ut në mënyrë të pakontrolluar. Për këtë qëllim, ne propozojmë një koncept të ri, Informacioni i Ndërsjellë Grafike (GMI), për të matur korrelacionin midis grafikeve hyrëse dhe përfaqësimeve të fshehura të nivelit të lartë. GMI përgjithëson idenë e llogaritjeve konvencionale të informacionit të ndërsjellë nga hapësira vektoriale në domen të grafikut ku matja e informacionit të ndërsjellë nga dy aspekte të veçorive të nyjeve dhe strukturës topologjike është e domosdoshme. GMI tregon disa përfitime: Së pari, është i pavarur nga transformimi izomorfik i grafikeve hyrëse – një kufizim i pashmangshëm në shumë algoritme ekzistuese të mësimit të përfaqësimit të grafikut; Për më tepër, mund të vlerësohet dhe maksimizohet në mënyrë efikase nga metodat aktuale të vlerësimit të informacionit të ndërsjellë si MINE; Së fundi, analiza jonë teorike konfirmon saktësinë dhe rationalitetin e tij. Me ndihmën e GMI, ne zhvillojmë një model mësimor të pakontrolluar të trajnuar duke maksimizuar GMI midis hyrjes dhe daljes së një enkoderi neuror të grafikut. Eksperimentet e konsiderueshme në klasifikimin e nyjeve transdiktive dhe induktive, si dhe parashikimin e lidhjeve, tregojnë se metoda jonë tejkalon homologët e saj të pakontrolluar të shtetit të artit, dhe ndonjëherë madje tejkalon performancën e atyre të kontrolluar. 1      HYRJE Për të arritur analizë sasore të besueshme për rrjetet e ndryshme të informacionit, mësimi i përfaqësimit me cilësi të lartë për të dhënat me strukturë grafike është bërë një nga temat aktuale magjepsëse. Metodat e fundit drejt këtij qëllimi, të kategorizuara zakonisht si Rrjetet Neurale të Grafikut (GNNs), kanë bërë përparime të dukshme në një numër të madh detyrash mësimore, të tilla si klasifikimi i nyjeve [ ,  ,  ], parashikimi i lidhjeve [ ,  ,  ], alinjimi i grafikut [ ,  ,  ], gjenerimi molekular [ ,  ,  ], për të përmendur disa. Megjithëse në progres të frytshëm, trajnimin e GNN-ve në qasjet ekzistuese zakonisht kërkon një formë të caktuar mbikëqyrjeje. Pa dyshim, informacioni i etiketimit është i shtrenjtë për t'u marrë – anotaime manuale ose pagesë për leje, dhe është edhe e pamundur të arrihet për shkak të politikës së privatësisë. Pa përmendur që besueshmëria e etiketave të dhëna ndonjëherë është e diskutueshme. Prandaj, si të arrihet përfaqësim i lartë grafik pa mbikëqyrje bëhet i nevojshëm për një numër të madh rastesh praktike, gjë që motivon studimin e këtij artikulli. 35 42 50 26 27 49 12 19 43 4 5 46 Duke ekzaminuar me kujdes të dhënat tona me strukturë grafike të mbledhura, ne gjejmë se ato zakonisht vijnë nga burime të ndryshme si rrjetet sociale, rrjetet e citimeve dhe rrjetet e komunikimit ku ekziston një sasi e jashtëzakonshme informacioni si i përmbajtjes ashtu edhe i lidhjes. Për shembull, të dhënat në shumë platforma sociale si Twitter, Flickr dhe Facebook përfshijnë veçori të përdoruesve,  , detaje bazë personale, tekste, imazhe, IP, dhe marrëdhëniet e tyre,  , blerja e të njëjtit artikull, qenien miq. Këto të dhëna të pasura përmbajtjeje janë të mjaftueshme për të mbështetur detyrat e mëvonshme të minierave pa udhëzim shtesë: nëse dy entitete tregojnë ngjashmëri ekstreme në veçori, ka një probabilitet të lartë të një lidhjeje mes tyre (parashikimi i lidhjes), dhe ato ka të ngjarë të i përkasin të njëjtit kategori (klasifikim); nëse dy entitete lidhen me të njëjtin entitet, ata ndoshta kanë karakteristika të ngjashme (rekomandim). Në këtë kuptim, ruajtja dhe nxjerrja e sa më shumë informacionit të jetë e mundur nga rrjetet e informacionit në hapësirën e embedding-ut lehtëson mësimin e përfaqësimeve shprehëse me cilësi të lartë që tregojnë performancë të dëshirueshme në detyrat e minierave pa asnjë formë mbikëqyrjeje. Mësimi i pakontrolluar i përfaqësimit të grafikut është një zgjedhje më e favorshme në shumë raste për shkak të lirisë nga etiketimet, veçanërisht kur synojmë të përfitojmë nga të dhëna të mëdha të pakënduara në natyrë. p.sh. p.sh. Për të trashëguar plotësisht informacionin e pasur në grafike, në këtë artikull, ne kryejmë embedding-un e grafikut bazuar në maksimizimin e Informacionit të Ndërsjellë (MI), e frymëzuar nga suksesi empirik i metodës Deep Info-Max [ ] e cila vepron në imazhe. Për të zbuluar përfaqësime të dobishme, Deep InfoMax trajnon enkoderin për të maksimizuar MI midis hyrjeve të tij ( , imazhet) dhe daljeve ( , vektorëve të fshehur). Kur merret parasysh Deep InfoMax në domen të grafikut, guri i parë që duhet të kalojmë është si të përcaktojmë MI midis grafikeve dhe vektorëve të fshehur, ndërsa topologjia e grafikeve është më e komplikuar se imazhet (shih Figurën   Një nga sfidat është të sigurohet që funksioni MI midis përfaqësimit të fshehur të secilës nyje dhe veçorive të saj të hyra fqinje të respektojë vetinë simetrike, ose në mënyrë ekuivalente, të jetë e pavarur nga permutimet e fqinjësive. Si një punë e fundit që merr parasysh MI, Deep Graph Infomax (DGI) [ ] së pari bën embedding-un e një grafiku hyrës dhe një grafiku të përpunuar përkatës, më pas përmbledh grafikin hyrës si një vektor përmes një funksioni leximi, në fund maksimizon MI midis këtij vektori përmbledhës dhe përfaqësimeve të fshehura duke diskriminuar grafikin hyrës (mostra pozitive) nga grafiku i përpunuar (mostra negative). Figura   jep një pasqyrë të kuptueshme të DGI. Maksimizimi i këtij lloji të MI provohet të jetë ekuivalent me maksimizimin e atij midis veçorive të nyjeve hyrëse dhe vektorëve të fshehur, por ky ekuivalencë vlen nën disa kushte të paracaktuara,  , funksioni leximi duhet të jetë injektiv, gjë që duket se është tepër e kufizuar në raste reale. Edhe nëse mund të garantojmë ekzistencën e funksionit leximi injektiv me një dizajn të caktuar,  , ai i përdorur në DeepSets [ ], aftësia injektive e funksionit leximi ndikohet gjithashtu nga mënyra se si trajnohen parametrat e tij. Kjo do të thotë se një funksion fillimisht injektiv ende ka rrezikun të bëhet jo-injektiv nëse trajnohet pa asnjë mbikëqyrje të jashtme. Dhe nëse funksioni leximi nuk është injektiv, informacioni i grafikut hyrës i përmbajtur në një vektor përmbledhës do të zvogëlohet ndërsa madhësia e grafikut rritet. Për më tepër, DGI qëndron në një maksimizim MI të përgjithshëm të nivelit grafik/patch. Prandaj në DGI, nuk ka garanci që enkoderi mund të nxjerrë informacion të mjaftueshëm nga të dhënat hyrëse pasi kurrë nuk korrelon në mënyrë elaborate përfaqësimet e fshehura me hyrjet e tyre origjinale. 20 d.m.th. d.m.th. 1). 41 1 p.sh. p.sh. 47 Në këtë artikull, ne propozojmë një mënyrë më të thjeshtë për të konsideruar MI në termat e strukturave grafike pa përdorur ndonjë funksion leximi dhe funksion përpunimi. Ne rrjedhim drejtpërdrejt MI duke krahasuar hyrjen ( , nëngrafikin që përbëhet nga lagja hyrëse) dhe daljen ( , përfaqësimin e fshehur të çdo nyjeje) të enkoderit. Dhe për habi, derivimet tona teorike tregojnë se MI-ja e formuluar drejtpërdrejt mund të dekompozohet në një shumë të peshuar të MI lokale midis çdo veçorie fqinje dhe vektorit të fshehur. Në këtë mënyrë, ne kemi dekompozuar veçoritë hyrëse dhe kemi bërë llogaritjen MI të menaxhueshme. Për më tepër, kjo formë MI mund të plotësojë lehtësisht vetinë simetrike nëse rregullojmë vlerat e peshave. Ne i shtyjmë më shumë detaje në §   Duke qenë se MI-ja e mësipërme matet kryesisht në nivelin e veçorive të nyjeve, ne e quajmë atë Informacion i Ndërsjellë i Veçorive (FMI). d.m.th. d.m.th. 3.1. Dy çështje të mbetura rreth FMI:   peshat kombinuese ende janë të panjohura dhe   nuk merr parasysh topologjinë ( , veçoritë e skajeve). Për të adresuar më tej këto dy çështje, ne përkufizojmë matjen tonë të Informacionit të Ndërsjellë Grafike (GMI) bazuar në FMI. Në veçanti, GMI zbaton një vlerësim intuitiv duke vendosur peshat në FMI të barabarta me afërsinë midis secilit fqinj dhe nyjes target në hapësirën e përfaqësimit. Për të ruajtur informacionin topologjik, GMI korrelon më tej këto pesha me veçoritë e skajeve hyrëse përmes një termi shtesë informacioni të ndërsjellë. GMI-ja rezultuese është topologjikisht e pavarur dhe gjithashtu e llogaritshme me Estimimin Neurale të Informacionit të Ndërsjellë (MINE)   Kontributet kryesore të punës sonë janë si më poshtë: 1. 2. d.m.th. [2]. •    : Ne përgjithësojmë vlerësimin konvencional MI në domen të grafikut dhe propozojmë një koncept të ri të Informacionit të Ndërsjellë Grafike (GMI) përkatësisht. GMI është i lirë nga Konceptet rreziku potencial i shkaktuar nga funksioni leximi pasi ai konsideron MI midis grafikeve hyrëse dhe embedding-eve të nivelit të lartë në një model të thjeshtë. •    : Përmes analizës sonë teorike, ne japim një formë të llogaritshme dhe të menaxhueshme të GMI që dekompozon Algoritmet GMI-në e plotë në një shumë të peshuar të MI lokale. Me ndihmën e metodës MINE, maksimizimi i GMI mund të arrihet lehtësisht në nivelin e nyjeve. •    : Ne verifikojmë efektivitetin e GMI në disa detyra popullore të klasifikimit të nyjeve dhe parashikimit të lidhjeve Gjetjet eksperimentale duke përfshirë si transdiktive ashtu edhe induktive. Eksperimentet tregojnë se metoda jonë ofron performancë premtuese në një sërë benchmark-esh dhe ndonjëherë tejkalon homologët e kontrolluar. 2      PUNË TË LIDHURA Në përputhje me fokusin e punës sonë, ne rishikojmë shkurtimisht punën e mëparshme në dy fushat e mëposhtme:   vlerësimi i informacionit të ndërsjellë, dhe   rrjetet neurale për mësimin e përfaqësimit mbi grafike. 1. 2. . Siç rekomandon parimi InfoMax [ ] maksimizimin e MI midis hyrjeve dhe daljeve të rrjeteve neurale, shumë metoda si algoritmet ICA [ ,  ] përpiqen të përdorin idenë e MI në mësimin e veçorive të pakontrolluara. Megjithatë, këto metoda nuk mund të përgjithësohen lehtësisht në rrjetet neurale të thella për shkak të vështirësisë në llogaritjen e MI midis variablave të vazhdueshëm me dimension të lartë. Për fat të mirë, Estimimi Neurale i Informacionit të Ndërsjellë (MINE) [ ] bën të mundur vlerësimin e MI në rrjetet neurale të thella duke trajnuar një rrjet statistikash si diskriminues për të dalluar mostrat që vijnë nga shpërndarja e përbashkët dhe produkti i marginaleve të dy variablave rastësorë. Në veçanti, MINE përdor formulimin e saktë bazuar në KL të MI, ndërsa një alternativë jo-KL, divergjenca Jensen-Shannon (JSD) [ ], mund të përdoret pa shqetësim për vlerën e saktë të MI. Vlerësimi i informacionit të ndërsjellë 3 1 21 2 30 . Me zhvillimin e shpejtë të rrjeteve neurale të grafikut (GNNs), një numër i madh algoritmesh mësimorë të përfaqësimit të grafikut bazuar në GNNs janë propozuar në vitet e fundit, të cilat tregojnë performancë më të fortë se metodat tradicionale të bazuar në random walk dhe bazuar në faktorizim [ ,  ,  ,  ,  ]. Tipikisht, këto metoda mund të ndahen në kategori të kontrolluara dhe të pakontrolluara. Midis tyre, ekziston një letërsi e pasur mbi mësimin e përfaqësimit të kontrolluar mbi grafike [ ,  ,  ,  ,  ]. Pavarësisht variancës së tyre në arkitekturën e rrjetit, ato arrijnë sukses empirik me ndihmën e etiketave që shpesh nuk janë të aksesueshme në skenarë realiste. Në këtë rast, metodat e mësimit të pakontrolluar të grafikut [ ,  ,  ] kanë potencial më të gjerë aplikimi. Metoda e njohur është GraphSAGE [ ], një kornizë induktive për trajnimin e GNN-ve me një objektiv të bazuar në random walk në mjedisin e saj të pakontrolluar. Dhe kohët e fundit, DGI [ ] aplikon idenë e maksimizimit të MI në domen të grafikut dhe merr performancë të fortë në një model të pakontrolluar. Megjithatë, DGI implementon një maksimizim me grurin e trashë ( , maksimizimin e MI në nivel grafik/patch) gjë që e bën të vështirë ruajtjen e informacionit delikat në grafikin hyrës. Për më tepër, kushti i imponuar në funksionin leximi të përdorur në DGI duket se është tepër i kufizuar në raste reale. Në të kundërt, ne përqendrohemi në heqjen e kufizimit të funksionit leximi dhe arritjen e maksimizimit të informacionit të ndërsjellë grafik në nivelin e nyjeve duke maksimizuar drejtpërdrejt MI midis hyrjeve dhe daljeve të enkoderit. Përfaqësimet e rrjedhura nga metoda jonë janë më të sofistikuara në ruajtjen e informacionit hyrës të grafikut, gjë që siguron potencialin e saj për detyrat e minierave të grafikut të mëposhtëm,  , klasifikimi i nyjeve, parashikimi i lidhjeve dhe rekomandimi. Rrjetet neurale për mësimin e përfaqësimit të grafikut 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 d.m.th. p.sh. 3      INFORMACIONI I NDËRSJELLË GRAFIK: PËKULIMI DHE MAKSIMIZIMI Para se të vazhdojmë, së pari japim konceptet paraprake të përdorura në këtë artikull. Le të jetë G = (V, E) një grafik me   nyje   ∈ V dhe skaje   = (  ,   ) ∈ E. Veçoritë e nyjeve, me shpërndarje empirike të mundshme të supozuar P, jepen nga   ∈ N vi eij vi vj X R  ×  = {  1, · · · ,   } ku   ∈ R  tregon veçorinë për nyjen   . Matrica e adjasencës   ∈ R  ×  përfaqëson lidhjet e skajeve, ku   e lidhur me skajin   mund të jetë një numër real ose vektor shumëdimensional1. N D x x N xi D vi A N N Aij eij Qëllimi i mësimit të përfaqësimit të grafikut është të mësohet një enkoder   : R  ×  × R  ×  → R  × ′ , të tillë që vektorët e fshehur   = { 1, · · · ,   } =   (  ,  ) tregojnë përfaqësime të nivelit të lartë për të gjitha nyjet. Procesi i kodimit mund të rishkruhet në një formë për nyje. f N D N N N D H h hN f X A Për ta treguar këtë, ne përcaktojmë   dhe   për nyjen   si respektivisht veçoritë e fqinjëve të saj dhe matricën e adjasencës përkatëse Xi Ai i të kushtëzuar nga fqinjët. Në veçanti,   përbëhet nga të gjithë fqinjët k-hop të   me   ≤   kur enkoderi   është një GNN  -shtresë, dhe përmban vetë nyjen   nëse shtojmë më tej unaza vetvetiu në matricën e adjasencës. Këtu, ne e quajmë nëngrafikun e zgjeruar nga   dhe   si një   për nyjen  , të shënuar si G  . Me përcaktimin e grafikut mbështetës, kodimi për çdo nyje bëhet   =   (G  ) =   (  ,   ). Xi vi k l f l i Xi Ai grafik mbështetës i i hi f i f Xi Ai  Në Deep InfoMax [ ], objektivi i trajnimit të enkoderit është të maksimizojë MI midis hyrjeve dhe daljeve të tij. MI vlerësohet duke përdorur një rrjet statistikash si diskriminues për të klasifikuar mostrat që vijnë nga shpërndarja e përbashkët dhe ato të nxjerra nga produkti i marginaleve. Natyrisht, kur përshtatim idenë e Deep InfoMax në grafike, duhet të maksimizojmë MI midis përfaqësimit   dhe grafikut mbështetës G  për çdo nyje. Ne e shënojmë një MI të tillë grafik si   (  ; G  ). Megjithatë, nuk është e thjeshtë të përcaktohet I (hi ; Gi ). Vështirësitë janë: Vështirësi në përcaktimin e informacionit të ndërsjellë grafik. 20 hi i I hi i •   MI grafik duhet të jetë i pavarur në lidhje me indeksin e nyjes. Në fjalë të tjera, ne duhet të kemi   (  ; G  ) =   (  ; G′  ), nëse G  dhe G′  janë izomorfike. I hi i I hi i i i •   Nëse miratojmë metodën MINE për llogaritjen e MI, diskriminuesi në MINE pranon vetëm hyrje me madhësi fikse. Kjo ende është e pamundur për G  pasi G  të ndryshme zakonisht përfshijnë numra të ndryshëm nyjesh dhe rrjedhimisht janë të madhësive të dallueshme. i i Për të kapërcyer çështjen e përcaktimit të informacionit të ndërsjellë grafik, ky seksion fillon duke prezantuar konceptin e Informacionit të Ndërsjellë të Veçorive (FMI) që mbështetet vetëm në veçoritë e nyjeve. Mbi frymëzimin nga dekompozimi i FMI, ne më pas përcaktojmë Informacionin e Ndërsjellë Grafik (GMI), i cili merr parasysh si veçoritë e nyjeve ashtu edhe 3.1      INFORMACIONI I NDËRSJELLË I VEÇORIVE Ne e shënojmë shpërndarjen empirike të mundshme të veçorive të nyjeve   si  (  ), mundësinë e   si  (  ), dhe shpërndarjen e përbashkët nga  (  ,   ). Sipas teorisë së informacionit, MI midis   dhe   përcaktohet si Xi p Xi hi p hi p hi Xi hi Xi Për habi, ne kemi teoremën e dekompozimit të informacionit të ndërsjellë vijuese për llogaritjen e   (  ;   ). I hi Xi Teorema 1 (Dekompozimi i Informacionit të Ndërsjellë).  (  |  )   (  ;   )      Nëse probabiliteti i kushtëzuar p hi Xi është multiplicative (shih përcaktimin e multiplicative në [ ]), informacioni global i ndërsjellë I 36 hi Xi i përcaktuar në Ekuacionin. (1) mund të dekompozohet si një shumë e peshuar e MI lokale, përkatësisht,      ≤   ≤ 1  ku, x j është fqinji i j-të i nyjes i, in  është numri i të gjithë elementëve në Xi , dhe pesha wij plotëson 1 wij për çdo j. Për të provuar teoremën e mësipërme, ne së pari prezantojmë dy lemma dhe një përcaktim. Lemma 1.  Për çdo variabël të rastit X, Y, dhe Z, ne kemi Me dekompozimin në Teoremën   ne mund të llogarisim anën e djathtë të Ekuacionit   duke përdorur MINE pasi hyrjet e diskriminuesit tani bëhen çiftet e (  ,   ) madhësia e të cilëve ruan gjithmonë të njëjtën ( ,   ′-by- ). Për më tepër, ne mund të rregullojmë peshat për të pasqyruar transformimin izomorfik të grafikeve hyrëse. Për shembull, nëse   përmban vetëm fqinjët e një-hop të nyjes  , vendosja e të gjitha peshave të jenë identike do të çojë në të njëjtin MI për nyjet hyrëse në renditje të ndryshme. 1, (2) hi xj d.m.th. D D Xi i Megjithë disa përfitime të dekompozimit, është e vështirë të karakterizohen vlerat e sakta të peshave pasi ato janë të lidhura me vlerat e   (  ;   ) dhe shpërndarjet e tyre të mundshme. I hi xj Një mënyrë triviale është vendosja e të gjitha peshave në     , pastaj maksimizimi i anës së djathtë të Ekuacionit   është ekuivalent me maksimizimin e kufirit të poshtëm të   (  ;   ), me të cilin FMI i vërtetë maksimizohet deri në njëfarë mase. Përveç kësaj metode, ne ofrojmë një zgjidhje më të përmirësuar duke i konsideruar peshat si vëmendje të trajnueshme, gjë që është tema në nënseksionin vijues. 1 (2) I hi Xi  I frymëzuar nga dekompozimi në Teoremën   ne përpiqemi 3.2      INFORMACIONI I NDËRSJELLË I KONSIDERUAR TOPOLOGJIK 1,

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Kjo audio është prodhuar në gjuhën origjinale të tregimit!

Një mënyrë e re për të trajnuar AI në të dhëna grafike pa mbikëqyrje

About Author

KOMENTE

VARUR TAGS

KY ARTIKU U PARAQIT NË

Related Stories

Rrjeti SQD sapo vrau emetimet e tokenëve.Ja çfarë paguan 16 miliardë dollarë në DeFi TVL

Rrjeti SQD sapo vrau emetimet e tokenëve.Ja çfarë paguan 16 miliardë dollarë në DeFi TVL

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps