Գրաֆիկական տվյալների վրա AI-ի ուսուցման նոր ուղի՝ առանց հսկողության

```html Հեղինակներ՝ Ժեն Փենգ Վենբինգ Հուանգ Միննան Լուո Ցինհուա Չժենգ Յու Ռոնգ Տինգյանգ Սյու Ջունժոու Հուանգ ԱՄՓՈՓՈՒՄ Տեղեկատվական տարբեր ցանցերի, ինչպիսիք են սոցիալական և հաղորդակցական ցանցերը, բովանդակության հարստությունը, առանց արտաքին հսկողության, բարձրորակ արտահայտիչ ներկայացումներ սովորելու աննախադեպ ներուժ է ապահովում։ Այս հոդվածն ուսումնասիրում է, թե ինչպես պահպանել և արդյունահանել առատ տեղեկատվություն գրաֆի կառուցվածքային տվյալներից՝ ներդրման տարածքում՝ առանց հսկողության։ Դրա համար մենք առաջարկում ենք նոր հայեցակարգ՝ Գրաֆիկական փոխադարձ տեղեկատվություն (GMI), որը չափում է մուտքային գրաֆների և բարձր մակարդակի թաքնված ներկայացումների միջև կապը։ GMI-ն ընդլայնում է սովորական փոխադարձ տեղեկատվության հաշարկների գաղափարը վեկտորական տարածությունից դեպի գրաֆիկական տիրույթ, որտեղ անհրաժեշտ է չափել փոխադարձ տեղեկատվություն հանգույցների առանձնահատկությունների և տոպոլոգիական կառուցվածքի երկու ասպեկտներից։ GMI-ն ունի մի քանի առավելություններ. Առաջին, այն անփոփոխ է մուտքային գրաֆների իզոմորֆային փոխակերպման վերաբերմամբ, որը շատ գոյություն ունեցող գրաֆիկական ներկայացման ուսուցման ալգորիթմներում անխուսափելի սահմանափակում է. Բացի այդ, այն կարող է արդյունավետորեն գնահատվել և մեծացվել փոխադարձ տեղեկատվության գնահատման ընթացիկ մեթոդների միջոցով, ինչպիսին է MINE-ը. վերջապես, մեր տեսական վերլուծությունը հաստատում է դրա ճշգրտությունն ու ռացիոնալությունը։ GMI-ի օգնությամբ մենք մշակում ենք մի հսկողությունից զուրկ ուսուցման մոդել, որը մարզվում է գրաֆիկական նյարդային կոդավորողի մուտքի և ելքի միջև GMI-ն մեծացնելով։ Տրանսդուկտիվ և ինդուկտիվ հանգույցների դասակարգման և կապերի կանխատեսման վրա կատարված զգալի փորձերը ցույց են տալիս, որ մեր մեթոդը գերազանցում է ժամանակակից հսկողությունից զուրկ մրցակիցներին, և երբեմն նույնիսկ գերազանցում է հսկվող մեթոդների արդյունքները։ 1 ՆԵՐԱԾՈՒԹՅՈՒՆ Տարբեր տեղեկատվական ցանցերի հուսալի քանակական վերլուծություն ձեռք բերելու համար գրաֆիկական կառուցվածքային տվյալների բարձրորակ ներկայացման ուսուցումը դարձել է ներկայիս հետաքրքիր թեմաներից մեկը։ Վերջին մեթոդները, որոնք ուղղված են այս նպատակին, սովորաբար դասակարգվում են որպես Գրաֆիկական նյարդային ցանցեր (GNNs), նշանակալի առաջընթաց են գրանցել բազմաթիվ ուսուցման խնդիրներում, ինչպիսիք են հանգույցների դասակարգումը [ , , ], կապերի կանխատեսումը [ , , ], գրաֆերի համադրումը [ , , ], մոլեկուլների ստեղծումը [ , , ] և այլն։ Չնայած բեղմնավոր առաջընթացին, GNN-ների մարզումը գոյություն ունեցող մոտեցումներում սովորաբար պահանջում է որոշակի տեսակի հսկողություն։ Անկասկած, պիտակավորման տեղեկատվությունը թանկ է ձեռք բերել՝ ձեռքով պիտակավորում կամ թույլտվության համար վճարում, և նույնիսկ անհնար է ձեռք բերել՝ գաղտնիության քաղաքականության պատճառով։ Չենք խոսում այն մասին, որ տրված պիտակների հուսալիությունը երբեմն կասկածելի է։ Հետևաբար, ինչպես հասնել բարձրորակ գրաֆիկական ներկայացման առանց հսկողության, դառնում է անհրաժեշտ բազմաթիվ գործնական դեպքերի համար, ինչը խթանում է այս հոդվածի ուսումնասիրությունը։ 35 42 50 26 27 49 12 19 43 4 5 46 Մանրամասնորեն քննարկելով մեր հավաքագրած գրաֆիկական կառուցվածքային տվյալները, մենք գտնում ենք, որ դրանք սովորաբար գալիս են տարբեր աղբյուրներից, ինչպիսիք են սոցիալական ցանցերը, մեջբերումների ցանցերը և հաղորդակցական ցանցերը, որտեղ գոյություն ունեն ինչպես բովանդակության, այնպես էլ կապերի տեղեկատվության հսկայական քանակ։ Օրինակ, բազմաթիվ սոցիալական հարթակների, ինչպիսիք են Twitter-ը, Flickr-ը և Facebook-ը, տվյալները ներառում են օգտատերերի առանձնահատկություններ, օրինակ՝ հիմնական անձնական մանրամասներ, տեքստեր, պատկերներ, IP, և նրանց հարաբերությունները, օրինակ՝ նույն իրը գնելը, ընկեր լինելը։ Այս հարուստ բովանդակության տվյալները բավարար են հետագա հանքարդյունահանման խնդիրները հետագա ուղղորդման վերաբերյալ աջակցելու համար. եթե երկու օբյեկտներ ցուցաբերեն առանձնահատկությունների ծայրահեղ նմանություն, ապա նրանց միջև կապի բարձր հավանականություն կա (կապերի կանխատեսում), և դրանք, հավանաբար, պատկանում են նույն կատեգորիային (դասակարգում). եթե երկու օբյեկտներ երկուսն էլ կապվում են մեկ այլ օբյեկտի հետ, նրանք, հավանաբար, ունեն նմանատիպ բնութագրեր (մեխանիկա)։ Այս իմաստով, տեղեկատվական ցանցերից որքան հնարավոր է շատ տեղեկատվության պահպանումը և արդյունահանումը ներդրման տարածք՝ հնարավորություն է տալիս սովորել բարձրորակ արտահայտիչ ներկայացումներ, որոնք ցուցաբերում են ցանկալի կատարում՝ առանց որևէ հսկողության։ Առանց հսկողության գրաֆիկական ներկայացման ուսուցումը շատ դեպքերում ավելի նախընտրելի ընտրություն է՝ պիտակներից ազատության պատճառով, հատկապես, երբ մենք մտադիր ենք օգտվել մեծածավալ չպիտակավորված տվյալներից։ Գրաֆերի հարուստ տեղեկատվությունը լիովին ժառանգելու համար, այս հոդվածում, մենք կատարում ենք գրաֆիկական ներդրում՝ հիմնված Փոխադարձ Տեղեկատվության (MI) մեծացման վրա, ոգեշնչված Deep Info-Max մեթոդի փորձառական հաջողությամբ [ ], որը գործում է պատկերների վրա։ Օգտակար ներկայացումներ հայտնաբերելու համար Deep InfoMax-ը մարզում է կոդավորողը՝ իր մուտքագրումների (այսինքն՝ պատկերներ) և ելքերի (այսինքն՝ թաքնված վեկտորներ) միջև MI-ն մեծացնելու համար։ Երբ մտածում ենք Deep InfoMax-ը գրաֆերի տիրույթում, առաջին քարը, որը մենք պետք է անցնենք, այն է, թե ինչպես սահմանել MI-ն գրաֆերի և թաքնված վեկտորների միջև, մինչդեռ գրաֆերի տոպոլոգիան ավելի բարդ է, քան պատկերները (տես Նկար Մի մարտահավերթություն է ապահովել, որ յուրաքանչյուր հանգույցի թաքնված ներկայացման և նրա հարևանության մուտքագրված հատկությունների միջև MI գործառույթը պահպանի սիմետրիկ հատկությունը, կամ համարժեքորեն, լինի անփոփոխ հարևանությունների տեղափոխություններից։ Որպես MI-ով զբաղվող վերջին աշխատանքներից մեկը, Deep Graph Infomax (DGI) [ ] նախ մեկնում է մուտքային գրաֆ և համապատասխան խեղդված գրաֆ, այնուհետև գրաֆը ամփոփում է վեկտորի տեսքով՝ ընթերցման գործառույթի միջոցով, ապա մեծացնում է MI-ն այս ամփոփող վեկտորի և թաքնված ներկայացումների միջև՝ դասակարգելով մուտքային գրաֆը (դրական նմուշ) խեղդված գրաֆից (բացասական նմուշ)։ Նկար -ը տալիս է DGI-ի հեշտ ընկալվող ակնարկ։ MI-ի մեծացումը ապացուցվում է, որ համարժեք է մուտքային հանգույցների հատկություններին և թաքնված վեկտորներին MI-ի մեծացմանը, բայց այս համարժեքությունը գործում է մի քանի նախադրված պայմանների ներքո, օրինակ՝ ընթերցման գործառույթը պետք է լինի աններդր, ինչը, սակայն, չափազանց սահմանափակող է իրական դեպքերում։ Նույնիսկ եթե մենք կարողանանք երաշխավորել որոշակի դիզայնով աններդր ընթերցման գործառույթի գոյությունը, օրինակ, այն, որն օգտագործվում է DeepSets-ում [ ], ընթերցման գործառույթի աններդրությունը նաև ազդում է նրա պարամետրերի մարզմանը։ Այսինքն, որ բնականաբար աններդր գործառույթը ռիսկ ունի դառնալ ոչ-ներդր, եթե այն մարզվում է առանց որևէ արտաքին հսկողության։ Եվ եթե ընթերցման գործառույթը ոչ-ներդր է, ամփոփող վեկտորում պարունակվող մուտքային գրաֆիկական տեղեկատվությունը կնվազի, քանի որ գրաֆի չափը կմեծանա։ Ավելին, DGI-ն մնում է կոպիտ գրաֆ/պատչ մակարդակի MI մեծացման մեջ։ Հետևաբար, DGI-ում չկա երաշխիք, որ կոդավորողը կարող է բավարար տեղեկատվություն արդյունահանել մուտքային տվյալներից, քանի որ այն երբեք մանրամասնորեն չի կապում թաքնված ներկայացումները իրենց սկզբնական մուտքագրումների հետ։ 20 1)։ 41 1 47 Այս հոդվածում մենք առաջարկում ենք ավելի պարզ միջոց՝ MI-ն դիտարկելու գրաֆիկական կառուցվածքների առումով՝ առանց որևէ ընթերցման կամ խեղդման գործառույթի օգտագործման։ Մենք ուղղակիորեն արտածում ենք MI-ն՝ համեմատելով կոդավորողի մուտքագրումը (այսինքն՝ մուտքագրված հարևանության բաղկացած ենթագրաֆը) և ելքը (այսինքն՝ յուրաքանչյուր հանգույցի թաքնված ներկայացումը)։ Եվ հետաքրքիր է, որ մեր տեսական ածանցումները ցույց են տալիս, որ ուղղակիորեն ձևակերպված MI-ն կարող է քայքայվել տեղական MI-ների կշռված գումարի մեջ՝ յուրաքանչյուր հարևանության հատկության և թաքնված վեկտորի միջև։ Այս կերպ, մենք քայքայել ենք մուտքագրված հատկությունները և MI հաշարկը դարձրել ենք մշակելի։ Ավելին, այս ձևի MI-ն կարող է հեշտությամբ բավարարել սիմետրիկ հատկությունը, եթե մենք կարգավորենք կշիռների արժեքները։ Մանրամասները մենք հանձնում ենք § Քանի որ վերոնշյալ MI-ն հիմնականում չափվում է հանգույցների հատկությունների մակարդակում, մենք այն անվանում ենք Հատկությունների փոխադարձ տեղեկատվություն (FMI)։ 3.1։ FMI-ի վերաբերյալ մնացած երկու հարցեր՝ համադրող կշիռները դեռևս անհայտ են, և այն հաշվի չի առնում տոպոլոգիան (այսինքն՝ եզրերի հատկությունները)։ Այս երկու հարցերը հետագայում լուծելու համար մենք սահմանում ենք մեր Գրաֆիկական փոխադարձ տեղեկատվության (GMI) չափումը, որը հիմնված է FMI-ի վրա։ Մասնավորապես, GMI-ն կիրառում է ինտուիտիվ արժեքի նշանակում՝ FMI-ում կշիռները հավասարեցնելով յուրաքանչյուր հարևանի և թիրախային հանգույցի մոտիկությանը ներկայացման տարածքում։ Տոպոլոգիական տեղեկատվությունը պահպանելու համար GMI-ն լրացուցիչ կապում է այդ կշիռները մուտքային եզրերի հատկությունների հետ՝ լրացուցիչ փոխադարձ տեղեկատվության միջոցով։ Արդյունքում ստացված GMI-ն տոպոլոգիապես անփոփոխ է, նաև հաշվարկելի է Փոխադարձ Տեղեկատվության Նյուրոնային Գնահատման (MINE) միջոցով Մեր աշխատանքի հիմնական ներդրումները հետևյալն են. 1. 2. [2]։ • : Մենք ընդհանրացնում ենք ավանդական MI գնահատումը գրաֆիկական տիրույթին և համապատասխանաբար առաջարկում ենք Գրաֆիկական փոխադարձ տեղեկատվության (GMI) նոր հայեցակարգ։ GMI-ն ազատ է ընթերցման գործառույթի հետ կապված հնարավոր ռիսկից, քանի որ այն դիտարկում է MI-ն մուտքային գրաֆերի և բարձր մակարդակի ներդրումների միջև՝ ուղղակի ձևով։ Հայեցակարգեր • : Մեր տեսական վերլուծության միջոցով մենք տալիս ենք GMI-ի մշակելի և հաշվարկելի ձև, որը քայքայում է Ալգորիթմներ ամբողջ GMI-ն տեղական MI-ների կշռված գումարի։ MINE մեթոդի օգնությամբ GMI-ի մեծացումը կարող է հեշտությամբ ձեռք բերվել հանգույցային մակարդակում։ • : Մենք հաստատում ենք GMI-ի արդյունավետությունը մի քանի հանրաճանաչ հանգույցների դասակարգման և կապերի կանխատեսման Փորձառական արդյունքներ խնդիրներում, ներառյալ ինչպես տրանսդուկտիվ, այնպես էլ ինդուկտիվ։ Փորձերը ցույց են տալիս, որ մեր մեթոդը խոստումնալից կատարում է ցուցաբերում տարբեր չափանիշների վրա, և այն նույնիսկ երբեմն գերազանցում է հսկվող մրցակիցներին։ 2 ԱՌԵՂԾ WORK Մեր աշխատանքի ուղղվածությանը համահունչ, մենք հակիրճ վերանայում ենք նախորդ աշխատանքները հետևյալ երկու ոլորտներում՝ փոխադարձ տեղեկատվության գնահատում, և նյուրոնային ցանցեր՝ գրաֆերի վրա ներկայացում ուսուցանելու համար։ 1. 2. . Քանի որ InfoMax սկզբունքը [ ] խորհուրդ է տալիս մեծացնել MI-ն նյուրոնային ցանցերի մուտքագրումների և ելքերի միջև, բազմաթիվ մեթոդներ, ինչպիսիք են ICA ալգորիթմները [ , ], փորձում են օգտագործել MI-ի գաղափարը առանց հսկողության հատկությունների ուսուցման մեջ։ Այնուամենայնիվ, այս մեթոդները չեն կարող հեշտությամբ ընդհանրացվել խորը նյուրոնային ցանցերին՝ բարձր չափայնության անընդմյա փոփոխականների միջև MI-ի հաշվարկման դժվարության պատճառով։ Բարեբախտաբար, Փոխադարձ Տեղեկատվության Նյուրոնային Գնահատումը (MINE) [ ] դարձնում է MI-ի գնահատումը խորը նյուրոնային ցանցերում իրագործելի՝ մարզելով վիճակագրական ցանցը որպես դասակարգիչ, որը տարբերակում է համատեղ բաշխումից եկած նմուշները և երկու պատահական փոփոխականների եզրային բաշխումների արտադրյալը։ Մասնավորապես, MINE-ն օգտագործում է MI-ի KL-ով հիմնված ճշգրիտ ձևակերպումը, մինչդեռ ոչ-KL այլընտրանքը՝ Jensen-Shannon divergence (JSD) [ ], կարող է օգտագործվել՝ առանց MI-ի ճշգրիտ արժեքի մասին մտահոգվելու։ Փոխադարձ տեղեկատվության գնահատում 3 1 21 2 30 . Գրաֆիկական նյուրոնային ցանցերի (GNNs) արագ զարգացման հետ մեկտեղ, վերջին տարիներին առաջարկվել են GNNs-ի վրա հիմնված գրաֆիկական ներկայացման ուսուցման մեծ թվով ալգորիթմներ, որոնք ավելի ուժեղ կատարում են ցուցաբերում, քան ավանդական պատահական քայլքի վրա հիմնված և գործոնացման վրա հիմնված ներդրման մոտեցումները [ , , , , ]։ Տիպիկ, այս մեթոդները կարող են բաժանվել հսկվող և ոչ հսկվող կատեգորիաների։ Դրանց թվում կա հարուստ գրականություն գրաֆների վրա հսկվող ներկայացման ուսուցման վերաբերյալ [ , , , , ]։ Չնայած նրանց ցանցային ճարտարապետության տարբերությանը, նրանք ձեռք են բերում փորձառական հաջողություն՝ պիտակների օգնությամբ, որոնք հաճախ անհասանելի են իրական սցենարներում։ Այս դեպքում, ոչ հսկվող գրաֆիկական ուսուցման մեթոդները [ , , ] ավելի լայն կիրառության ներուժ ունեն։ Հայտնի մեթոդը GraphSAGE-ն է [ ], ինդուկտիվ շրջանակ՝ GNN-ները մարզելու համար իր ոչ հսկվող սահմանում՝ պատահական քայլքի վրա հիմնված նպատակի միջոցով։ Եվ վերջերս, DGI [ ] կիրառում է MI մեծացման գաղափարը գրաֆիկական տիրույթին և ձեռք է բերում ուժեղ կատարում՝ ոչ հսկվող ձևով։ Սակայն DGI-ն իրականացնում է կոպիտ-ցանկային մեծացում (այսինքն՝ MI-ի մեծացում գրաֆ/պատչ մակարդակում), ինչը դժվարացնում է մուտքային գրաֆի նրբագույն տեղեկատվությունը պահպանելը։ Բացի այդ, DGI-ում օգտագործվող ընթերցման գործառույթի վրա դրված պայմանը, կարծես, չափազանց սահմանափակող է իրական դեպքերում։ Ի հակադրություն, մենք կենտրոնանում ենք ընթերցման գործառույթի սահմանափակումը հեռացնելու և գրաֆիկական փոխադարձ տեղեկատվության մեծացումը հանգույցային մակարդակում հասնելու վրա՝ ուղղակիորեն մեծացնելով MI-ն կոդավորողի մուտքերի և ելքերի միջև։ Մեր մեթոդով ստացված ներկայացումներն ավելի նրբագույն են մուտքային գրաֆիկական տեղեկատվությունը պահպանելու հարցում, ինչը երաշխավորում է դրա ներուժը հետագա գրաֆիկական հանքարդյունահանման խնդիրների համար, օրինակ՝ հանգույցների դասակարգում, կապերի կանխատեսում և առաջարկ։ Նյուրոնային ցանցեր գրաֆիկական ներկայացման ուսուցման համար 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 3 ԳՐԱՖԻԿԱԿԱՆ ՓՈԽԱԴԱՐՁ ՏԵՂԵԿԱՏՎՈՒԹՅՈՒՆ. ՍԱՀՄԱՆՈՒՄ ԵՎ ՄԵԾԱՑՈՒՄ Առաջ գնալուց առաջ մենք նախ տալիս ենք այս հոդվածում օգտագործվող նախնական հայեցակարգերը։ Թող G = (V, E) նշանակի գրաֆ՝ հանգույցներով ∈ V և եզրերով = ( , ) ∈ E։ Հանգույցների առանձնահատկությունները, ենթադրյալ փորձառական հավանականության բաշխում P-ով, տրված են ∈ N vi eij vi vj X R × = { 1, · · · , }, որտեղ ∈ R նշանակում է հանգույցի հատկությունը . ∈ R × հարևանության մատրիցը ներկայացնում է եզրերի կապերը, որտեղ , որը կապված է եզրին, կարող է լինել իրական թիվ կամ բազմաչափ վեկտոր1։ N D x x N xi D vi A N N Aij eij Գրաֆիկական ներկայացման ուսուցման նպատակն է սովորել կոդավորող ։ R × × R × → R × ′, այնպես որ թաքնված վեկտորները = { 1, · · · , } = ( , ) ցույց տան բոլոր հանգույցների բարձր մակարդակի ներկայացումները։ Կոդավորման գործընթացը կարող է վերագրվել հանգույցային ձևով։ f N D N N N D H h hN f X A Դա ցույց տալու համար մենք սահմանում ենք և յուրաքանչյուր հանգույց համար, համապատասխանաբար, նրա հարևանների հատկությունները և համապատասխան հարևանության մատրիցը Xi Ai i պայմանական հարևանների վրա։ Մասնավորապես, բաղկացած է հանգույցի բոլոր k-hop հարևաններից՝ ≤ , երբ կոդավորող -ը -շերտ GNN է, և այն պարունակում է ինքը՝ հանգույց -ը, եթե մենք լրացուցիչ ինքնաբլոկներ ավելացնենք հարևանության մատրիցում։ Այստեղ մենք և -ով ընդլ Xi vi k l f l i Xi Ai