Нов начин за обучување вештачка интелигенција на графички податоци без надзор

Автори: Женг Пенг Венбинг Хуанг Миннан Луо Qinghua Zheng Ју Ронг Тингјанг Жу Џунџоу Хуанг АПСТРАКТ Богатството во содржината на различни информациски мрежи како што се социјалните мрежи и комуникациските мрежи обезбедува невидени потенцијали за учење на висококвалитетни репрезентативни претстави без надворешна надзор. Овој труд истражува како да се зачува и извлече изобилство информации од податоци структурирани во графи во просторот на вградување на ненадгледуван начин. За таа цел, предлагаме нов концепт, Графичка заедничка информација (GMI), за мерење на корелацијата помеѓу влезните графи и скриените претстави на високо ниво. GMI ја генерализира идејата за конвенционалните пресметки на заедничка информација од векторскиот простор до доменот на графовите каде мерењето на заедничката информација од два аспекта на карактеристиките на јазлите и топошката структура е неопходно. GMI покажува неколку предности: Прво, инваријантна е на изоморфна трансформација на влезните графи - неизбежно ограничување во многу постоечки алгоритми за учење на графички претстави; Покрај тоа, може ефикасно да се процени и максимизира од страна на сегашните методи за проценка на заедничка информација како што е MINE; Конечно, нашата теоретска анализа ја потврдува нејзината исправност и рационалност. Со помош на GMI, развиваме модел за ненадгледувано учење обучен со максимизирање на GMI помеѓу влезот и излезот на графички невронски енкодер. Значителни експерименти на трансактивни, како и индуктивни класификации на јазли и предвидување на врски покажуваат дека нашиот метод ги надминува современите ненадгледувани методи, а понекогаш дури и ги надминува перформансите на надгледуваните. 1 ВОЗВЕДЕНИЕ За да се постигне сигурна квантитативна анализа за различни информациски мрежи, учењето на висококвалитетни репрезентации за податоци структурирани во графи стана една од актуелните фасцинантни теми. Неодамнешните методи за постигнување на оваа цел, обично категоризирани како Графички Невронски Мрежи (GNNs), постигнаа извонреден напредок во голем број задачи за учење, како што се класификација на јазли [ , , ], предвидување на врски [ , , ], усогласување на графи [ , , ], молекуларна генерација [ , , ], за да споменеме неколку. И покрај овој плоден напредок, обучувањето на GNNs во постоечките пристапи обично бара одреден вид на надзор. Несомнено, информациите за етикетирање се скапи за стекнување - рачна анотација или плаќање за дозвола, и дури и невозможно да се постигнат поради политиката за приватност. Да не зборуваме дека сигурноста на дадените етикети понекогаш е сомнителна. Оттука, како да се постигне висококвалитетна графичка претстава без надзор станува неопходност за голем број практични случаи, што ја мотивира студијата на овој труд. 35 42 50 26 27 49 12 19 43 4 5 46 Со внимателно испитување на нашите собрани податоци структурирани во графи, откриваме дека тие генерално доаѓаат од различни извори како што се социјални мрежи, мрежи за цитирање и комуникациски мрежи, каде што постојат огромна количина на информации за содржината и поврзаноста. На пример, податоците на многу социјални платформи како Твитер, Фликр и Фејсбук вклучуваат карактеристики на корисниците, *на пр.*, основни лични податоци, текстови, слики, IP, и нивните релации, *на пр.*, купување на истиот предмет, пријателство. Овие богати податоци за содржината се доволни за да ги поддржат последователните задачи за рударење без дополнително водство: ако две ентитети покажуваат екстремна сличност во карактеристиките, постои голема веројатност за врска меѓу нив (предвидување на врска), и веројатно припаѓаат на иста категорија (класификација); ако две ентитети се поврзани со иста ентитет, тие веројатно имаат слични карактеристики (препорака). Во овој смисол, зачувувањето и извлекувањето што е можно повеќе информации од информациските мрежи во просторот на вградување го олеснува учењето на висококвалитетни репрезентативни претстави кои покажуваат посакувани перформанси во задачите за рударење без никаква форма на надзор. Ненадгледуваното учење на графички претстави е поповолен избор во многу случаи поради слободата од етикети, особено кога имаме намера да го искористиме големиот обем на неетикетирани податоци во дивината. За целосно наследување на богатите информации во графовите, во овој труд, извршуваме вградување на графи базирано на максимизирање на Заедничката Информација (MI), инспирирани од емпирискиот успех на методот Deep Info-Max [ ] кој работи на слики. За откривање на корисни претстави, Deep InfoMax го обучува енкодерот да го максимизира MI помеѓу неговите влезови (т.е., сликите) и излези (т.е., скриените вектори). Кога се разгледува Deep InfoMax во доменот на графовите, првиот чекор што треба да го направиме е како да го дефинираме MI помеѓу графовите и скриените вектори, додека топологијата на графовите е покомплицирана од сликите (види Слика Еден од предизвиците е да се обезбеди функцијата MI помеѓу скриената претстава на секој јазол и карактеристиките на неговата околина да се придржуваат до симетричната особина, или еквивалентно, да бидат инваријантни на пермутации на околините. Како едно неодамнешно дело кое ја зема предвид MI, Deep Graph Infomax (DGI) [ ] прво ги вградува влезниот граф и соодветниот корумпиран граф, потоа го сумира влезот на графонт како вектор преку функција за читање, на крајот го максимизира MI помеѓу овој резимирачки вектор и скриените претстави со дискриминирање на влезот на графонт (позитивен примерок) од корумпираниот граф (негативен примерок). Слика дава лесно разбирлив преглед на DGI. Максимизирањето на овој вид MI се покажа како еквивалентно на максимизирање на оној помеѓу карактеристиките на влезниот јазол и скриените претстави, но оваа еквивалентност важи под неколку претходно поставени услови, *на пр.*, функцијата за читање треба да биде инјективна, што сепак се чини дека е претерано ограничено во реални случаи. Дури и ако можеме да го гарантираме постоењето на инјективна функција за читање со одреден дизајн, *на пр.*, оној што се користи во DeepSets [ ], инјективната способност на функцијата за читање исто така е погодена од тоа како се обучуваат нејзините параметри. Тоа е, дека една оригинално-инјективна функција сè уште има ризик да стане не-инјективна ако се обучува без никаков надворешен надзор. И ако функцијата за читање не е инјективна, информациите за влезот на графонт содржани во резимирачкиот вектор ќе се намалат како што се зголемува големината на графонт. Покрај тоа, DGI останува во груба максимизација на MI на ниво на граф/парче. Оттука, во DGI, нема гаранција дека енкодерот може да извлече доволно информации од влезовите, бидејќи никогаш не ги поврзува експлицитно скриените претстави со нивните оригинални влезови. 20 1). 41 1 47 Во овој труд, предлагаме поедноставен начин да се разгледа MI во однос на графички структури без употреба на функција за читање и функција за корупција. Директно изведуваме MI со споредба на влезот (т.е., под-графот што се состои од околината на влезот) и излезот (т.е., скриената претстава на секој јазол) на енкодерот. И интересно, нашите теоретски изводи покажуваат дека директно формулираниот MI може да се разложи на пондериран збир на локални MIs помеѓу секоја околна карактеристика и скриениот вектор. На овој начин, ги разложивме влезните карактеристики и го направивме пресметувањето на MI изводливо. Покрај тоа, оваа форма на MI лесно може да ја задоволи симетричната особина ако ги прилагодиме вредностите на тежините. Повеќе детали ги одложуваме до § Бидејќи горенаведениот MI се мери главно на ниво на карактеристики на јазли, го нарекуваме Feature Mutual Information (FMI). 3.1. Преостанати две прашања за FMI: **1.** комбинациските тежини сè уште се непознати и **2.** не ја зема предвид топологијата (т.е., карактеристиките на рабовите). За понатамошно решавање на овие два проблеми, го дефинираме нашето мерење Graphical Mutual Information (GMI) базирано на FMI. Конкретно, GMI применува интуитивно доделување вредности со поставување на тежините во FMI еднакви на близината помеѓу секој сосед и целниот јазол во просторот на претстави. За да се задржат информациите за топологијата, GMI дополнително ги корелира овие тежини со карактеристиките на влезните рабови преку дополнителен термин на заедничка информација. Резултирачкиот GMI е топошки инваријантен и исто така пресметлив со Mutual Information Neural Estimation (MINE) Главните придонеси на нашиот труд се како што следува: . • * *: Го генерализираме конвенционалниот MI пресметка до доменот на графовите и соодветно предлагаме нов концепт на Graphical Mutual Information (GMI). GMI е ослободен од Концепти потенцијалниот ризик предизвикан од функцијата за читање бидејќи ги зема предвид MI помеѓу влезните графи и високо ниво на вградувања во директен образец. • * *: Преку нашата теоретска анализа, даваме изводлива и пресметлива форма на GMI која го разложува Алгоритми целокупниот GMI на пондериран збир на локални MIs. Со помош на MINE методот, максимизирањето на GMI лесно може да се постигне на ниво на јазол. • * *: Ја потврдуваме ефективноста на GMI на неколку популарни задачи за класификација на јазли и предвидување на врски Експериментални наоди вклучувајќи ги и трансактивните и индуктивните. Експериментите покажуваат дека нашиот метод постигнува ветувачки перформанси на различни бенчмарк податоци и понекогаш дури ги надминува и надгледуваните колеги. 2 СВРЗАНА РАБОТА Во согласност со фокусот на нашата работа, накратко ги прегледуваме претходните работи во двете следни области: **1.** проценка на заедничка информација, и **2.** невронски мрежи за учење на претстави над графови. . Бидејќи принципот InfoMax [ ] застапува максимизирање на MI помеѓу влезовите и излезите на невронските мрежи, многу методи како ICA алгоритми [ , ] се обидуваат да ја применат идејата за MI во ненадгледувано учење на карактеристики. Сепак, овие методи не можат лесно да се генерализираат на длабоки невронски мрежи поради тешкотијата во пресметувањето на MI помеѓу високодимензионални континуирани променливи. За среќа, Mutual Information Neural Estimation (MINE) [ ] ја прави проценката на MI на длабоки невронски мрежи изводлива преку обучување на статистичка мрежа како класификатор за разликување на примероци кои доаѓаат од заедничката дистрибуција и производот на маргиналните дистрибуции на две случајни променливи. Конкретно, MINE користи точна KL-базирана формулација на MI, додека не-KL алтернатива, Jensen-Shannon дивергенција (JSD) [ ], може да се користи без грижа за прецизната вредност на MI. Проценка на заедничка информација 3 1 21 2 30 . Со брзиот развој на графички невронски мрежи (GNNs), во последните години се предложени голем број алгоритми за учење на графички претстави базирани на GNNs, кои покажуваат посилни перформанси од традиционалните пристапи за вградување базирани на случајно одење и факторизација [ , , , , ]. Типично, овие методи можат да се поделат во надгледувани и ненадгледувани категории. Меѓу нив, постои богата литература за надгледувано учење на претстави врз графови [ , , , , ]. И покрај нивната варијација во мрежната архитектура, тие постигнуваат емпириски успех со помош на етикети кои често не се достапни во реални сценарија. Во овој случај, ненадгледуваните методи за учење на графи [ , , ] имаат поширок потенцијал за примена. Добро познатиот метод е GraphSAGE [ ], индуктивна рамка за обучување GNNs со цел базирана на случајно одење во својата ненадгледувана поставка. И неодамна, DGI [ ] ја применува идејата за максимизирање на MI во доменот на графовите и постигнува силни перформанси во ненадгледуван образец. Сепак, DGI спроведува груба максимизација (*т.е.*, максимизирање на MI на ниво на граф/парче), што го отежнува зачувувањето на деликатните информации во влезот на графонт. Покрај тоа, условот наметнат на функцијата за читање што се користи во DGI се чини дека е претерано ограничен во реални случаи. Спротивно на тоа, ние се фокусираме на отстранување на ограничувањето на функцијата за читање и постигнување максимизирање на графичка заедничка информација на ниво на јазол со директно максимизирање на MI помеѓу влезовите и излезите на енкодерот. Претставите изведени од нашиот метод се пософистицирани во задржувањето на информациите од влезот на графонт, што го обезбедува неговиот потенцијал за задачи за рударење на графи низводно, *на пр.*, класификација на јазли, предвидување на врски и препорака. Невронски мрежи за учење на графички претстави 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 3 ГРАФИЧКА ЗАЕДНИЧКА ИНФОРМАЦИЈА: ДЕФИНИЦИЈА И МАКСИМИЗАЦИЈА Пред да продолжиме понатаму, прво ги даваме прелиминарните концепти што се користат во овој труд. Нека G = (V, E) означува граф со *N* јазли *vi* ∈ V и рабови *eij* = (*vi* , *vj* ) ∈ E. Карактеристиките на јазлите, со претпоставена емпириска веројатност P, се дадени со *X* ∈ R × = {*x* 1, · · · , *x* N } каде *xi* ∈ R го означува карактерот за јазол *vi*. Матрицата на адхезивност *A* ∈ R × ги претставува врските на рабовите, каде *Aij* поврзан со работ *eij* може да биде реален број или повеќедимензионален вектор1. N D D N N Целта на учењето на графички претстави е да се научи енкодер *f* : R × × R × → R × ′, така што скриените вектори *H* = {*h*1, · · · , *hN* } = *f* (*X* , *A*) ги означуваат претставите на високо ниво за сите јазли. Процесот на кодирање може да се препише во форма по јазол. N D N N N D За да го покажеме ова, дефинираме *Xi* и *Ai* за јазол *i* како соодветно карактеристиките на неговите соседи и соодветната матрица на адхезивност условно на соседите. Особено, *Xi* се состои од сите k-хоп соседи на *vi* со *k* ≤ *l* кога енкодерот *f* е *l*-слоен GNN, и го содржи самиот јазол *i* ако дополнително додадеме само-петелки во матрицата на адхезивност. Овде, под-графонт проширен од *Xi* и *Ai* го нарекуваме *поддржувачки граф* за јазол *i*, означен со G*i*. Со дефиницијата на поддржувачки граф, кодирањето за секој јазол станува *hi* = *f* (G*i*) = *f* (*Xi* , *Ai* ). Во Deep InfoMax [ ], целта на обуката на енкодерот е да се максимизира MI помеѓу неговите влезови и излези. MI се проценува со користење на статистичка мрежа како дискриминатор за класифицирање на примероци кои доаѓаат од заедничката дистрибуција и оние изведени од производот на маргиналните дистрибуции. Природно, при прилагодување на идејата за Deep InfoMax на графи, треба да го максимизираме MI помеѓу претставата *hi* и поддржувачкиот граф G*i* за секој јазол. Ние ја означуваме таквата графичка MI како *I* (*hi* ; G*i* ). Сепак, не е едноставно да се дефинира I (*hi* ; Gi* ). Тешкотиите се: Тешкотии во дефинирањето на графичка заедничка информација. 20 • Графичката MI треба да биде инваријантна во однос на индексот на јазолот. Со други зборови, треба да имаме *I* (*hi* ; G*i* ) = *I* (*hi* ; G′*i* ), ако G*i* и G′*i* се изоморфни еден на друг. • Ако го прифатиме MINE методот за пресметка на MI, дискриминаторот во MINE прифаќа само влезови со фиксна големина. Ова сè уште е невозможно за G*i* бидејќи различни G*i* обично вклучуваат различен број на јазли и затоа се со различни големини. За да се заобиколи прашањето за дефинирање на графичка заедничка информација, овој дел започнува со воведување на концептот Feature Mutual Information (FMI) кој се потпира само на карактеристиките на јазлите. Врз основа на инспирацијата од разложувањето на FMI, потоа ја дефинираме Graphical Mutual Information (GMI), која ги зема предвид и карактеристиките на јазлите и 3.1 ЗАЕДНИЧКА ИНФОРМАЦИЈА НА КАРАКТЕРИСТИКИ Ја означуваме емпириската дистрибуција на веројатност на карактеристиките на јазлите *Xi* како *p*(*Xi* ), веројатноста на *hi* како *p*(*hi* ), и заедничката дистрибуција како *p*(*hi* , *Xi* ). Според теоријата на информации, MI помеѓу *hi* и *Xi* се дефинира како Интересно, ја имаме следната теорема за разложување на заедничка информација за пресметување на *I* (*hi* ; *Xi* ). Теорема 1 (Разложување на заедничка информација). *Ако условната веројатност p*(*hi* |*Xi* ) *е мултипликативна (види дефиниција на мултипликативен во [ ]), глобалната заедничка информација I* (*hi* ; *Xi* ) *дефинирана во Екв.* *може да се разложи како пондериран збир на локални MIs, имено,* 36 (1) *каде, xj* *е j-тиот сосед на јазолот i, in* *е бројот на сите елементи во Xi*, *и тежината wij задоволува* ≤ *wij* ≤ 1 *за секое j.* 1 За да ја докажеме горната теорема, прво воведуваме две леми и една дефиниција. Лема 1. *За било кои случајни променливи X, Y , и Z, имаме* Со разложувањето во Теорема можеме да ја пресметаме десната страна од Екв. преку MINE бидејќи влезовите на дискриминаторот сега стануваат парови ( , *xj* ) чија големина секогаш останува иста (т.е., *D*′ - *D*). Покрај тоа, можеме да ги прилагодиме тежините за да ја одразиме изоморфната трансформација на влезните графови. На пример, ако *Xi* содржи само едно-хоп соседи на јазолот *i*, поставувањето на сите тежини да бидат идентични ќе доведе до иста MI за влезните јазли во различен ред. 1, (2) hi И покрај некои предности на разложувањето, тешко е да се карактеризираат точните вредности на тежините бидејќи тие се поврзани со вредностите на *I* (*hi* ; *xj* ) и нивните основни дистрибуции на веројатност. Тривијален начин е поставување на сите тежини на , потоа максимизирање на десната страна од Екв. е еквивалентно на максимизирање на долната граница на *I* (*hi* ; *Xi* ), со што вистинскиот FMI исто така се максимизира до одреден степен. Покрај овој метод, дополнително даваме поподобрен раствор со разгледување на тежините како што се тренирачки внимание, што е тема во следниот потсегмент. 1 (2) Инспирирани од разложувањето во Теорема се обидуваме да конструираме тренирачки тежини од другиот аспект на графовите (т.е., 3.2 Тополошки-свесно заедничка информација 1, тополошки поглед) така што вредностите на *wij* можат да бидат пофлексибилни и да ја фатат вродената особина на графовите. На крајот ја изведуваме дефиницијата на Graphical Mutual Information (GMI). Дефиниција 2 (Graphical Mutual Information). *MI помеѓу скриениот вектор h и неговиот поддржувачки граф* G = (*X* , *A* ) *се дефинира како* каде дефинициите на *xj* и *in* се исти како во Теорема 1, *aij* е тежината/карактеристика на работ во матрицата на адхезивност A, и σ(·) е сигмоидна функција. Интуитивно, тежината *wij* во првиот член од Екв. (10) ја мери справувано во експерименти се неутежети. Формално, пресметуваме I (*wij* ; *aij* ) = *aij* log *wij* + (1 − *aij* )log(1 − *wij* ). (12) Со максимизирање I (*hi* ; Gi ) со збирот од Екв. (11) и Екв. (12) над сите скриени вектори H , стигнуваме до нашата комплетна целна функција за придонесот на локален MI кон глобалниот. Ги спроведуваме придонесот на I (*hi* ; *xj* ) преку сличноста помеѓу претставите *hi* и *hj* (т.е., *wij* = σ (*hT* *hj* )). Во меѓувреме, членот I (*wij* ; *aij* ) го максимизира MI помеѓу *wij* и тежината/карактеристиката на работ на влезот на графонт (т.е., *aij* ) за да го присили *wij* да се придржува до топошките релации. Во овој смисол, степенот на придонес ќе биде конзистентен со близината во топошката структура, што обично се прифаќа како факт дека *wij* може да биде поголем ако јазолот *j* е „поблиску“ до јазолот *i* и помал инаку. Оваа стратегија ја надополнува грешката што FMI се фокусира само на карактеристиките на јазлите и