График мэдрэлийн сүлжээн дэх топологийн мэдлэгийг ойлгох нь: ерөнхий ойлголт ба бүтцийн байдалд үзүүлэх нөлөө

Холбоосуудын хүснэгт

Хураангуй болон 1 танилцуулга

2 Холбогдох ажил

3 Хүрээ

4 Үндсэн үр дүн

5 Хамгийн ойрын зайн тухай жишээ судалгаа

6 Дүгнэлт ба хэлэлцүүлэг, ашигласан материал

7 Теорем 1-ийн баталгаа

8 Теорем 2-ын баталгаа

9 Тэгшитгэлийг шийдвэрлэх журам. (6)

10 Нэмэлт туршилтын дэлгэрэнгүй мэдээлэл ба үр дүн

11 Бусад боломжит хэрэглээ

Хийсвэр

Компьютерийн алсын хараа болон машин сургалтын олон асуудлыг график дээр сурах даалгавар болгон загварчилсан бөгөөд график мэдрэлийн сүлжээ (GNN) нь график бүтэцтэй өгөгдлийн дүрслэлийг сурах гол хэрэгсэл болж гарч ирсэн. GNN-ийн гол онцлог нь график бүтцийг оролт болгон ашиглах бөгөөд тэдгээр нь GNN-ийн топологийн мэдлэг гэгддэг графикийн өвөрмөц топологийн шинж чанарыг ашиглах боломжийг олгодог. GNN-ийн эмпирик амжилтыг үл харгалзан, өгөгдөл нь бие даасан, ижил тархалттай (IID) гэсэн таамаглалаас ялгаатай зангилааны түвшний даалгавруудын хувьд ерөнхий ойлголтын гүйцэтгэлд топологийн мэдлэгийн нөлөөг судлаагүй хэвээр байна. GNN-ийн топологийн мэдлэгийн нарийн тодорхойлолт, шинж чанар, ялангуяа өөр өөр топологийн шинж чанаруудын талаархи тодорхой бус хэвээр байна. Энэхүү баримт бичиг нь аливаа топологийн шинж чанарт GNN-ийн топологийн мэдлэгийг тодорхойлох цогц тогтолцоог танилцуулж байна. Энэ хүрээг ашиглан бид топологийн мэдлэг GNN-ийн ерөнхий гүйцэтгэлд хэрхэн нөлөөлж байгааг судалж байна. GNN-ийн топологийн мэдлэгийг нэмэгдүүлэх нь үргэлж ашигтай байдаг гэсэн нийтлэг итгэл үнэмшлээс үл хамааран бидний хийсэн дүн шинжилгээ нь нэн чухал ойлголтыг харуулж байна: GNN-ийн топологийн мэдлэгийг сайжруулах нь зарим хувилбарт хүсээгүй бүтцийн бүлгүүдийг санамсаргүйгээр шударга бус ерөнхийлөлтөд хүргэж болзошгүй юм. Нэмж дурдахад бид янз бүрийн жишиг өгөгдлийн багц дээр хамгийн богино замын зай болох дотоод график хэмжигдэхүүнийг ашиглан кейс судалгаа хийдэг. Энэхүү кейс судалгааны эмпирик үр дүн нь бидний онолын ойлголтыг баталж байна. Нэмж дурдахад, бид графикийн идэвхтэй сургалтанд хүйтэн эхлэх асуудлыг шийдвэрлэхэд ашиглах замаар хүрээгээ практикт ашиглах боломжтойг харуулж байна.

1 Танилцуулга

Компьютерийн хараа болон машин сургалтын олон асуудлыг график дээр сурах даалгавар болгон загварчилсан байдаг. Жишээлбэл, семантик сегментчилэлд графикууд нь зургийн өөр өөр бүсүүдийн хоорондын хамаарлыг загварчилж, нарийвчлал болон контекстэд хамаарах сегментчиллийг сайжруулдаг. График мэдрэлийн сүлжээ (GNN) нь график бүтэцтэй өгөгдлийн дүрслэлийг сурахад тусгайлан зориулагдсан машин сургалтын загваруудын давамгайлсан анги болж гарч ирсэн. Тэд хими [10], биологи [37], нийгмийн сүлжээ [6, 22], үзэгдлийн график үүсгэх [46, 51], харааны хамаарлыг илрүүлэх зэрэг янз бүрийн салбарт графиктай холбоотой өргөн хүрээний асуудлыг шийдвэрлэхэд ихээхэн амжилт үзүүлсэн. [24,43,49]. GNN-ийн нэг онцлог шинж чанар нь тэдгээрийг нэгтгэхийн тулд графикийн бүтцэд мессеж дамжуулах замаар орон зайн хандлагыг ашиглах явдал юм. Энэ нь GNN-д үндсэн график бүтцээс бүтцийн мэдээлэл эсвэл хамаарлыг (топологийн мэдлэг гэж нэрлэдэг) хадгалах боломжийг олгож, зангилааны ангилал зэрэг ажлуудад өндөр үр дүнтэй байх боломжийг олгодог. Зураг 1 нь GNN-ийн ерөнхий сургалтын үйл явцыг харуулж байна.

Практик болон боломжийн талаар үл харгалзан GNN-ийн тухай онолын ойлголт дутмаг хэвээр байна, ялангуяа өгөгдлийн хамаарал нь бусад машин сургалтын загваруудаас эрс ялгаатай байдаг хагас удирдлагатай зангилааны ангиллын тохиргоонд [25]. Энэ тохиргоонд зорилго нь графикийн бүтцээс олж авсан харилцаа холбоог өгөгдөл болон жижиг багц шошготой зангилааны хооронд ашиглаж, үлдсэн зангилааны шошгыг урьдчилан таамаглах явдал юм. Одоо байгаа GNN-ийн онолын ихэнх судалгаанууд нь GNN-ийн мессеж дамжуулах механизм ба Вайсфайлер-Леманы изоморфизмын тест [19] хоорондын уялдаа холбоонд төвлөрч, GNN-ийн сурсан дүрслэл дэх өөр өөр график бүтцийг ялгах чадварыг ойлгоход чиглэв. GNN-ийн илэрхийлэх хүч гэж. Илэрхийллийн судалгаанаас санаа авч, топологийн мэдлэгийг нэмэгдүүлэх нь нийтээрээ ашигтай гэж үздэг бөгөөд олон судалгаанууд GNN-д сурсан дүрслэлд илүү бүтцийн шинж чанарыг хадгалах боломжийг олгоход чиглэдэг [29, 33, 48].

Гэсэн хэдий ч, GNN нь оролт болгон графикийн бүтцэд илүү хамааралтай, мэдрэмтгий (мэдрэмжтэй) болж байгаа тул өгөгдлийн доторх тодорхой бүтцийн дэд бүлгүүдэд (сургалтын багцтай бүтцийн ижил төстэй байдлаар бүлэглэсэн өөр өөр өгөгдлийн дэд багц) өөр өөр ерөнхий гүйцэтгэлийг үзүүлж болно. Ялгаатай бүтцийн дэд бүлгүүдийн GNN-ийн ерөнхий үнэлгээний тоон үзүүлэлтийг бүтцийн дэд бүлгийн ерөнхий байдал гэж нэрлэдэг [25]. Ийм бодол нь GNN-ийн хэрэглээ, хөгжилд амин чухал юм. Жишээлбэл, уураг-уургийн харилцан үйлчлэлийн сүлжээн дэх эдгээр бүтцийн дэд бүлгүүд нь харилцан үйлчлэлийн таамаглалын нарийвчлалд нөлөөлдөг өөр өөр молекулын цогцолборуудыг төлөөлж болно. Үүний нэгэн адил, GNN-ийн топологийн мэдлэг нь ерөнхий ойлголтод хэрхэн нөлөөлдөгийг ойлгох нь сургалтын түүвэрлэлтийн стратегийг боловсруулахад чухал юм. GNN-ийн ерөнхий гүйцэтгэлд график өгөгдлийн бүтцийн онцлог нь хэр зэрэг нөлөөлж байгаа нь сургалтын өгөгдлийн багцын бүрэлдэхүүнийг шийдвэрлэхэд чухал ач холбогдолтой. Энэ нь чухал ач холбогдолтой хэдий ч GNN-ийн топологийн мэдлэг ба түүний бүтцийн дэд бүлгийн ерөнхий ойлголтын хоорондын хамаарлын талаархи ойлголт дутмаг хэвээр байна. Цаашилбал, GNN-ийн топологийн мэдлэгийг тодорхойлоход бэрхшээлтэй тулгардаг, ялангуяа өөр өөр домэйн, үүрэг даалгавар нь бүтцийн ялгаатай талуудыг эрэмбэлж болохыг харгалзан үзэхэд бэрхшээлтэй байдаг. Тиймээс янз бүрийн бүтэцтэй холбоотой GNN-ийн топологийн мэдлэгийг үнэлэх олон талт хүрээ шаардлагатай.

Энэхүү цоорхойг арилгахын тулд бид энэ баримт бичигт хагас удирдлагатай зангилааны ангиллын хүрээнд GNN-ийн бүтцийн дэд бүлгийн ерөнхий ойлголт ба топологийн мэдлэгийн хоорондын хамаарлыг судлахын тулд ойролцоогоор хэмжигдэхүүнд суурилсан шинэ тогтолцоог санал болгож байна. Санал болгож буй хүрээ нь өөр өөр бүтцийн дэд бүлгүүдийн талаархи GNN-ийн бүтцийн дэд бүлгийн ерөнхий ойлголтыг судлах боломжийг олгодог. Илүү тодорхой, энэ ажлын гол хувь нэмрийг дараах байдлаар нэгтгэн дүгнэв.

1. Бид GNN-ийн бүтцийн дэд бүлгийн ерөнхий ойлголт болон топологийн мэдлэг хоорондын харилцан хамаарлыг судлахын тулд ойролцоогоор хэмжүүрийг ашиглан шинэ бүтэц-агностик тогтолцоог санал болгож байна. Энэхүү хүрээ нь олон талт бөгөөд хамгийн богино замын зай гэх мэт янз бүрийн бүтцийн хэмжүүрүүдийг багтаасан бөгөөд зөвхөн холбогдох бүтцийн хэмжүүрийг шаарддаг. Гол хүчин зүйлсийг тооцоолох энгийн байдал нь үүнийг өргөн хүрээний хувилбаруудад ашиглах, ерөнхийд нь илэрхийлэх боломжтой болгодог.

2. Бидний хүрээнд албан ёсны дүн шинжилгээ хийснээр бид GNN топологийн талаарх мэдлэг ба тэдгээрийн ерөнхий гүйцэтгэлийн хооронд тодорхой холбоо тогтоодог (Теорем 1). Мөн топологийн мэдлэгийг сайжруулах нь GNN-ийн илэрхийлэлийг нэмэгдүүлэх боловч энэ нь сургалтын багцтай бүтцийн хувьд илүү төстэй дэд бүлгүүдийг илүүд үзэж, жигд бус ерөнхий гүйцэтгэлд хүргэж болохыг бид харуулж байна (Теорем 2). Ийм бүтцийн өмч нь тухайн хувилбараас хамааран хортой (шударга бус асуудал үүсгэдэг) эсвэл ашигтай (дизайн шийдвэр гаргах) байж болно. Энэ нь топологийн мэдлэгийг нэмэгдүүлэх нь GNN-д нийтээрээ ашиг тусаа өгдөг гэсэн давамгайлсан итгэл үнэмшлийг эсэргүүцэж, топологийн мэдлэг ба ерөнхий гүйцэтгэлийн хоорондын хамаарлыг авч үзэхийн чухлыг онцолж байна [29, 33, 48].

3. Бид хамгийн ойрын зайн тухай кейс судалгаагаар дамжуулан өөрийн хүрээг баталгаажуулж, түүний практик байдал, ач холбогдлыг онцолж өгдөг. Үр дүн нь бидний онолын дүгнэлтийг баталж байгаа бөгөөд хамгийн богино замын зайн тухай өндөр мэдлэгтэй GNN-үүд сургалтын багцад ойртсон оройн бүлгүүдийг ангилахдаа гарамгай байдгийг харуулж байна. Түүгээр ч зогсохгүй, бид олсон үр дүнг график идэвхтэй сургалтын [11,15] дахь хүйтэн эхлэх асуудлыг багасгахад хэрхэн ашиглаж болохыг харуулж, бидний хүрээ, үр дүнгийн практик үр дагаврыг онцлон харуулав.