Một cách mới để huấn luyện AI trên dữ liệu đồ thị mà không cần giám sát

Tác giả: Zhen Peng Wenbing Huang Minnan Luo Qinghua Zheng Yu Rong Tingyang Xu Junzhou Huang TÓM TẮT Sự phong phú về nội dung của các mạng thông tin đa dạng như mạng xã hội và mạng truyền thông mang lại tiềm năng chưa từng có để học các biểu diễn biểu cảm chất lượng cao mà không cần giám sát bên ngoài. Bài báo này điều tra cách bảo tồn và trích xuất thông tin phong phú từ dữ liệu có cấu trúc đồ thị vào không gian nhúng một cách không giám sát. Vì mục đích này, chúng tôi đề xuất một khái niệm mới, Thông tin Tương hỗ Đồ thị (GMI), để đo lường sự tương quan giữa các đồ thị đầu vào và các biểu diễn ẩn cấp cao. GMI khái quát hóa ý tưởng về các phép tính thông tin tương hỗ thông thường từ không gian vector sang miền đồ thị, nơi việc đo lường thông tin tương hỗ từ hai khía cạnh đặc trưng nút và cấu trúc tô pô là không thể thiếu. GMI thể hiện một số lợi ích: Thứ nhất, nó bất biến đối với phép biến đổi đẳng cấu của các đồ thị đầu vào—một ràng buộc không thể tránh khỏi trong nhiều thuật toán học biểu diễn đồ thị hiện có; Bên cạnh đó, nó có thể được ước tính và tối đa hóa một cách hiệu quả bằng các phương pháp ước tính thông tin tương hỗ hiện tại như MINE; Cuối cùng, phân tích lý thuyết của chúng tôi xác nhận tính đúng đắn và hợp lý của nó. Với sự trợ giúp của GMI, chúng tôi phát triển một mô hình học không giám sát được huấn luyện bằng cách tối đa hóa GMI giữa đầu vào và đầu ra của một bộ mã hóa đồ thị thần kinh. Các thí nghiệm đáng kể về phân loại nút truyền cả và cảm ứng cũng như dự đoán liên kết cho thấy phương pháp của chúng tôi vượt trội hơn các đối thủ không giám sát hiện đại, và đôi khi thậm chí còn vượt qua hiệu suất của các phương pháp có giám sát. 1 GIỚI THIỆU Để đạt được phân tích định lượng đáng tin cậy cho các mạng thông tin đa dạng, học biểu diễn chất lượng cao cho dữ liệu có cấu trúc đồ thị đã trở thành một trong những chủ đề hấp dẫn hiện nay. Các phương pháp gần đây hướng tới mục tiêu này, thường được phân loại là Mạng Thần kinh Đồ thị (GNN), đã đạt được những tiến bộ đáng kể trong rất nhiều tác vụ học tập, chẳng hạn như phân loại nút [ , , ], dự đoán liên kết [ , , ], căn chỉnh đồ thị [ , , ], tạo phân tử [ , , ], chỉ kể tên một vài. Mặc dù có tiến bộ tốt đẹp, việc huấn luyện GNN trong các phương pháp hiện có thường yêu cầu một dạng giám sát nào đó. Chắc chắn, thông tin gắn nhãn rất tốn kém để có được—chú thích thủ công hoặc trả phí để được phép, và thậm chí không thể đạt được do chính sách bảo mật. Chưa kể đến độ tin cậy của các nhãn được cung cấp đôi khi còn đáng ngờ. Do đó, làm thế nào để đạt được biểu diễn đồ thị chất lượng cao mà không cần giám sát trở nên cần thiết cho rất nhiều trường hợp thực tế, điều này thúc đẩy nghiên cứu của bài báo này. 35 42 50 26 27 49 12 19 43 4 5 46 Qua việc xem xét cẩn thận dữ liệu có cấu trúc đồ thị mà chúng tôi thu thập, chúng tôi nhận thấy rằng chúng thường đến từ nhiều nguồn khác nhau như mạng xã hội, mạng trích dẫn và mạng truyền thông, nơi có vô số thông tin cả về nội dung và liên kết. Ví dụ, dữ liệu trên nhiều nền tảng xã hội như Twitter, Flickr và Facebook bao gồm các đặc điểm của người dùng, *ví dụ:* thông tin cá nhân cơ bản, văn bản, hình ảnh, IP và mối quan hệ của họ, *ví dụ:* mua cùng một mặt hàng, là bạn bè. Những dữ liệu nội dung phong phú này đủ để hỗ trợ các tác vụ khai thác tiếp theo mà không cần hướng dẫn bổ sung: nếu hai thực thể có sự tương đồng cực độ về đặc điểm, có khả năng cao là có một liên kết giữa chúng (dự đoán liên kết), và chúng có khả năng thuộc cùng một danh mục (phân loại); nếu hai thực thể đều liên kết với cùng một thực thể, chúng có thể có các đặc điểm tương tự nhau (khuyến nghị). Theo nghĩa này, việc bảo tồn và trích xuất càng nhiều thông tin càng tốt từ các mạng thông tin vào không gian nhúng tạo điều kiện thuận lợi cho việc học các biểu diễn biểu cảm chất lượng cao thể hiện hiệu suất mong muốn trong các tác vụ khai thác mà không cần bất kỳ hình thức giám sát nào. Học biểu diễn đồ thị không giám sát là một lựa chọn thuận lợi hơn trong nhiều trường hợp do không cần nhãn, đặc biệt khi chúng ta có ý định tận dụng lượng lớn dữ liệu chưa được gắn nhãn trong thực tế. Để kế thừa trọn vẹn thông tin phong phú trong đồ thị, trong bài báo này, chúng tôi thực hiện nhúng đồ thị dựa trên việc tối đa hóa Thông tin Tương hỗ (MI), lấy cảm hứng từ thành công thực nghiệm của phương pháp Deep Info-Max [ ] hoạt động trên ảnh. Để khám phá các biểu diễn hữu ích, Deep InfoMax huấn luyện bộ mã hóa để tối đa hóa MI giữa các đầu vào của nó (tức là, các hình ảnh) và đầu ra (tức là, các vector ẩn). Khi xem xét Deep InfoMax trong miền đồ thị, hòn đá đầu tiên chúng ta cần vượt qua là làm thế nào để định nghĩa MI giữa đồ thị và các vector ẩn, trong khi cấu trúc của đồ thị phức tạp hơn nhiều so với hình ảnh (xem Hình Một trong những thách thức là đảm bảo hàm MI giữa biểu diễn ẩn của mỗi nút và các đặc trưng đầu vào lân cận của nó tuân theo tính chất đối xứng, hoặc tương đương, bất biến đối với các hoán vị của các vùng lân cận. Là một công trình gần đây xem xét MI, Deep Graph Infomax (DGI) [ ] đầu tiên nhúng một đồ thị đầu vào và một đồ thị bị hỏng tương ứng, sau đó tóm tắt đồ thị đầu vào thành một vector thông qua một hàm đọc, cuối cùng tối đa hóa MI giữa vector tóm tắt này và các biểu diễn ẩn bằng cách phân biệt đồ thị đầu vào (mẫu dương) với đồ thị bị hỏng (mẫu âm). Hình cung cấp một cái nhìn tổng quan dễ hiểu về DGI. Việc tối đa hóa loại MI này được chứng minh là tương đương với việc tối đa hóa MI giữa các đặc trưng nút đầu vào và các vector ẩn, nhưng sự tương đương này giữ vững dưới một số điều kiện đặt trước, *ví dụ:* hàm đọc phải là đơn ánh, điều này dường như bị hạn chế quá mức trong các trường hợp thực tế. Ngay cả khi chúng ta có thể đảm bảo sự tồn tại của hàm đọc đơn ánh bằng một số thiết kế nhất định, *ví dụ:* hàm được sử dụng trong DeepSets [ ], khả năng đơn ánh của hàm đọc cũng bị ảnh hưởng bởi cách các tham số của nó được huấn luyện. Điều đó có nghĩa là một hàm vốn dĩ đơn ánh vẫn có nguy cơ trở thành không đơn ánh nếu nó được huấn luyện mà không có bất kỳ sự giám sát bên ngoài nào. Và nếu hàm đọc không đơn ánh, thông tin đồ thị đầu vào chứa trong vector tóm tắt sẽ giảm đi khi kích thước của đồ thị tăng lên. Hơn nữa, DGI vẫn ở mức tối đa hóa MI cấp đồ thị/bản vá thô. Do đó, DGI không đảm bảo rằng bộ mã hóa có thể chắt lọc đủ thông tin từ dữ liệu đầu vào vì nó không bao giờ liên kết một cách tinh vi các biểu diễn ẩn với đầu vào gốc của chúng. 20 1). 41 1 47 Trong bài báo này, chúng tôi đưa ra một cách tiếp cận đơn giản hơn để xem xét MI về cấu trúc đồ thị mà không sử dụng bất kỳ hàm đọc hay hàm làm hỏng nào. Chúng tôi trực tiếp suy ra MI bằng cách so sánh đầu vào (tức là, đồ thị con bao gồm vùng lân cận đầu vào) và đầu ra (tức là, biểu diễn ẩn của mỗi nút) của bộ mã hóa. Và điều thú vị là, các suy luận lý thuyết của chúng tôi chứng minh rằng MI được xây dựng trực tiếp có thể được phân tách thành tổng có trọng số của các MI cục bộ giữa mỗi đặc trưng lân cận và vector ẩn. Theo cách này, chúng tôi đã phân tách các đặc trưng đầu vào và làm cho việc tính toán MI trở nên khả thi. Hơn nữa, dạng MI này có thể dễ dàng thỏa mãn tính chất đối xứng nếu chúng ta điều chỉnh các giá trị trọng số. Chúng tôi sẽ trình bày chi tiết hơn trong § Vì MI nói trên chủ yếu được đo lường ở cấp độ đặc trưng nút, chúng tôi gọi nó là Thông tin Tương hỗ Đặc trưng (FMI). 3.1. Hai vấn đề còn lại về FMI: **1.** trọng số kết hợp vẫn chưa biết và **2.** nó không tính đến cấu trúc tô pô (tức là, các đặc trưng cạnh). Để giải quyết thêm hai vấn đề này, chúng tôi định nghĩa phép đo Thông tin Tương hỗ Đồ thị (GMI) của mình dựa trên FMI. Đặc biệt, GMI áp dụng cách gán giá trị trực quan bằng cách đặt các trọng số trong FMI bằng với khoảng cách giữa mỗi nút lân cận và nút mục tiêu trong không gian biểu diễn. Để giữ lại thông tin cấu trúc tô pô, GMI tiếp tục liên kết các trọng số này với các đặc trưng cạnh đầu vào thông qua một thuật ngữ thông tin tương hỗ bổ sung. GMI kết quả là bất biến về mặt tô pô và cũng có thể tính toán được bằng Phương pháp Ước tính Mạng Thông tin Tương hỗ (MINE) Những đóng góp chính của công trình của chúng tôi như sau: . • * *: Chúng tôi khái quát hóa việc ước tính MI thông thường sang miền đồ thị và do đó đề xuất một khái niệm mới về Thông tin Tương hỗ Đồ thị (GMI). GMI không có Khái niệm nguy cơ tiềm ẩn do hàm đọc gây ra vì nó xem xét MI giữa các đồ thị đầu vào và các nhúng cấp cao một cách trực tiếp. • * *: Thông qua phân tích lý thuyết của mình, chúng tôi đưa ra một dạng GMI có thể tính toán và khả thi, phân tách Thuật toán toàn bộ GMI thành tổng có trọng số của các MI cục bộ. Với sự trợ giúp của phương pháp MINE, việc tối đa hóa GMI có thể dễ dàng đạt được ở cấp độ nút. • * *: Chúng tôi xác minh hiệu quả của GMI trên một số tác vụ phân loại nút và dự đoán liên kết phổ biến Kết quả thực nghiệm bao gồm cả truyền và cảm ứng. Các thí nghiệm cho thấy phương pháp của chúng tôi mang lại hiệu suất đầy hứa hẹn trên nhiều điểm chuẩn và đôi khi còn vượt qua cả các đối thủ có giám sát. 2 CÔNG VIỆC LIÊN QUAN Phù hợp với trọng tâm của công trình của chúng tôi, chúng tôi xem xét ngắn gọn các công trình trước đây trong hai lĩnh vực sau: **1.** ước tính thông tin tương hỗ, và **2.** mạng thần kinh để học biểu diễn trên đồ thị. **Ước tính thông tin tương hỗ**. Vì nguyên lý InfoMax [ ] chủ trương tối đa hóa MI giữa đầu vào và đầu ra của mạng thần kinh, nhiều phương pháp như thuật toán ICA [ , ] cố gắng áp dụng ý tưởng MI vào việc học đặc trưng không giám sát. Tuy nhiên, các phương pháp này không dễ dàng khái quát hóa cho mạng thần kinh sâu do khó khăn trong việc tính toán MI giữa các biến liên tục nhiều chiều. May mắn thay, Ước tính Mạng Thông tin Tương hỗ (MINE) [ ] làm cho việc ước tính MI trên mạng thần kinh sâu trở nên khả thi bằng cách huấn luyện một mạng thống kê như một bộ phân loại để phân biệt các mẫu đến từ phân phối kết hợp và tích của các phân phối biên của hai biến ngẫu nhiên. Cụ thể, MINE sử dụng công thức MI dựa trên KL chính xác, trong khi một giải pháp thay thế không phải KL, độ lệch Jensen-Shannon (JSD) [ ], có thể được sử dụng mà không cần lo lắng về giá trị chính xác của MI. 3 1 21 2 30 **Mạng thần kinh cho học biểu diễn đồ thị**. Với sự phát triển nhanh chóng của mạng thần kinh đồ thị (GNN), một số lượng lớn các thuật toán học biểu diễn đồ thị dựa trên GNN đã được đề xuất trong những năm gần đây, thể hiện hiệu suất mạnh mẽ hơn các phương pháp nhúng dựa trên walk ngẫu nhiên và phân tích thừa truyền thống [ , , , , ]. Thông thường, các phương pháp này có thể được chia thành các loại có giám sát và không giám sát. Trong số đó, có một kho tài liệu phong phú về học biểu diễn có giám sát trên đồ thị [ , , , , ]. Mặc dù có sự khác biệt về kiến trúc mạng, chúng đạt được thành công thực nghiệm với sự trợ giúp của nhãn, những nhãn này thường không thể truy cập được trong các tình huống thực tế. Trong trường hợp này, các phương pháp học đồ thị không giám sát [ , , ] có tiềm năng ứng dụng rộng rãi hơn. Phương pháp nổi tiếng là GraphSAGE [ ], một khuôn khổ cảm ứng để huấn luyện GNN bằng mục tiêu dựa trên walk ngẫu nhiên trong cài đặt không giám sát của nó. Và gần đây, DGI [ ] áp dụng ý tưởng tối đa hóa MI vào miền đồ thị và đạt được hiệu suất mạnh mẽ theo mẫu không giám sát. Tuy nhiên, DGI thực hiện tối đa hóa ở mức độ thô (tức là, tối đa hóa MI ở cấp độ đồ thị/bản vá) khiến việc bảo tồn thông tin tinh tế trong đồ thị đầu vào trở nên khó khăn. Bên cạnh đó, điều kiện áp đặt lên hàm đọc được sử dụng trong DGI có vẻ bị hạn chế quá mức trong các trường hợp thực tế. Ngược lại, chúng tôi tập trung vào việc loại bỏ hạn chế của hàm đọc và đạt được tối đa hóa thông tin tương hỗ đồ thị ở cấp độ nút bằng cách trực tiếp tối đa hóa MI giữa đầu vào và đầu ra của bộ mã hóa. Các biểu diễn có nguồn gốc từ phương pháp của chúng tôi tinh vi hơn trong việc giữ lại thông tin đồ thị đầu vào, đảm bảo tiềm năng của nó cho các tác vụ khai thác đồ thị hạ nguồn, ví dụ, phân loại nút, dự đoán liên kết và khuyến nghị. 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 3 THÔNG TIN TƯƠNG HỖ ĐỒ THỊ: ĐỊNH NGHĨA VÀ TỐI ĐA HÓA Trước khi đi sâu hơn, chúng tôi trước tiên cung cấp các khái niệm sơ bộ được sử dụng trong bài báo này. Gọi G = (V, E) là một đồ thị với *N* nút *vi* ∈ V và các cạnh *eij* = (*vi* , *vj*) ∈ E. Các đặc trưng nút, với phân phối xác suất thực nghiệm *P* giả định, được cho bởi *X* ∈ R*N* ×*D* = {*x* 1, · · · , *x* *N* } trong đó *xi* ∈ R*D* là đặc trưng cho nút *vi*. Ma trận kề *A* ∈ R*N* ×*N* biểu thị các kết nối cạnh, trong đó *Aij* liên quan đến cạnh *eij* có thể là một số thực hoặc một vector đa chiều1. Mục tiêu của học biểu diễn đồ thị là học một bộ mã hóa *f* : R*N* ×*D* × R*N* ×*N* → R*N* ×*D*' , sao cho các vector ẩn *H* = {*h*1, · · · , *h* *N* } = *f* (*X* , *A*) chỉ ra các biểu diễn cấp cao cho tất cả các nút. Quá trình mã hóa có thể được viết lại ở dạng từng nút. Để minh họa điều này, chúng tôi định nghĩa *Xi* và *Ai* cho nút *i* là lần lượt các đặc trưng của các nút lân cận và ma trận kề tương ứng có điều kiện trên các nút lân cận. Đặc biệt, *Xi* bao gồm tất cả các nút lân cận k-hop của *vi* với *k* ≤ *l* khi bộ mã hóa *f* là mạng GNN l-lớp, và nó bao gồm chính nút *i* nếu chúng ta thêm các vòng lặp tự vào ma trận kề. Ở đây, chúng tôi gọi đồ thị con được mở rộng bởi *Xi* và *Ai* là *đồ thị hỗ trợ* cho nút *i*, ký hiệu là G*i*. Với định nghĩa đồ thị hỗ trợ, việc mã hóa cho mỗi nút trở thành *hi* = *f* (G*i*) = *f* (*Xi* , *Ai*). **Khó khăn trong việc định nghĩa thông tin tương hỗ đồ thị**. Trong Deep InfoMax [ ], mục tiêu huấn luyện của bộ mã hóa là tối đa hóa MI giữa đầu vào và đầu ra của nó. MI được ước tính bằng cách sử dụng một mạng thống kê làm bộ phân biệt để phân loại các mẫu đến từ phân phối kết hợp và các mẫu lấy từ tích của các phân phối biên. Một cách tự nhiên, khi áp dụng ý tưởng của Deep InfoMax cho đồ thị, chúng ta nên tối đa hóa MI giữa biểu diễn *hi* và đồ thị hỗ trợ G*i* cho mỗi nút. Chúng tôi ký hiệu MI đồ thị như vậy là *I* (*hi* ; G*i*). Tuy nhiên, việc định nghĩa I (*hi* ; Gi) không hề đơn giản. Các khó khăn bao gồm: 20 • MI đồ thị nên bất biến đối với chỉ số nút. Nói cách khác, chúng ta nên có *I* (*hi* ; G*i*) = *I* (*hi* ; G′*i*), nếu G*i* và G′*i* đẳng cấu với nhau. • Nếu chúng ta sử dụng phương pháp MINE để tính toán MI, bộ phân biệt trong MINE chỉ chấp nhận đầu vào có kích thước cố định. Điều này lại không khả thi đối với G*i* vì các G*i* khác nhau thường bao gồm số lượng nút khác nhau và do đó có kích thước khác nhau. Để giải quyết vấn đề định nghĩa thông tin tương hỗ đồ thị, phần này bắt đầu bằng cách giới thiệu khái niệm Thông tin Tương hỗ Đặc trưng (FMI) chỉ dựa vào các đặc trưng nút. Dựa trên sự phân tách của FMI, chúng tôi sau đó định nghĩa Thông tin Tương hỗ Đồ thị (GMI), xem xét cả đặc trưng nút và 3.1 THÔNG TIN TƯƠNG HỖ ĐẶC TRƯNG Chúng tôi ký hiệu phân phối xác suất thực nghiệm của các đặc trưng nút *Xi* là *p*(*Xi*), xác suất của *hi* là *p*(*hi*), và phân phối kết hợp là *p*(*hi* , *Xi*). Theo lý thuyết thông tin, MI giữa *hi* và *Xi* được định nghĩa là Điều thú vị là, chúng ta có định lý phân tách thông tin tương hỗ sau đây để tính toán *I* (*hi* ; *Xi*). Định lý 1 (Phân tách Thông tin Tương hỗ). *Nếu xác suất có điều kiện p*(*hi* |*Xi*) *là nhân (xem định nghĩa về nhân trong [ ]), thì thông tin tương hỗ toàn cục I* (*hi* ; *Xi*) *được định nghĩa trong Eq.* *có thể được phân tách thành tổng có trọng số của các MI cục bộ, cụ thể là,* 36 (1) *trong đó, xj là nút lân cận thứ j của nút i, in là số lượng tất cả các phần tử trong Xi, và trọng số wij thỏa mãn* ≤ *wij* ≤ 1 *cho mỗi j.* 1 Để chứng minh định lý trên, chúng ta trước tiên giới thiệu hai bổ đề và một định nghĩa. Bổ đề 1. *Đối với bất kỳ biến ngẫu nhiên nào X, Y và Z, ta có* Với sự phân tách trong Định lý chúng ta có thể tính toán vế phải của Eq. thông qua MINE vì các đầu vào của bộ phân biệt giờ đây trở thành các cặp ( , *xj*) có kích thước luôn giữ nguyên (tức là, *D*' -by-*D*). Hơn nữa, chúng ta có thể điều chỉnh trọng số để phản ánh phép biến đổi đẳng cấu của các đồ thị đầu vào. Ví dụ, nếu *Xi* chỉ chứa các nút lân cận một lần của nút *i*, việc đặt tất cả các trọng số bằng nhau sẽ dẫn đến cùng một MI cho các nút đầu vào theo các thứ tự khác nhau. 1, (2) hi Mặc dù có một số lợi ích từ việc phân tách, rất khó để mô tả chính xác các giá trị của trọng số vì chúng liên quan đến các giá trị của *I* (*hi* ; *xj*) và phân phối xác suất cơ bản của chúng. Một cách đơn giản là đặt tất cả các trọng số bằng , sau đó tối đa hóa vế phải của Eq. tương đương với việc tối đa hóa cận dưới của *I* (*hi* ; *Xi*), nhờ đó FMI thực sự cũng được tối đa hóa ở một mức độ nào đó. Bên cạnh phương pháp này, chúng tôi cung cấp thêm một giải pháp nâng cao hơn bằng cách xem xét các trọng số như các cơ chế chú ý có thể huấn luyện, đó là chủ đề trong phần tiếp theo. 1 (2) Lấy cảm hứng từ sự phân tách trong Định lý chúng tôi cố gắng xây dựng các trọng số có thể huấn luyện từ khía cạnh khác của đồ thị (tức là, 3.2 THÔNG TIN TƯƠNG HỖ NHẬN BIẾT CẤU TRÚC TÔ PÔ 1, quan điểm tô pô) để các giá trị của *wij* có thể linh hoạt hơn và nắm bắt thuộc tính nội tại của đồ thị. Cuối cùng, chúng tôi suy ra định nghĩa về Thông tin Tương hỗ Đồ thị (GMI). Định nghĩa 2 (Thông tin Tương hỗ Đồ thị). *MI giữa vector ẩn h và đồ thị hỗ trợ của nó* G = (*X* , *A*) *được định nghĩa là* trong đó định nghĩa của cả xj và in đều giống như Định lý 1, aij là trọng số/đặc trưng cạnh trong ma trận kề A, và σ (·) là hàm sigmoid. Một cách trực quan, trọng số wij trong số hạng đầu tiên của Eq. (10) đo lường sự đóng góp của một MI cục bộ vào MI toàn cục. Chúng tôi thực hiện sự đóng góp của I (*hi* ; *xj*) bằng sự tương tự giữa các biểu diễn hi và hj (tức là, wij = σ (*hThj* )). Trong khi đó, số hạng I (*wij* ; *aij*) tối đa hóa MI giữa wij và trọng số/đặc trưng cạnh của đồ thị đầu vào (tức là, *aij*) để buộc *wij* tuân theo các mối quan hệ tô pô. Theo nghĩa này, mức độ đóng góp sẽ nhất quán với khoảng cách trong cấu trúc tô pô, điều này thường được chấp nhận là một thực tế rằng *wij* có thể lớn hơn nếu nút *j* "gần" nút *i* hơn và nhỏ hơn nếu ngược lại. Chiến lược này bù đắp cho nhược điểm là FMI chỉ tập trung vào các đặc trưng nút và làm cho các MI cục bộ đóng góp một cách thích ứng vào MI toàn cục. Để hiểu rõ hơn ý tưởng chú ý trong chiến lược này, bạn có thể tham khảo GCN dựa trên chú ý. Lưu ý rằng định nghĩa của Eq. (10) áp dụng cho các trường hợp tổng quát. Đối với các tình huống cụ thể, chúng ta có thể sửa đổi nhẹ Eq. (10) để tăng hiệu quả. Ví dụ, khi xử lý các đồ thị không trọng số (nghĩa là, giá trị cạnh là 1 nếu được kết nối và 0 nếu không), chúng ta có thể thay thế thuật ngữ MI thứ hai I (*wij* ; *aij*) bằng một hàm mất entropy chéo âm. Việc giảm thiểu hàm mất entropy cũng đóng góp vào việc tối đa hóa MI và mang lại phép tính hiệu quả hơn. Chúng tôi sẽ trình bày chi tiết hơn trong phần tiếp theo. Nhìn chung, có một số lợi ích từ định nghĩa của Eq. (10). Đầu tiên, loại MI này bất biến đối với phép biến đổi đẳng cấu của các đồ thị đầu vào. Thứ hai, nó có thể tính toán được vì mỗi thành phần ở vế phải có thể được ước tính bằng MINE. Quan trọng hơn, GMI mạnh hơn DGI trong việc nắm bắt thông tin đầu vào gốc do sự tương quan rõ ràng giữa các vector ẩn và các đặc trưng đầu vào của cả nút và cạnh ở cấp độ nút chi tiết. 3.3 TỐI ĐA HÓA GMI Bây giờ chúng ta trực tiếp tối đa hóa vế phải của Eq. với sự trợ giúp của MINE. Lưu ý rằng MINE ước tính một cận dưới của MI với biểu diễn Donsker-Varadhan (DV) của độ lệch KL giữa phân phối kết hợp và tích của các phân phối biên. Vì chúng ta tập trung nhiều hơn vào việc tối đa hóa MI thay vì thu được giá trị chính xác của nó, các giải pháp thay thế không phải KL khác như bộ ước tính MI Jensen-Shannon (JSD) [ ] và bộ ước tính Contrastive (infoNCE) [ ] có thể được sử dụng để thay thế. Dựa trên kết quả thực nghiệm và phân tích trong [ ], chúng tôi sử dụng bộ ước tính JSD trong bài báo này vì mục đích hiệu quả và tiện lợi, vì bộ ước tính infoNCE nhạy cảm với các chiến lược lấy mẫu âm (số lượng mẫu âm) do đó có thể trở thành một nút thắt cổ chai cho các tập dữ liệu lớn với bộ nhớ khả dụng cố định. Ngược lại, bộ ước tính JSD không nhạy cảm với các chiến lược lấy mẫu âm và hiệu suất đáng nể của nó trên nhiều tác vụ làm cho nó phù hợp hơn với nhiệm vụ của chúng tôi. Cụ thể, chúng tôi tính toán *I* (*hi* ; *xj*) trong số hạng đầu tiên của Eq. bằng (10) 30 31 20 (10) trong đó *Dw* : *D* × *D*' → R là một bộ phân biệt được xây dựng bởi một mạng thần kinh có tham số *w*. *xj* là một mẫu âm được lấy từ P = P, và *sp*( *x* ) = *loд*(1 + *ex*) biểu thị hàm soft-plus. Như đã đề cập trong § chúng tôi tối đa hóa *I* (*wij* ; *aij*) bằng cách tính toán hàm mất entropy chéo của nó thay vì sử dụng bộ ước tính JSD vì các đồ thị mà chúng tôi xử lý trong các thí nghiệm là không trọng số. Về mặt hình thức, chúng tôi tính toán 3.2, Bằng cách tối đa hóa I (*hi* ; *Gi*) với tổng của Eq. (11) và Eq. (12) trên tất cả các vector ẩn H, chúng ta đi đến hàm mục tiêu hoàn chỉnh của chúng ta để tối ưu hóa GMI. Bên cạnh đó, chúng ta có thể thêm các tham số cân bằng để cân bằng Eq. (11) và (12) để linh hoạt hơn. 4 THÍ NGHIỆM Trong phần này, chúng tôi đánh giá hiệu suất của GMI trên hai tác vụ phổ biến: phân loại nút (truyền và cảm ứng) và dự đoán liên kết. Một so sánh tương đối công bằng bổ sung giữa GMI và hai thuật toán không giám sát khác (EP-B và DGI) tiếp tục thể hiện hiệu quả của nó. Ngoài ra, chúng tôi cung cấp hình ảnh hóa các biểu đồ t-SNE và phân tích ảnh hưởng của độ sâu mô hình. 4.1 TẬP DỮ LIỆU Để đánh giá chất lượng của phương pháp của chúng tôi trong mỗi tác vụ, chúng tôi sử dụng 4 hoặc 5 tập dữ liệu chuẩn thường được sử dụng trong các công trình trước đây [ , , Các thống kê chi tiết được trình bày trong Bảng 16 25 41]. 1. Trong tác vụ phân loại, Cora, Citeseer và PubMed [ ]2 là các mạng trích dẫn, trong đó các nút tương ứng với các tài liệu và các cạnh đại diện cho các trích dẫn. Mỗi tài liệu được liên kết với một vector biểu diễn túi từ và thuộc về một trong các lớp được xác định trước. Theo thiết lập truyền thống trong [ , ], việc huấn luyện được thực hiện trên tất cả các nút và 1000 nút kiểm tra được sử dụng để đánh giá. Reddit3 là một mạng xã hội lớn bao gồm nhiều bài đăng Reddit được kết nối với nhau được tạo ra trong tháng 9 năm 2014 [ ]. Các bài đăng được coi là nút và các cạnh có nghĩa là cùng một người dùng bình luận. 38 25 41 16 ![ Bảng 1: Thống kê các tập dữ liệu được sử dụng trong các thí nghiệm. ](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-eph3eec.jpeg) Nhãn lớp là cộng đồng và mục tiêu của chúng tôi là dự đoán các bài đăng khác nhau thuộc về cộng đồng nào. PPI3 là một tập dữ liệu tương tác protein-protein bao gồm nhiều đồ thị liên quan đến các mô khác nhau [ ]. Các bộ gen vị trí, bộ gen mô và chữ ký miễn dịch được coi là các đặc trưng nút và mỗi nút có tổng cộng 121 nhãn được cung cấp bởi các bộ gen học. Mục tiêu của chúng tôi là phân loại các chức năng protein có thể thuộc nhiều thể loại trên các đồ thị PPI khác nhau. Theo thiết lập cảm ứng trong [ ], trên Reddit, chúng tôi đưa các bài đăng trong 20 ngày đầu tiên vào mô hình để huấn luyện, trong khi phần còn lại được sử dụng để kiểm tra (với 30% dùng để xác thực); trên PPI, có 20 đồ thị để huấn luyện, 2 để xác thực và 2 để kiểm tra. Cần nhấn mạnh rằng, đối với Reddit và PPI, việc kiểm tra được thực hiện trên các nút và đồ thị chưa thấy (chưa được huấn luyện), trong khi ba tập dữ liệu đầu tiên được sử dụng để học truyền. 52 16 Trong tác vụ dự đoán liên kết, BlogCatalog4 là một trang web blog xã hội nơi những người viết blog theo dõi lẫn nhau và đăng ký blog của họ dưới các danh mục được xác định trước. Các thẻ của blog được coi là đặc trưng nút. Flickr4 là một trang web chia sẻ ảnh nơi người dùng tương tác với những người khác và hình thành một mạng xã hội. Người dùng tải lên ảnh với 9 lớp được xác định trước và chọn các thẻ đính kèm để phản ánh sở thích của họ, cung cấp thông tin thuộc tính. Mô tả về Cora và PPI bị bỏ qua để cho ngắn gọn. Theo cài đặt thử nghiệm và các chỉ số đánh giá trong, cho một đồ thị với một phần các cạnh bị xóa, chúng tôi nhằm mục đích dự đoán các liên kết bị thiếu này. Đối với Cora, BlogCatalog và Flickr, chúng tôi ngẫu nhiên xóa 20%, 50% và 70% các cạnh trong khi đảm bảo rằng phần còn lại của mạng sau khi xóa cạnh được kết nối và sử dụng mạng bị hỏng để huấn luyện. Về PPI, chúng tôi trực tiếp coi một phần các cạnh không được thấy trong quá trình huấn luyện là mục tiêu dự đoán thay vì xóa cạnh do con người tạo ra. 4.2 CÀI ĐẶT THÍ NGHIỆM **Thiết kế bộ mã hóa**. Chúng tôi sử dụng mô hình Mạng Tích chập Đồ thị (GCN) tiêu chuẩn với quy tắc lan truyền theo lớp sau đây làm bộ mã hóa cho cả hai tác vụ phân loại và dự đoán liên kết: Trong đó Aˆ = D -1/2AD - 1/2A = A + In, Dii = Aij, H (1) và H (I + 1) là ma trận đầu vào và đầu ra của lớp *l*, *W* (*l*) là ma trận trọng số có thể huấn luyện đặc trưng cho từng lớp. Ở đây, biến đổi phi tuyến *σ* mà chúng tôi áp dụng là hàm PReLU (ReLU tham số) [ ]. Cần thừa nhận rằng đối với nút *i*, các nút lân cận *Xi* trong đồ thị hỗ trợ Gi của nó bao gồm chính nút *i* vì các vòng lặp tự được chèn thông qua A¯. 17 Để cụ thể hơn, bộ mã hóa mà chúng tôi sử dụng trên Citeseer và PubMed là GCN một lớp với chiều đầu ra là *D*' = 512. Và trên Cora, Reddit, BlogCatalog, Flickr và PPI, chúng tôi sử dụng GCN hai lớp làm bộ mã hóa của mình. Ở đây, chúng tôi có các chiều ẩn là *D*' = 512 trong mỗi lớp GCN. Lưu ý rằng việc sử dụng bộ mã hóa GCN tương tự cho cả tác vụ phân loại truyền và cảm ứng giúp phương pháp đề xuất của chúng tôi dễ dàng theo dõi và mở rộng cho các mạng lớn hơn DGI, vì DGI phải thiết kế các bộ mã hóa khác nhau để thích ứng với các tác vụ học tập riêng biệt, đặc biệt là các bộ mã hóa được sử dụng trong các tác vụ cảm ứng quá phức tạp và rắc rối, không thân thiện với các ứng dụng thực tế. **Thiết kế bộ phân biệt**. Bộ phân biệt trong Eq. chấm điểm các cặp đặc trưng đầu vào-đầu ra thông qua một hàm song tuyến tính đơn giản, tương tự như bộ phân biệt được sử dụng trong (11) : trong đó Θ đại diện cho một ma trận chấm điểm có thể huấn luyện và hàm kích hoạt *σ* mà chúng tôi sử dụng là sigmoid với mục tiêu chuyển đổi điểm thành xác suất của ( *h* , *x* ) là một ví dụ tích cực. **Chi tiết triển khai**. Trên thực tế, đối với trọng số *wij* của số hạng đầu tiên trong Eq. , chúng tôi có hai cách để lấy giá trị của nó trong các thí nghiệm. Cách đầu tiên là giữ *wij* = *σ* (*h*T*hj* ), điều này làm cho các MI cục bộ đóng góp một cách thích ứng vào MI toàn cục, và chúng tôi gọi biến thể này là GMI-adaptive. (10) Cách khác là để *wij* = , tức là, điểm cuối bên trái của khoảng mà *wi* *j* thuộc về (tham khảo Định lý điều này có nghĩa là sự đóng góp của mỗi MI cục bộ là bằng nhau, và chúng tôi gọi biến thể này là GMI-mean. Ở đây, cả GMI-mean và GMI-adaptive đều nằm trong phạm vi so sánh với các phương pháp cơ sở. 1/in 1), Tất cả các thí nghiệm được thực hiện bằng PyTorch với khởi tạo Glorot và được tiến hành trên một GPU Tesla P40 duy nhất. Trong tiền xử lý, chúng tôi thực hiện chuẩn hóa hàng trên Cora, Citeseer, PubMed, BlogCatalog và Flickr theo, và áp dụng chiến lược xử lý trong trên Reddit và PPI. Trong quá trình huấn luyện, chúng tôi sử dụng Trình tối ưu hóa Adam với quá trình huấn luyện ban đầu là 0.001 trên tất cả bảy tập dữ liệu. Được đề xuất bởi, chúng tôi áp dụng chiến lược dừng sớm với cửa sổ kích thước 20 trên Cora, Citeseer và PubMed, trong khi huấn luyện mô hình trong một số lượng cố định các epoch trên các tập dữ liệu cảm ứng (20 trên Reddit, 50 trên PPI). Số lượng mẫu âm được đặt là 5. Do quy mô lớn của Reddit và PPI, chúng tôi cần sử dụng kỹ năng lấy mẫu con được giới thiệu trong [ ] để chúng phù hợp với bộ nhớ GPU. Chi tiết, một mini-batch gồm 256 nút trước tiên được chọn, và sau đó đối với mỗi nút được chọn, chúng tôi lấy mẫu đồng nhất 8 và 5 nút lân cận ở vùng lân cận cấp một và cấp hai của nó, tương ứng. Chúng tôi sử dụng vùng lân cận một lần để xây dựng đồ thị hỗ trợ trong các thí nghiệm và sử dụng *XW*(0) (tức là, đặc trưng đầu vào đã nén) để tính FMI vì sử dụng đặc trưng đầu vào gốc *X* gây ra tràn bộ nhớ GPU. Các tham số cân bằng được điều chỉnh trong khoảng để cân bằng Eq. và Eq. . Chiến lược Chuẩn hóa Lô được sử dụng để huấn luyện mô hình của chúng tôi trên Reddit và PPI. 16 (11) (12) **Chỉ số đánh giá**. Đối với tác vụ phân loại, chúng tôi cung cấp các nhúng đã học trên tập huấn luyện cho bộ phân loại hồi quy logistic và đưa ra kết quả trên các nút kiểm tra [ , ]. Cụ thể, trong học truyền, chúng tôi áp dụng độ chính xác phân loại trung bình sau 50 lần chạy để đánh giá hiệu suất, trong khi điểm F1 trung bình hóa theo micro sau 50 lần chạy được sử dụng trong học cảm ứng. Và đối với PPI, theo đề xuất của [ ], chúng tôi chuẩn hóa các nhúng đã học trước khi đưa chúng vào bộ phân loại hồi quy logistic. Đối với tác vụ dự đoán liên kết, tiêu chí chúng tôi áp dụng là AUC, là diện tích dưới đường cong ROC. Các mẫu âm tham gia vào việc tính toán AUC được tạo ra bằng cách chọn ngẫu nhiên một số lượng cặp nút bằng nhau không có kết nối trong đồ thị gốc. Điểm AUC càng gần 1 thì hiệu suất của thuật toán càng tốt. Tương tự, chúng tôi báo cáo điểm AUC trung bình sau 10 lần chạy. 16 25 41 4.3 PHÂN LOẠI **Học truyền**. Bảng báo cáo độ chính xác phân loại trung bình của phương pháp của chúng tôi và các phương pháp cơ sở khác trên các tác vụ truyền. Ở đây, kết quả cho EP-B [ ], DGI [ ], Planetoid-T [ ], GAT [ ], cũng như GWNN [ ] được lấy từ các bài báo gốc của chúng, và kết quả cho DeepWalk [ ], LP (Label Propagation) [ ], và GCN [ ] được sao chép từ Kipf & Welling [ ]. Đối với các đặc trưng thô, chúng tôi đưa chúng vào bộ phân loại hồi quy logistic để huấn luyện và đưa ra kết quả trên các đặc trưng kiểm tra5. Mặc dù chúng tôi cung cấp kết quả thử nghiệm của cả phương pháp có giám sát và không giám sát, trong bài báo này, chúng tôi tập trung nhiều hơn vào việc so sánh với các phương pháp không giám sát phù hợp với cài đặt của chúng tôi. 2 11 41 45 40 44 33 51 25 25 Như có thể quan sát thấy, GMI-mean và GMI-adaptive được đề xuất của chúng tôi, so với các phương pháp không giám sát khác, đạt được độ chính xác phân loại tốt nhất trên cả ba tập dữ liệu. Chúng tôi cho rằng hiệu suất mạnh mẽ này bắt nguồn từ ý tưởng cố gắng trực tiếp tối đa hóa MI đồ thị giữa các cặp đầu vào và đầu ra của bộ mã hóa E ở cấp độ nút chi tiết. Do đó, biểu diễn được mã hóa tối đa hóa việc bảo tồn thông tin về đặc trưng nút và cấu trúc tô pô trong G, góp phần vào việc phân loại. Ngược lại, EP-B bỏ qua thông tin cơ bản giữa dữ liệu đầu vào và các biểu diễn đã học, và DGI vẫn ở mức tối đa hóa MI cấp đồ thị/bản vá, điều này hạn chế khả năng bảo tồn và trích xuất thông tin đầu vào gốc của chúng vào không gian nhúng. Do đó, hiệu suất hơi yếu trên các tác vụ phân loại. Bên cạnh đó, không có sự hướng dẫn của nhãn, phương pháp của chúng tôi thể hiện kết quả tương đương với một số mô hình có giám sát như GCN và GAT, thậm chí còn tốt hơn chúng trên Citeseer và PubMed. Chúng tôi tin rằng các biểu diễn được học thông qua tối đa hóa GMI giữa đầu vào và đầu ra kế thừa thông tin phong phú trong đồ thị G, đủ cho việc phân loại. Đáng chú ý hơn là nhiều nhãn có sẵn cũng dựa trên thông tin trong G. Do đó, việc giữ lại càng nhiều thông tin càng tốt từ đầu vào có thể bù đắp cho thông tin được cung cấp bởi nhãn ở một mức độ nào đó, điều này duy trì hiệu suất của GMI trong các tác vụ khai thác đồ thị hạ nguồn. Có thể khẳng định rằng việc học từ đầu vào gốc mà không cần nhãn hứa hẹn tiềm năng cho các biểu diễn chất lượng cao hơn so với mô hình có giám sát vì sự thưa thớt cực độ của nhãn huấn luyện có thể gặp phải mối đe dọa của việc quá khớp hoặc độ chính xác của nhãn được cung cấp có thể không đáng tin cậy. **Học cảm ứng**. Bảng cũng tóm tắt điểm F1 trung bình hóa theo micro của GMI và các phương pháp cơ sở khác trên Reddit và PPI. Chúng tôi trích dẫn kết quả của DGI, GAT, FastGCN [ ], và GaAN [ ] trong các bài báo gốc của chúng, trong khi kết quả cho bảy phương pháp so sánh còn lại được trích xuất từ Hamilton et al. [ ] (ở đây chúng tôi tái sử dụng kết quả GraphSAGE không giám sát để phù hợp với cài đặt của chúng tôi). Tương tự, việc so sánh với các thuật toán không giám sát là trọng tâm của công trình của chúng tôi. 2 7 48 16 GMI-mean và GMI-adaptive vượt qua thành công tất cả các thuật toán không giám sát cạnh tranh khác trên Reddit và PPI, điều này chứng minh hiệu quả của tối đa hóa GMI trong lĩnh vực phân loại cảm ứng (tổng quát hóa cho các nút chưa thấy). Điều thú vị là, kết quả của phương pháp chúng tôi trên Reddit có tính cạnh tranh với một số mô hình có giám sát tiên tiến, nhưng tình hình trên PPI lại khá khác biệt. Sau khi tiến hành phân tích sâu hơn, chúng tôi nhận thấy rằng 42% nút có giá trị đặc trưng bằng 0 trong PPI, điều này có nghĩa là ma trận đặc trưng X rất thưa thớt [ ]. Trong trường hợp này, việc chỉ dựa vào đồ thị đầu vào G = (*X* , *A*) bị hạn chế hiệu suất của các phương pháp không giám sát bao gồm DGI và phương pháp của chúng tôi, trong khi học theo kiểu có giám sát thể hiện hiệu suất tốt hơn nhiều do thông tin phụ trợ do các nhãn bổ sung mang lại. 16 **Đánh giá trên hai biến thể của GMI**. Theo Bảng hai biến thể của GMI (GMI-mean và GMI-adaptive), sử dụng các chiến lược khác nhau để đo lường sự đóng góp của mỗi MI cục bộ (chi tiết trong § đạt được kết quả cạnh tranh với nhau, nhưng GMI-adaptive thể hiện hiệu suất yếu hơn một chút so với GMI-mean. Qua phân tích sâu hơn, chúng tôi cho rằng điều này có thể là do những khó khăn trong việc huấn luyện do bản chất của học thích ứng. Có lẽ hiệu suất của GMI-adaptive có thể được cải thiện với sự trợ giúp của một chiến lược huấn luyện tiên tiến. Theo nghĩa này, GMI-mean thực tế và khả thi hơn, do đó nó có thể được coi là một đại diện trong thực tế. 2, 4.2), 4.4 HIỆU QUẢ CỦA HÀM MỤC TIÊU Để làm rõ hơn hiệu quả của việc tối đa hóa MI đồ thị trong học biểu diễn đồ thị không giám sát và cung cấp một so sánh tương đối công bằng với DGI và EP-B (hai thuật toán không giám sát), chúng tôi thay thế hàm mục tiêu của mình bằng các hàm mất của chúng, tương ứng, trong khi giữ nguyên các cài đặt thử nghiệm khác. Bảng liệt kê kết quả theo thiết lập truyền và cảm ứng. Như có thể quan sát thấy, GMI (GMI-mean và GMI-adaptive) đạt hiệu suất mạnh mẽ hơn trên tất cả năm tập dữ liệu, điều này phản ánh DGI và EP-B thiếu một số cân nhắc trong tác vụ học biểu diễn đồ thị. Cụ thể, hàm mất EP-B chỉ áp đặt các ràng buộc cho mỗi nút và các nút lân cận của nó ở cấp độ đầu ra (không gian nhúng), nó bỏ qua sự tương tác giữa các cặp đầu vào và đầu ra của bộ mã hóa, dẫn đến khả năng kém của nó trong việc giữ lại thông tin hợp lệ trong G. Đối với DGI, mặc dù nó liên kết các biểu diễn ẩn với các đặc trưng đầu vào gốc của chúng một cách ngầm, nó thảo luận MI ở cấp độ đồ thị/bản vá, điều này hơi thô. 3 Điều thú vị là, so với DGI, FMI của chúng tôi (không có thông tin tô pô) cải thiện đáng kể hơn với sự gia tăng kích thước đồ thị. Chúng tôi quy nguyên nhân phát hiện này cho việc suy giảm hiệu suất của hàm đọc khiến DGI mất một số thông tin hữu ích cho tác vụ phân loại nút khi kích thước đồ thị tăng lên, mặc dù nó thể hiện hiệu suất tốt trên các đồ thị nhỏ như Cora và Citeseer. Khi cấu trúc tô pô của đồ thị đầu vào được phản ánh, GMI của chúng tôi vượt trội hơn tất cả các loại hàm mất khác trên tất cả các tập dữ liệu. Hơn nữa, lưu ý rằng toàn bộ quá trình huấn luyện GMI tương tự như huấn luyện bộ phân biệt trong các mô hình sinh mẫu, và GMI thể hiện tốc độ huấn luyện có thể so sánh được với EP-B và DGI trên tập dữ liệu lớn nhất Reddit, điều này chứng tỏ khả năng mở rộng tốt của nó. 4.5 DỰ ĐOÁN LIÊN KẾT Dựa trên kết quả thực nghiệm trên, chúng tôi nhận thấy DGI là một đối thủ cạnh tranh mạnh mẽ với GMI trong phạm vi các thuật toán không giám sát. Do đó, trong phần này, chúng tôi dự định điều tra sâu hơn hiệu suất của DGI và GMI trong một tác vụ khai thác khác—dự đoán liên kết. Ở đây, chúng tôi chọn FMI và GMI-mean để so sánh với DGI. Bảng báo cáo điểm AUC của chúng trên bốn tập dữ liệu khác nhau. Dưới các tỷ lệ xóa cạnh khác nhau, GMI và FMI đều vượt trội đáng kể so với DGI (ngoại trừ FMI ở 70,0% BlogCatalog), cho thấy rằng việc đo lường MI đồ thị giữa đồ thị đầu vào và các biểu diễn đầu ra theo một mẫu chi tiết có khả năng nắm bắt thông tin phong phú trong đầu vào và mang lại khả năng tổng quát hóa tốt. Về DGI, một mặt, việc tối đa hóa MI cấp đồ thị/bản vá tương đối thô của nó hạn chế hiệu suất của nó trong một tác vụ dự đoán liên kết chi tiết như vậy; mặt khác, sự không phù hợp của hàm làm hỏng làm suy yếu khả năng của DGI trong việc học các biểu diễn chính xác để dự đoán các liên kết bị thiếu. Nhắc lại rằng mẫu âm cho bộ phân biệt trong DGI được tạo ra bằng cách làm hỏng đồ thị đầu vào gốc, và một hàm làm hỏng được thiết kế tốt là không thể thiếu, đòi hỏi một số chiến lược khéo léo [ ]. Trong tác vụ này, chúng tôi vẫn sử dụng hàm xáo trộn đặc trưng cho thấy kết quả tốt nhất trong tác vụ phân loại để xây dựng các mẫu âm. Nhưng trong trường hợp đồ thị đầu vào không hoàn chỉnh về các liên kết tô pô, sự hướng dẫn được cung cấp bởi đồ thị bị hỏng này làm nhãn âm trong bộ phân biệt trở nên không đáng tin cậy do tính không chính xác của đồ thị đầu vào, dẫn đến hiệu suất kém. Do đó, sự cần thiết của hàm làm hỏng theo tác vụ là một điểm yếu của DGI. Ngược lại, GMI của chúng tôi không gặp phải vấn đề này bằng cách loại bỏ hàm làm hỏng và trực tiếp tối đa hóa MI đồ thị giữa đầu vào và đầu ra của bộ mã hóa. Hơn nữa, có thể thấy rằng FMI có tính cạnh tranh với GMI trong hầu hết các trường hợp, ngay cả trên Flickr FMI còn vượt trội hơn GMI. Chúng tôi cho rằng điều này là do lợi ích mang lại từ việc tối đa hóa thông tin tương hỗ đặc trưng trực tiếp và tỉ mỉ ở cấp độ nút. Dựa trên giả thuyết đồng nhất [ ] (tức là, các thực thể trong mạng có đặc trưng tương tự có xu hướng kết nối với nhau), thông tin đặc trưng đầu vào được bảo tồn trong các nhúng đã học làm cho FMI có khả năng suy luận các liên kết bị thiếu tốt. 4 41 29 4.6 TRỰC QUAN HÓA Để minh họa trực quan, Bảng hiển thị các biểu đồ t-SNE [ ] của các nhúng đã học trên Cora và Citeseer. Từ góc độ định tính, sự phân bố của các biểu đồ được học bởi FMI và DGI dường như tương tự nhau, và các nhúng được tạo ra bởi GMI có các cụm rõ ràng hơn so với đặc trưng thô, FMI và DGI. 5 28 Đặc biệt trên Cora, tính nhỏ gọn và khả năng phân tách của các cụm là cực kỳ rõ ràng, đại diện cho bảy danh mục chủ đề. Đối với phân tích định lượng, chúng tôi cố gắng đo lường chất lượng phân cụm bằng cách tính điểm Hệ số Silhouette [ ]. Cụ thể, chúng tôi sử dụng hàm *silhouette_score* từ gói Python scikit-learn [ ] với tất cả các cài đặt mặc định và làm theo hướng dẫn sử dụng để thực hiện đánh giá. Việc phân cụm các nhúng được học thông qua GMI đạt điểm Hệ số Silhouette là 0.425 trên Cora, 0.402 trên Citeseer và 0.385 trên PubMed, trong khi DGI đạt 0.417, 0.391, 0.373 và EP-B đạt 0.384, 0.385, 0.379 trên ba tập dữ liệu tương ứng. Cả về mặt định tính và định lượng, nó chứng minh hiệu suất tuyệt vời của GMI, điều này minh họa tính hợp lý và hiệu quả của việc tối đa hóa thông tin tương hỗ đồ thị trong học biểu diễn đồ thị không giám sát. 37 32 4.7 ẢNH HƯỞNG CỦA ĐỘ SÂU MÔ HÌNH Trong phần này, chúng tôi điều chỉnh số lượng lớp tích chập trong bộ mã hóa để điều tra ảnh hưởng của độ sâu mô hình đối với độ chính xác phân loại. Xem xét khó khăn tiềm ẩn trong việc huấn luyện mạng thần kinh sâu, theo đề xuất của [ ], chúng tôi cũng thử nghiệm với một phiên bản phần dư tương phản của mô hình GMI tiêu chuẩn, bổ sung các kết nối tắt đồng nhất giữa mỗi hai lớp ẩn để cải thiện việc huấn luyện các mạng sâu. Ở đây, chúng tôi tiếp tục có *D*' = 512 đặc trưng cho mỗi lớp ẩn và bắt đầu áp dụng các kết nối tắt đồng nhất từ lớp thứ hai vì đầu vào và đầu ra của lớp thứ nhất không có cùng kích thước. 18 Hơn nữa, so với mô hình GMI tiêu chuẩn đạt được tối đa hóa GMI giữa biểu diễn cuối cùng và đồ thị đầu vào gốc, chúng tôi xem xét một biến thể khác, gọi là GMI dày đặc, tối đa hóa GMI giữa mỗi lớp ẩn và đồ thị đầu vào. Hình cung cấp một minh họa chi tiết về kiến trúc. Các siêu tham số liên quan vẫn giữ nguyên ngoại trừ việc chúng tôi huấn luyện trong các epoch cố định (600 trên Cora và Citeseer) mà không cần dừng sớm. Kết quả được vẽ trên Hình 2 3. Một mặt, việc tăng độ sâu mô hình làm tăng đáng kể khoảng cách hiệu suất giữa các mô hình có và không có kết nối tắt. Kết quả tốt nhất cho Cora đạt được với bộ mã hóa GCN hai lớp, trong khi kết quả tốt nhất cho Citeseer đạt được với bộ mã hóa GCN một lớp. Ngoại trừ thực tế là việc tăng độ sâu mô hình làm cho việc huấn luyện mà không áp dụng các kết nối tắt trở nên khó khăn, chúng tôi cũng cho rằng thông tin lân cận xa hơn do nhiều lớp tích chập mang lại có thể là nhiễu đối với việc tự học biểu diễn. Cụ thể, khoảng cách khác nhau giữa các nút lân cận có nghĩa là các mức độ tương tự khác nhau, nếu hai nút bất kỳ cách nhau một khoảng cách nhất định, chúng có khả năng hoàn toàn khác nhau. Do đó, trong mô hình GMI tiêu chuẩn, thông tin tổng hợp từ vùng lân cận xa hơn có thể chứa nhiều nhiễu không giống với đặc trưng của chính nút đó, điều này làm giảm chất lượng của các nhúng đã học và hiệu suất phân loại tiếp theo. Ngược lại, các kết nối tắt đồng nhất bổ sung cho phép mô hình truyền thông tin của đầu vào lớp trước, điều này có thể được coi là một quá trình bổ sung cho thông tin lân cận tương tự từ các lớp nông hơn đến các lớp sâu hơn, do đó phiên bản phần dư tương đối ít bị ảnh hưởng bởi độ sâu mô hình. Mặt khác, chúng tôi quan sát thấy rằng biến thể GMI dày đặc cũng có thể giảm thiểu sự suy giảm hiệu suất ở một mức độ nào đó, mặc dù MI có xu hướng suy giảm theo độ sâu theo bất đẳng thức xử lý dữ liệu [ ]. Điều này là nhờ việc tối đa hóa MI đồ thị giữa đầu ra của mỗi lớp và đồ thị đầu vào, điều này áp đặt một ràng buộc trực tiếp lên mỗi lớp ẩn để bảo tồn thông tin đầu vào một cách trọn vẹn nhất có thể. Dựa trên quan sát này, việc áp đặt ràng buộc tối đa hóa MI lên các lớp ẩn để giảm thiểu tổn thất thông tin khi huấn luyện các mạng thần kinh sâu có thể là một thực hành tốt. 8 5 KẾT LUẬN Để khắc phục tình thế tiến thoái lưỡng nan về việc thiếu giám sát có sẵn và tránh rủi ro tiềm ẩn do nhãn không đáng tin cậy, chúng tôi giới thiệu một khái niệm mới về thông tin tương hỗ đồ thị (GMI) để thực hiện học biểu diễn đồ thị theo mẫu không giám sát. Cốt lõi của nó nằm ở việc trực tiếp tối đa hóa thông tin tương hỗ giữa đầu vào và đầu ra của một bộ mã hóa đồ thị thần kinh về các đặc trưng nút và cấu trúc tô pô. Thông qua phân tích lý thuyết của mình, chúng tôi đưa ra định nghĩa GMI và phân tách nó thành dạng tổng có trọng số có thể dễ dàng tính toán bằng phương pháp ước tính thông tin tương hỗ hiện tại MINE. Theo đó, chúng tôi phát triển một mô hình không giám sát và thực hiện hai tác vụ khai thác đồ thị phổ biến. Kết quả cho thấy GMI vượt trội hơn các phương pháp cơ sở không giám sát hiện đại trên cả hai tác vụ phân loại (truyền và cảm ứng) và dự đoán liên kết, đôi khi thậm chí còn có tính cạnh tranh với các thuật toán có giám sát. Công việc trong tương lai sẽ tập trung vào học biểu diễn theo tác vụ hoặc điều chỉnh ý tưởng tối đa hóa GMI cho các loại đồ thị khác như đồ thị không đồng nhất và siêu đồ thị. LỜI CẢM ƠN Công trình này được hỗ trợ bởi Chương trình Phát triển và Nghiên cứu Chính Quốc gia Trung Quốc (Số 2018AAA0101400), Quỹ Khoa học Tự nhiên Quốc gia Trung Quốc (Số 61872287 và Số 61532015), Nhóm Nghiên cứu Đổi mới của Quỹ Khoa học Tự nhiên Quốc gia Trung Quốc (Số 61721002), Nhóm Nghiên cứu Đổi mới của Bộ Giáo dục (IRT_17R86), và Dự án Trung tâm Tri thức Kỹ thuật Khoa học và Công nghệ Trung Quốc. Bên cạnh đó, nghiên cứu này được tài trợ bởi Dự án Chính về Khoa học và Công nghệ Quốc gia của Bộ Khoa học và Công nghệ Trung Quốc (Số 2018AAA0102900). TÀI LIỆU THAM KHẢO Luís B Almeida. 2003. MISEP–ICA Tuyến tính và Phi tuyến dựa trên Thông tin Tương hỗ. 4, Thập kỷ (2003), 1297–1318. Journal of machine learning research Mohamed Ishmael Belghazi, Aristide Baratin, Sai Rajeswar, Sherjil Ozair, Yoshua Bengio, Aaron Courville, và R Devon Hjelm. 2018. MINE: Ước tính Thông tin Tương hỗ Thần kinh. Trong . ICML Anthony J Bell và Terrence J Sejnowski. 1995. Một phương pháp tối đa hóa thông tin để tách và giải mã mù. 7, 6 (1995), 1129–1159. Neural computation Esben Jannik Bjerrum và Richard Threlfall. 2017. Tạo phân tử với mạng thần kinh hồi quy (RNN). (2017). arXiv preprint arXiv:1705.04612 Xavier Bresson và Thomas Laurent. 2019. Bộ giải mã tích chập đồ thị hai bước để tạo phân tử. (2019). arXiv preprint arXiv:1906.03412 Shaosheng Cao, Wei Lu, và Qiongkai Xu. 2015. Grarep: Học biểu diễn đồ thị với thông tin cấu trúc toàn cục. Trong . CIKM Jie Chen, Tengfei Ma, và Cao Xiao. 2018. Fastgcn: học nhanh với mạng tích chập đồ thị thông qua lấy mẫu quan trọng. (2018). arXiv preprint arXiv:1801.10247 Thomas M Cover và Joy A Thomas. 2012. . John Wiley & Sons. Elements of information theory Ming Ding, Jie Tang, và Jie Zhang. 2018. Học bán giám sát trên đồ thị với mạng đối nghịch sinh mẫu. Trong . CIKM Monroe D Donsker và SR Srinivasa Varadhan. 1983. Đánh giá tiệm cận của một số kỳ vọng của quá trình Markov cho thời gian lớn. IV. 36, 2 (1983), 183–212. Communications on pure and applied mathematics Alberto Garcia Duran và Mathias Niepert. 2017. Học biểu diễn đồ thị với lan truyền nh