Unha Nova Forma de Adestrar IA en Datos de Grafos sen Supervisión

Autores: Zhen Peng Wenbing Huang Minnan Luo Qinghua Zheng Yu Rong Tingyang Xu Junzhou Huang RESUMO A riqueza no conteúdo de várias redes de informação, como redes sociais e redes de comunicação, proporciona um potencial sem precedentes para aprender representações expressivas de alta qualidade sem supervisão externa. Este artigo investiga como preservar e extrair informações abundantes de dados estruturados em grafos para o espaço de incorporação de maneira não supervisionada. Para tal, propomos um novo conceito, Informação Mútua Gráfica (GMI), para medir a correlação entre grafos de entrada e representações ocultas de alto nível. O GMI generaliza a ideia de cálculos convencionais de informação mútua do espaço vetorial para o domínio do grafo, onde a medição de informação mútua de dois aspectos de características de nós e estrutura topológica é indispensável. O GMI apresenta vários benefícios: Primeiro, é invariante à transformação isomórfica de grafos de entrada — uma restrição inevitável em muitos algoritmos existentes de aprendizado de representação de grafos; Além disso, pode ser eficientemente estimado e maximizado por métodos atuais de estimação de informação mútua, como MINE; Finalmente, nossa análise teórica confirma sua correção e racionalidade. Com a ajuda do GMI, desenvolvemos um modelo de aprendizado não supervisionado treinado maximizando o GMI entre a entrada e a saída de um codificador neural de grafo. Experimentos consideráveis em classificação de nós transdutiva e indutiva e predição de links demonstram que nosso método supera os métodos não supervisionados de ponta e, às vezes, até excede o desempenho dos métodos supervisionados. 1 INTRODUÇÃO Para alcançar uma análise quantitativa confiável para diversas redes de informação, o aprendizado de representação de alta qualidade para dados estruturados em grafos tornou-se um dos tópicos fascinantes atuais. Métodos recentes para atingir esse objetivo, comumente categorizados como Redes Neurais de Grafos (GNNs), fizeram avanços notáveis em muitas tarefas de aprendizado, como classificação de nós [ , , ], predição de links [ , , ], alinhamento de grafos [ , , ], geração molecular [ , , ], para citar alguns. Apesar do progresso frutífero, o treinamento de GNNs em abordagens existentes geralmente requer alguma forma de supervisão. Indubitavelmente, a informação de rotulagem é cara de adquirir — anotação manual ou pagamento por permissão, e é até impossível de obter devido à política de privacidade. Sem mencionar que a confiabilidade dos rótulos fornecidos às vezes é questionável. Assim, como alcançar representação de grafos de alta qualidade sem supervisão se torna necessário para muitos casos práticos, o que motiva o estudo deste artigo. 35 42 50 26 27 49 12 19 43 4 5 46 Examinando cuidadosamente nossos dados estruturados em grafos coletados, descobrimos que eles geralmente vêm de várias fontes, como redes sociais, redes de citação e redes de comunicação, onde existe uma quantidade tremenda de informações de conteúdo e ligação. Por exemplo, dados em muitas plataformas sociais como Twitter, Flickr e Facebook incluem características de usuários, *por exemplo*, detalhes pessoais básicos, textos, imagens, IP, e suas relações, *por exemplo*, comprando o mesmo item, sendo amigos. Esses dados ricos de conteúdo são suficientes para suportar tarefas de mineração subsequentes sem orientação adicional: se duas entidades exibem extrema similaridade em características, há uma alta probabilidade de um link entre elas (predição de link), e elas provavelmente pertencem à mesma categoria (classificação); se duas entidades se conectam à mesma entidade, elas provavelmente têm características semelhantes (recomendação). Nesse sentido, preservar e extrair o máximo de informação possível de redes de informação para o espaço de incorporação facilita o aprendizado de representações expressivas de alta qualidade que exibem desempenho desejável em tarefas de mineração sem nenhuma forma de supervisão. O aprendizado de representação de grafos não supervisionado é uma escolha mais favorável em muitos casos devido à liberdade de rótulos, especialmente quando pretendemos nos beneficiar de dados não rotulados em larga escala na natureza. Para herdar totalmente as ricas informações em grafos, neste artigo, executamos a incorporação de grafos com base na maximização da Informação Mútua (MI), inspirados pelo sucesso empírico do método Deep Info-Max [ ] que opera em imagens. Para descobrir representações úteis, o Deep InfoMax treina o codificador para maximizar o MI entre suas entradas (ou seja, as imagens) e saídas (ou seja, os vetores ocultos). Ao considerar o Deep InfoMax no domínio do grafo, a primeira pedra que precisamos superar é como definir o MI entre grafos e vetores ocultos, enquanto a topologia dos grafos é mais complicada do que imagens (ver Figura Um dos desafios é garantir que a função MI entre a representação oculta de cada nó e suas características de entrada de vizinhança obedeça à propriedade simétrica, ou equivalentemente, seja invariante a permutações das vizinhanças. Como um trabalho recente considerando MI, o Deep Graph Infomax (DGI) [ ] primeiro incorpora um grafo de entrada e um grafo corrompido correspondente, depois resume o grafo de entrada como um vetor através de uma função de leitura (readout function), finalmente maximiza o MI entre este vetor de resumo e as representações ocultas discriminando o grafo de entrada (amostra positiva) do grafo corrompido (amostra negativa). A Figura oferece uma visão geral facilmente compreensível do DGI. Maximizar esse tipo de MI é provado ser equivalente a maximizar o MI entre as características de entrada dos nós e os vetores ocultos, mas essa equivalência vale sob várias condições pré-estabelecidas, *por exemplo*, a função de leitura deve ser injetiva, o que parece ser excessivamente restrito em casos reais. Mesmo que possamos garantir a existência de uma função de leitura injetiva por meio de um projeto específico, *por exemplo*, a usada em DeepSets [ ], a capacidade injetiva da função de leitura também é afetada pela forma como seus parâmetros são treinados. Isso significa que uma função originalmente injetiva ainda corre o risco de se tornar não injetiva se for treinada sem qualquer supervisão externa. E se a função de leitura não for injetiva, a informação do grafo de entrada contida em um vetor de resumo diminuirá à medida que o tamanho do grafo aumenta. Além disso, o DGI permanece em uma maximização de MI em nível de grafo/patch. Assim, no DGI, não há garantia de que o codificador possa destilar informações suficientes dos dados de entrada, pois nunca correlaciona elaboradamente representações ocultas com suas entradas originais. 20 1). 41 1 47 Neste artigo, propomos uma maneira mais direta de considerar o MI em termos de estruturas gráficas sem usar nenhuma função de leitura e função de corrupção. Derivamos diretamente o MI comparando a entrada (ou seja, o subgrafo consistindo da vizinhança de entrada) e a saída (ou seja, a representação oculta de cada nó) do codificador. E, curiosamente, nossas derivações teóricas demonstram que o MI formulado diretamente pode ser decomposto em uma soma ponderada de MIs locais entre cada característica de vizinhança e o vetor oculto. Desta forma, decompusemos as características de entrada e tornamos o cálculo do MI tratável. Além disso, esta forma de MI pode satisfazer facilmente a propriedade simétrica se ajustarmos os valores dos pesos. Adiaremos mais detalhes para a Seção Como o MI acima é medido principalmente no nível das características dos nós, o chamamos de Informação Mútua de Características (FMI). 3.1. Duas questões remanescentes sobre FMI: **1.** os pesos de combinação ainda são desconhecidos e **2.** ele não leva em conta a topologia (ou seja, as características das arestas). Para abordar essas duas questões, definimos nossa medição de Informação Mútua Gráfica (GMI) com base no FMI. Em particular, o GMI aplica uma atribuição de valor intuitiva definindo os pesos no FMI iguais à proximidade entre cada vizinho e o nó alvo no espaço de representação. Para reter a informação topológica, o GMI correlaciona ainda mais esses pesos com as características das arestas de entrada por meio de um termo adicional de informação mútua. O GMI resultante é topologicamente invariante e também calculável com Métodos de Estimativa Neural de Informação Mútua (MINE) [ ]. As principais contribuições do nosso trabalho são as seguintes: 2 • * *: Generalizamos a estimativa convencional de MI para o domínio do grafo e propomos um novo conceito de Informação Mútua Gráfica (GMI) de acordo. O GMI está livre do Conceitos risco potencial causado pela função de leitura, pois considera o MI entre grafos de entrada e embeddings de alto nível de forma direta. • * *: Através de nossa análise teórica, fornecemos uma forma tratável e calculável de GMI que decompõe o Algoritmos GMI total em uma soma ponderada de MIs locais. Com a ajuda do método MINE, a maximização do GMI pode ser facilmente alcançada em nível de nó. • * *: Verificamos a eficácia do GMI em várias tarefas populares de classificação de nós e predição de links Resultados Experimentais incluindo tarefas transdutivas e indutivas. Os experimentos demonstram que nosso método oferece desempenho promissor em uma variedade de benchmarks e, às vezes, até supera os equivalentes supervisionados. 2 TRABALHOS RELACIONADOS Em linha com o foco do nosso trabalho, revisamos brevemente o trabalho anterior em duas áreas seguintes: **1.** estimação de informação mútua, e **2.** redes neurais para aprendizado de representação sobre grafos. . Como o princípio InfoMax [ ] defende a maximização do MI entre as entradas e saídas de redes neurais, muitos métodos como algoritmos ICA [ , ] tentam empregar a ideia de MI no aprendizado de características não supervisionado. No entanto, esses métodos não podem ser generalizados para redes neurais profundas facilmente devido à dificuldade em calcular o MI entre variáveis contínuas de alta dimensionalidade. Felizmente, a Estimativa Neural de Informação Mútua (MINE) [ ] torna a estimação do MI em redes neurais profundas viável treinando uma rede estatística como um classificador para distinguir amostras que vêm da distribuição conjunta e do produto das marginais de duas variáveis aleatórias. Especificamente, o MINE usa a formulação exata baseada em KL do MI, enquanto uma alternativa não-KL, a divergência Jensen-Shannon (JSD) [ ], pode ser usada sem a preocupação com o valor preciso do MI. Estimação de informação mútua 3 1 21 2 30 . Com o rápido desenvolvimento de redes neurais de grafos (GNNs), um grande número de algoritmos de aprendizado de representação de grafos baseados em GNNs foram propostos nos últimos anos, que exibem desempenho mais forte do que abordagens tradicionais de incorporação baseadas em caminhada aleatória e fatoração [ , , , , ]. Tipicamente, esses métodos podem ser divididos em categorias supervisionadas e não supervisionadas. Entre eles, há uma rica literatura sobre aprendizado de representação supervisionado em grafos [ , , , , ]. Apesar de sua variação na arquitetura da rede, eles alcançam sucesso empírico com a ajuda de rótulos que muitas vezes não são acessíveis em cenários realistas. Neste caso, métodos de aprendizado de grafos não supervisionados [ , , ] têm um potencial de aplicação mais amplo. O conhecido método é o GraphSAGE [ ], uma estrutura indutiva para treinar GNNs por um objetivo baseado em caminhada aleatória em sua configuração não supervisionada. E recentemente, o DGI [ ] aplica a ideia de maximização de MI ao domínio do grafo e obtém forte desempenho em um padrão não supervisionado. No entanto, o DGI implementa uma maximização de granulação grossa (*ou seja*, maximizando o MI em nível de grafo/patch) o que torna difícil preservar a informação delicada no grafo de entrada. Além disso, a condição imposta na função de leitura usada no DGI parece ser excessivamente restrita em casos reais. Em contraste, focamos em remover a restrição da função de leitura e chegar à maximização da informação mútua gráfica em nível de nó, maximizando diretamente o MI entre entradas e saídas do codificador. As representações derivadas por nosso método são mais sofisticadas em manter a informação do grafo de entrada, o que garante seu potencial para tarefas de mineração de grafos downstream, *por exemplo*, classificação de nós, predição de links e recomendação. Redes neurais para aprendizado de representação de grafos 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 3 INFORMAÇÃO MÚTUA GRÁFICA: DEFINIÇÃO E MAXIMIZAÇÃO Antes de prosseguir, fornecemos primeiro os conceitos preliminares usados neste artigo. Seja G = (V, E) um grafo com *N* nós *vi* ∈ V e arestas *eij* = (*vi* , *vj*) ∈ E. As características dos nós, com distribuição de probabilidade empírica assumida P, são dadas por *X* ∈ R*N* ×*D* = {*x* 1, · · · , *x* N} onde *xi* ∈ R*D* denota a característica do nó *vi*. A matriz de adjacência *A* ∈ R*N* ×*N* representa as conexões de arestas, onde *Aij* associado à aresta *eij* pode ser um número real ou um vetor multidimensional1. O objetivo do aprendizado de representação de grafos é aprender um codificador *f* : R*N* ×*D* × R*N* ×*N* → R*N* ×*D*′, tal que os vetores ocultos *H* = {*h*1, · · · , *hN*} = *f* (*X* , *A*) indiquem representações de alto nível para todos os nós. O processo de codificação pode ser reescrito em forma nodal. Para mostrar isso, definimos *Xi* e *Ai* para o nó *i* como respectivamente as características de seus vizinhos e a matriz de adjacência correspondente condicional aos vizinhos. Particularmente, *Xi* consiste em todos os vizinhos de k-hop de *vi* com *k* ≤ *l* quando o codificador *f* é um GNN de *l* camadas, e contém o próprio nó *i* se adicionarmos auto-loops na matriz de adjacência. Aqui, chamamos o subgrafo expandido por *Xi* e *Ai* de *grafo de suporte* para o nó *i*, denotado por G*i*. Com a definição do grafo de suporte, a codificação para cada nó se torna *hi* = *f* (G*i*) = *f* (*Xi* , *Ai*). Em Deep InfoMax [ ], o objetivo de treinamento do codificador é maximizar o MI entre suas entradas e saídas. O MI é estimado empregando uma rede estatística como discriminador para classificar amostras que vêm da distribuição conjunta e aquelas extraídas do produto das marginais. Naturalmente, ao adaptar a ideia do Deep InfoMax aos grafos, devemos maximizar o MI entre a representação *hi* e o grafo de suporte G*i* para cada nó. Denotamos tal MI gráfica como *I* (*hi*; G*i*). No entanto, não é direto definir I (*hi* ; Gi). As dificuldades são: Dificuldades na definição de informação mútua gráfica. 20 • O MI gráfico deve ser invariante em relação ao índice do nó. Em outras palavras, devemos ter *I* (*hi*; G*i*) = *I* (*hi*; G′*i*), se G*i* e G′*i* são isomórficos um ao outro. • Se adotarmos o método MINE para cálculo de MI, o discriminador no MINE aceita apenas entradas de tamanho fixo. Isso ainda é inviável para G*i* pois diferentes G*i* geralmente incluem diferentes números de nós e, portanto, são de tamanhos distintos. Para contornar a questão da definição de informação mútua gráfica, esta seção começa introduzindo o conceito de Informação Mútua de Características (FMI) que depende apenas das características dos nós. Baseado na inspiração da decomposição do FMI, definimos então a Informação Mútua Gráfica (GMI), que leva em conta tanto as características do nó quanto 3.1 Informação Mútua de Características Denotamos a distribuição de probabilidade empírica das características do nó *Xi* como *p*( ), a probabilidade de *hi* como *p*( ), e a distribuição conjunta por *p*( Xi hi hi* , *Xi* ). De acordo com a teoria da informação, o MI entre *hi* e *Xi* é definido como Interessantemente, temos o seguinte teorema de decomposição de informação mútua para calcular *I* (*hi*; *Xi* ). Teorema 1 (Decomposição de Informação Mútua). *Se a probabilidade condicional p*( hi* |*Xi* ) é multiplicativa (ver definição de multiplicativa em [ ]), a informação mútua global I* (*hi*; *Xi*) definida na Eq. pode ser decomposta como uma soma ponderada de MIs locais, nomeadamente,* 36 (1) *onde, x*j* é o j-ésimo vizinho do nó i, em* é o número de todos os elementos em *Xi*, e o peso *wij* satisfaz* ≤ *wij* ≤ 1 *para cada j.* 1 Para provar o teorema acima, primeiro introduzimos duas lemas e uma definição. Lemma 1. *Para quaisquer variáveis aleatórias X, Y, e Z, temos* Com a decomposição no Teorema podemos calcular o lado direito da Eq. via MINE, pois as entradas do discriminador agora se tornam os pares de (*hi*, *xj*) cujo tamanho sempre se mantém o mesmo (*ou seja*, *D*' -by-*D*). Além disso, podemos ajustar os pesos para refletir a transformação isomórfica dos grafos de entrada. Por exemplo, se *Xi* contém apenas vizinhos de um salto do nó *i*, definir todos os pesos como idênticos levará ao mesmo MI para os nós de entrada em ordens diferentes. 1, (2) Apesar de alguns benefícios da decomposição, é difícil caracterizar os valores exatos dos pesos, pois eles estão relacionados aos valores de *I* (*hi*; *xj*) e suas distribuições de probabilidade subjacentes. Uma maneira trivial é definir todos os pesos como , então maximizar o lado direito da Eq. equivale a maximizar o limite inferior de *I* (*hi*; *Xi* ), pelo qual o verdadeiro FMI também é maximizado em certa medida. Além deste método, fornecemos adicionalmente uma solução mais aprimorada considerando os pesos como atenções treináveis, que é o tópico na próxima subseção. 1 (2) Inspirados pela decomposição no Teorema tentamos construir pesos treináveis a partir do outro aspecto dos grafos (*ou seja*, 3.2 Informação Mútua Consciente da Topologia 1, visão topológica) para que os valores de *wij* possam ser mais flexíveis e capturar a propriedade inerente dos grafos. Finalmente, derivamos a definição de Informação Mútua Gráfica (GMI). Definição 2 (Informação Mútua Gráfica). *O MI entre o vetor oculto h e seu grafo de suporte* G = (*X* , *A*) *é definido como* onde as definições de *xj* e *em* são as mesmas do Teorema 1, *aij* é o peso/característica da aresta na matriz de adjacência *A*, e *σ* (·) é uma função sigmoide. Intuitivamente, o peso *wij* no primeiro termo da Eq. (10) mede a contribuição de um MI local para o MI global. Implementamos a contribuição de *I* (*hi*; *xj*) pela similaridade entre as representações *hi* e *hj* (*ou seja*, *wij* = *σ* (*hThj* )). Enquanto isso, o termo *I* (*wij*; *aij*) maximiza o MI entre *wij* e o peso/característica da aresta do grafo de entrada (*ou seja*, *aij*) para impor que *wij* se conforme às relações topológicas. Nesse sentido, o grau de contribuição será consistente com a proximidade na estrutura topológica, o que é comumente aceito como um fato de que *wij* pode ser maior se o nó *j* estiver "mais perto" do nó *i* e menor caso contrário. Essa estratégia compensa a falha de que o FMI foca apenas nas características do nó e faz com que os MIs locais contribuam adaptativamente para o global. Para entender melhor a ideia de atenção nesta estratégia, você pode consultar o GCN baseado em atenção. Observe que a definição da Eq. (10) é aplicável a casos gerais. Para certas situações específicas, podemos modificar ligeiramente a Eq. (10) para eficiência. Por exemplo, ao lidar com grafos não ponderados (ou seja, o valor da aresta é 1 se conectado e 0 caso contrário), poderíamos substituir o segundo termo de MI *I* (*wij*; *aij*) por uma perda de entropia cruzada negativa. Minimizar a entropia cruzada também contribui para a maximização do MI e oferece uma computação mais eficiente. Adiaremos mais detalhes na próxima seção. No geral, há vários benefícios na definição da Eq. (10). Primeiro, esse tipo de MI é invariante à transformação isomórfica de grafos de entrada. Segundo, é computacionalmente factível, pois cada componente do lado direito pode ser estimado por MINE. Mais importante, o GMI é mais poderoso que o DGI na captura de informações de entrada originais devido à sua correlação explícita entre vetores ocultos e características de entrada de nós e arestas em um nível de nó granular. 3.3 MAXIMIZAÇÃO DO GMI Agora maximizamos diretamente o lado direito da Eq. com a ajuda do MINE. Note que o MINE estima um limite inferior do MI com a representação Donsker-Varadhan (DV) [ ] da divergência KL entre a distribuição conjunta e o produto das marginais. Como nos concentramos mais em maximizar o MI em vez de obter seu valor específico, outras alternativas não-KL, como o estimador de MI Jensen-Shannon (JSD) [ ] e o estimador Noise-Contrastive (infoNCE) [ ], podem ser empregados para substituí-lo. Com base nos achados experimentais e análise em [ ], recorremos ao estimador JSD neste artigo para fins de eficácia e eficiência, pois o estimador infoNCE é sensível às estratégias de amostragem negativa (o número de amostras negativas) e, portanto, pode se tornar um gargalo para conjuntos de dados em larga escala com memória disponível fixa. Em contraste, a insensibilidade do estimador JSD às estratégias de amostragem negativa e seu desempenho respeitável em muitas tarefas o tornam mais adequado para nossa tarefa. Em particular, calculamos *I* (*hi*; *xj*) no primeiro termo da Eq. por (10) 10 30 31 20 (10) onde D*w* : *D* × *D*' → R é um discriminador construído por uma rede neural com parâmetro *w*. *xj* é uma amostra negativa de P = P, e *sp*(x) = *loд*(1 + *ex*) denota a função soft-plus. Como mencionado na Seção maximizamos *I* (*wij*; *aij*) calculando sua entropia cruzada em vez de usar o estimador JSD, pois os grafos que tratamos em experimentos não são ponderados. Formalmente, calculamos 3.2, Ao maximizar I (*hi*; Gi) com a soma da Eq. (11) e Eq. (12) sobre todos os vetores ocultos H, chegamos à nossa função objetivo completa para a otimização de GMI. Além disso, podemos adicionar parâmetros de trade-off para equilibrar Eq. (11) e (12) para maior flexibilidade. 4 EXPERIMENTOS Nesta seção, avaliamos empiricamente o desempenho do GMI em duas tarefas comuns: classificação de nós (transdutiva e indutiva) e predição de links. Uma comparação adicional relativamente justa entre GMI e outros dois algoritmos não supervisionados (EP-B e DGI) exibe ainda mais sua eficácia. Também fornecemos a visualização de plots t-SNE e analisamos a influência da profundidade do modelo. 4.1 Conjuntos de Dados Para avaliar a qualidade de nossa abordagem em cada tarefa, adotamos 4 ou 5 conjuntos de dados de benchmark comumente usados em trabalhos anteriores [ , , Estatísticas detalhadas são apresentadas na Tabela 16 25 41]. 1. Na tarefa de classificação, Cora, Citeseer e PubMed [ ]2 são redes de citação onde nós correspondem a documentos e arestas representam citações. Cada documento está associado a um vetor de representação de saco de palavras e pertence a uma das classes predefinidas. Seguindo a configuração transdutiva em [ , ], o treinamento é realizado em todos os nós, e 1000 nós de teste são usados para avaliação. Reddit3 é uma grande rede social consistindo de inúmeros posts do Reddit interconectados criados durante setembro de 2014 [ ]. Posts são tratados como nós e arestas significam que o mesmo usuário comenta. 38 25 41 16 ![ Tabela 1: Estatísticas dos conjuntos de dados usados nos experimentos. ](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-eph3eec.jpeg) O rótulo da classe é a comunidade e nosso objetivo é prever a qual comunidade diferentes posts pertencem. PPI3 é um conjunto de dados de interação proteína-proteína incluindo múltiplos grafos relacionados a diferentes tecidos humanos [ ]. Os conjuntos de genes posicionais, conjuntos de genes de motivos e assinaturas imunológicas são vistos como características de nós, e cada nó tem um total de 121 rótulos dados por conjuntos de ontologia gênica. Classificar funções de proteínas que podem pertencer a múltiplos gêneros em diferentes grafos PPI é nosso objetivo. Seguindo a configuração indutiva em [ ], no Reddit, alimentamos posts feitos nos primeiros 20 dias para o modelo de treinamento, enquanto o restante é usado para teste (com 30% usado para validação); em PPI, existem 20 grafos para treinamento, 2 para validação e 2 para teste. Deve-se enfatizar que, para Reddit e PPI, o teste é realizado em nós e grafos não vistos (não treinados), enquanto os três primeiros conjuntos de dados são usados para aprendizado transdutivo. 52 16 Na tarefa de predição de links, BlogCatalog4 é um site de blogs sociais onde blogueiros se seguem e registram seus blogs sob 6 categorias predefinidas. As tags dos blogs são usadas como características de nós. Flickr4 é um site de compartilhamento de imagens onde os usuários interagem uns com os outros e formam uma rede social. Usuários carregam fotos com 9 classes predefinidas e selecionam tags anexadas para refletir seus interesses, que fornecem informações de atributos. A descrição de Cora e PPI é omitida por brevidade. Seguindo as configurações experimentais e métricas de avaliação em, dado um grafo com certas porções de arestas removidas, nosso objetivo é prever essas arestas ausentes. Para Cora, BlogCatalog e Flickr, removemos aleatoriamente 20%, 50% e 70% das arestas, garantindo que a rede restante obtida após a remoção das arestas seja conectada e usamos a rede danificada para treinamento. Sobre PPI, tratamos diretamente parte das arestas não vistas durante o treinamento como alvos de predição em vez de remoção de arestas feita manualmente. 4.2 Configurações Experimentais Recorremos a um modelo padrão de Rede Convolucional de Grafos ( Projeto do codificador.