Yonnou fason pou antrene AI sou done graf san sipèvizyon

Autores: Zhen Peng Wenbing Huang Minnan Luo Qinghua Zheng Yu Rong Tingyang Xu Junzhou Huang RESUMEN La riqueza en el contenido de diversas redes de información, como las redes sociales y las redes de comunicación, proporciona un potencial sin precedentes para aprender representaciones expresivas de alta calidad sin supervisión externa. Este artículo investiga cómo preservar y extraer la abundante información de datos estructurados en grafos en el espacio de incrustación de manera no supervisada. Para ello, proponemos un concepto novedoso, Información Mutua Gráfica (GMI), para medir la correlación entre los grafos de entrada y las representaciones ocultas de alto nivel. GMI generaliza la idea de los cálculos convencionales de información mutua del espacio vectorial al dominio del grafo, donde es indispensable medir la información mutua desde dos aspectos: las características de los nodos y la estructura topológica. GMI presenta varios beneficios: Primero, es invariante a la transformación isomórfica de los grafos de entrada, una restricción inevitable en muchos algoritmos existentes de aprendizaje de representación de grafos; Además, puede ser estimado y maximizado eficientemente por métodos actuales de estimación de información mutua como MINE; Finalmente, nuestro análisis teórico confirma su corrección y racionalidad. Con la ayuda de GMI, desarrollamos un modelo de aprendizaje no supervisado entrenado maximizando GMI entre la entrada y la salida de un codificador neuronal de grafos. Experimentos considerables en clasificación de nodos transductiva e inductiva, así como en predicción de enlaces, demuestran que nuestro método supera a los homólogos no supervisados de última generación, y a veces incluso supera el rendimiento de los supervisados. 1 INTRODUCCIÓN Para lograr un análisis cuantitativo fiable de diversas redes de información, el aprendizaje de representaciones de alta calidad para datos estructurados en grafos se ha convertido en uno de los temas fascinantes actuales. Los métodos recientes para lograr este objetivo, comúnmente categorizados como Redes Neuronales de Grafos (GNNs), han logrado avances notables en una gran cantidad de tareas de aprendizaje, como la clasificación de nodos [ , , ], la predicción de enlaces [ , , ], la alineación de grafos [ , , ], la generación molecular [ , , ], por nombrar algunos. A pesar de los fructíferos progresos, el entrenamiento de GNNs en enfoques existentes suele requerir alguna forma de supervisión. Sin duda, la información de etiquetado es costosa de adquirir (anotaciones manuales o pago por permiso), e incluso imposible de obtener debido a las políticas de privacidad. Sin mencionar que la fiabilidad de las etiquetas dadas a veces es cuestionable. Por lo tanto, cómo lograr una representación de grafos de alta calidad sin supervisión se ha vuelto necesario para una gran cantidad de casos prácticos, lo que motiva el estudio de este artículo. 35 42 50 26 27 49 12 19 43 4 5 46 Al examinar cuidadosamente nuestros datos estructurados en grafos recopilados, encontramos que generalmente provienen de diversas fuentes, como redes sociales, redes de citas y redes de comunicación, donde existe una gran cantidad de información de contenido y de enlace. Por ejemplo, los datos en muchas plataformas sociales como Twitter, Flickr y Facebook incluyen características de los usuarios, *por ejemplo*, detalles personales básicos, textos, imágenes, IP, y sus relaciones, *por ejemplo*, comprar el mismo artículo, ser amigos. Estos ricos datos de contenido son suficientes para respaldar tareas de minería posteriores sin orientación adicional: si dos entidades exhiben una similitud extrema en sus características, existe una alta probabilidad de un enlace entre ellas (predicción de enlaces), y es probable que pertenezcan a la misma categoría (clasificación); si dos entidades se enlazan a la misma entidad, probablemente tengan características similares (recomendación). En este sentido, preservar y extraer tanta información como sea posible de las redes de información en el espacio de incrustación facilita el aprendizaje de representaciones expresivas de alta calidad que exhiben un rendimiento deseable en tareas de minería sin ninguna forma de supervisión. El aprendizaje de representación de grafos no supervisado es una opción más favorable en muchos casos debido a la libertad de las etiquetas, especialmente cuando pretendemos beneficiarnos de una gran cantidad de datos no etiquetados en la naturaleza. Para heredar completamente la rica información en los grafos, en este artículo, ejecutamos la incrustación de grafos basada en la maximización de la Información Mutua (MI), inspirados por el éxito empírico del método Deep Info-Max [ ] que opera en imágenes. Para descubrir representaciones útiles, Deep InfoMax entrena el codificador para maximizar la MI entre sus entradas (es decir, las imágenes) y salidas (es decir, los vectores ocultos). Al considerar Deep InfoMax en el dominio de los grafos, la primera piedra que debemos superar es cómo definir la MI entre grafos y vectores ocultos, mientras que la topología de los grafos es más complicada que las imágenes (ver Figura Uno de los desafíos es asegurar que la función de MI entre la representación oculta de cada nodo y las características de entrada de su vecindario obedezca la propiedad simétrica, o equivalentemente, sea invariante a las permutaciones de los vecindarios. Como un trabajo reciente que considera la MI, Deep Graph Infomax (DGI) [ ] primero incrusta un grafo de entrada y un grafo corrompido correspondiente, luego resume el grafo de entrada como un vector a través de una función de lectura, y finalmente maximiza la MI entre este vector resumen y las representaciones ocultas discriminando el grafo de entrada (muestra positiva) del grafo corrompido (muestra negativa). La Figura ofrece una visión general fácilmente comprensible de DGI. Se demuestra que maximizar este tipo de MI es equivalente a maximizar la del entre las características de los nodos de entrada y los vectores ocultos, pero esta equivalencia se mantiene bajo varias condiciones preestablecidas, *por ejemplo*, la función de lectura debe ser inyectiva, lo que parece estar demasiado restringido en casos reales. Incluso si podemos garantizar la existencia de una función de lectura inyectiva mediante un diseño específico, *por ejemplo*, la utilizada en DeepSets [ ], la capacidad inyectiva de la función de lectura también se ve afectada por cómo se entrenan sus parámetros. Es decir, una función originalmente inyectiva aún corre el riesgo de volverse no inyectiva si se entrena sin supervisión externa. Y si la función de lectura no es inyectiva, la información del grafo de entrada contenida en un vector resumen disminuirá a medida que aumente el tamaño del grafo. Además, DGI permanece en una maximización de MI a nivel de grafo/parche gruesa. Por lo tanto, en DGI, no hay garantía de que el codificador pueda destilar información suficiente de los datos de entrada, ya que nunca correlaciona elaboradamente las representaciones ocultas con sus entradas originales. 20 1). 41 1 47 En este artículo, proponemos una forma más sencilla de considerar la MI en términos de estructuras gráficas sin usar ninguna función de lectura ni función de corrupción. Derivamos directamente la MI comparando la entrada (es decir, el subgrafo que consiste en el vecindario de entrada) y la salida (es decir, la representación oculta de cada nodo) del codificador. Y, curiosamente, nuestras derivaciones teóricas demuestran que la MI formulada directamente puede descomponerse en una suma ponderada de MIs locales entre cada característica del vecindario y el vector oculto. De esta manera, hemos descompuesto las características de entrada y hecho que el cálculo de la MI sea manejable. Además, esta forma de MI puede satisfacer fácilmente la propiedad simétrica si ajustamos los valores de los pesos. Posponemos más detalles a la § Como la MI anterior se mide principalmente a nivel de características de los nodos, la llamamos Información Mutua de Características (FMI). 3.1. Quedan dos problemas sobre FMI: **1.** los pesos combinados aún son desconocidos y **2.** no tiene en cuenta la topología (es decir, las características de los bordes). Para abordar aún más estos dos problemas, definimos nuestra medida de Información Mutua Gráfica (GMI) basándonos en FMI. En particular, GMI aplica una asignación de valor intuitiva al establecer los pesos en FMI iguales a la proximidad entre cada vecino y el nodo objetivo en el espacio de representación. Para retener la información topológica, GMI correlaciona además estos pesos con las características de los bordes de entrada a través de un término adicional de información mutua. El GMI resultante es topológicamente invariante y también calculable con Estimación Neuronal de Información Mutua (MINE) Las principales contribuciones de nuestro trabajo son las siguientes: . • ***Conceptos***: Generalizamos la estimación de MI convencional al dominio de los grafos y proponemos un nuevo concepto de Información Mutua Gráfica (GMI) en consecuencia. GMI está libre del riesgo potencial causado por la función de lectura, ya que considera la MI entre grafos de entrada y las incrustaciones de alto nivel de una manera sencilla. • ***Algoritmos***: A través de nuestro análisis teórico, proporcionamos una forma manejable y calculable de GMI que descompone el GMI completo en una suma ponderada de MIs locales. Con la ayuda del método MINE, la maximización de GMI se puede lograr fácilmente a nivel de nodo. • ***Hallazgos Experimentales***: Verificamos la efectividad de GMI en varias tareas populares de clasificación de nodos y predicción de enlaces incluyendo tareas transductivas e inductivas. Los experimentos demuestran que nuestro método ofrece un rendimiento prometedor en una variedad de benchmarks e incluso a veces supera a los homólogos supervisados. 2 TRABAJO RELACIONADO En línea con el enfoque de nuestro trabajo, revisamos brevemente el trabajo previo en las dos áreas siguientes: **1.** estimación de información mutua, y **2.** redes neuronales para el aprendizaje de representaciones sobre grafos. **Estimación de información mutua**. Como el principio InfoMax [ ] aboga por maximizar la MI entre las entradas y salidas de las redes neuronales, muchos métodos como los algoritmos ICA [ , ] intentan emplear la idea de MI en el aprendizaje de características no supervisado. No obstante, estos métodos no se pueden generalizar fácilmente a redes neuronales profundas debido a la dificultad en el cálculo de la MI entre variables continuas de alta dimensionalidad. Afortunadamente, la Estimación Neuronal de Información Mutua (MINE) [ ] hace factible la estimación de la MI en redes neuronales profundas al entrenar una red de estadísticas como un clasificador para distinguir muestras que provienen de la distribución conjunta y el producto de las marginales de dos variables aleatorias. Específicamente, MINE utiliza la formulación exacta basada en KL de la MI, mientras que una alternativa no KL, la divergencia Jensen-Shannon (JSD) [ ], se puede usar sin la preocupación sobre el valor preciso de la MI. 3 1 21 2 30 **Redes neuronales para el aprendizaje de representaciones de grafos**. Con el rápido desarrollo de las redes neuronales de grafos (GNNs), se han propuesto numerosos algoritmos de aprendizaje de representaciones de grafos basados en GNNs en los últimos años, que exhiben un rendimiento más sólido que los enfoques tradicionales de incrustación basados en caminatas aleatorias y factorización [ , , , , ]. Típicamente, estos métodos se pueden dividir en categorías supervisadas y no supervisadas. Entre ellos, existe una rica literatura sobre aprendizaje de representación supervisado en grafos [ , , , , ]. A pesar de su varianza en la arquitectura de red, logran éxito empírico con la ayuda de etiquetas que a menudo no son accesibles en escenarios realistas. En este caso, los métodos de aprendizaje de grafos no supervisados [ , , ] tienen un potencial de aplicación más amplio. El método bien conocido es GraphSAGE [ ], un marco inductivo para entrenar GNNs mediante un objetivo basado en caminatas aleatorias en su configuración no supervisada. Y recientemente, DGI [ ] aplica la idea de maximización de MI al dominio de los grafos y obtiene un rendimiento sólido en un patrón no supervisado. Sin embargo, DGI implementa una maximización de grano grueso (*es decir*, maximizar la MI a nivel de grafo/parche) lo que hace difícil preservar la información delicada en el grafo de entrada. Además, la condición impuesta a la función de lectura utilizada en DGI parece ser excesivamente restrictiva en casos reales. En contraste, nos centramos en eliminar la restricción de la función de lectura y llegar a la maximización de información mutua gráfica a nivel de nodo maximizando directamente la MI entre las entradas y salidas del codificador. Las representaciones derivadas por nuestro método son más sofisticadas al mantener la información del grafo de entrada, lo que garantiza su potencial para tareas de minería de grafos posteriores, *por ejemplo*, clasificación de nodos, predicción de enlaces y recomendación. 6 15 33 34 39 7 9 25 40 48 11 16 41 16 41 3 INFORMACIÓN MUTUA GRÁFICA: DEFINICIÓN Y MAXIMIZACIÓN Antes de continuar, primero proporcionamos los conceptos preliminares utilizados en este artículo. Sea G = (V, E) un grafo con *N* nodos *vi* ∈ V y aristas *eij* = (*vi*, *vj*) ∈ E. Las características de los nodos, con una distribución de probabilidad empírica P asumida, se dan por *X* ∈ R ×*D* = {*x*1, · · · , *x*N} donde *xi* ∈ R*D* denota la característica del nodo *vi*. La matriz de adyacencia *A* ∈ R*N* ×*N* representa las conexiones de borde, donde *Aij* asociado a la arista *eij* podría ser un número real o un vector multidimensional1. N El objetivo del aprendizaje de representación de grafos es aprender un codificador *f* : R ×*D* × R ×*N* → R ×*D*′, tal que los vectores ocultos *H* = {*h*1, · · · , *h*N} = *f* (*X*, *A*) indiquen representaciones de alto nivel para todos los nodos. El proceso de codificación se puede reescribir en forma de nodo. N N N Para mostrar esto, definimos *Xi* y *Ai* para el nodo *i* como respectivamente las características de sus vecinos y la matriz de adyacencia correspondiente condicionada a los vecinos. Particularmente, *Xi* consiste en todos los vecinos k-hop de *vi* con *k* ≤ *l* cuando el codificador *f* es un GNN de *l* capas, y contiene el propio nodo *i* si además añadimos auto-bucles en la matriz de adyacencia. Aquí, llamamos al subgrafo expandido por *Xi* y *Ai* como un *grafo de soporte* para el nodo *i*, denotado por G*i*. Con la definición del grafo de soporte, la codificación para cada nodo se convierte en *hi* = *f* (G*i*) = *f* (*Xi*, *Ai*). **Dificultades en la definición de información mutua gráfica**. En Deep InfoMax [ ], el objetivo de entrenamiento del codificador es maximizar la MI entre sus entradas y salidas. La MI se estima empleando una red de estadísticas como un discriminador para clasificar muestras que provienen de la distribución conjunta y las extraídas del producto de las marginales. Naturalmente, al adaptar la idea de Deep InfoMax a los grafos, deberíamos maximizar la MI entre la representación *hi* y el grafo de soporte G*i* para cada nodo. Denotamos tal MI gráfica como *I* (*hi*; G*i*). Sin embargo, no es directo definir I (*hi*; Gi*). Las dificultades son: 20 • La MI gráfica debe ser invariante a la permutación del índice del nodo. En otras palabras, deberíamos tener *I* (*hi*; G*i*) = *I* (*hi*; G′*i*), si G*i* y G′*i* son isomorfos entre sí. • Si adoptamos el método MINE para el cálculo de la MI, el discriminador en MINE solo acepta entradas de tamaño fijo. Esto aún es inviable para G*i* ya que diferentes G*i* usualmente incluyen diferentes números de nodos y, por lo tanto, son de tamaños distintos. Para superar el problema de definir la información mutua gráfica, esta sección comienza introduciendo el concepto de Información Mutua de Características (FMI) que solo se basa en características de nodos. Inspirándonos en la descomposición de FMI, definimos luego la Información Mutua Gráfica (GMI), que tiene en cuenta tanto las características de los nodos como 3.1 Información Mutua de Características Denotamos la distribución de probabilidad empírica de las características de los nodos *Xi* como *p*( *Xi* ), la probabilidad de *hi* como *p*( *hi* ), y la distribución conjunta por *p*( *hi*, *Xi* ). Según la teoría de la información, la MI entre *hi* y *Xi* se define como Curiosamente, tenemos el siguiente teorema de descomposición de información mutua para calcular *I* (*hi*; *Xi* ). Teorema 1 (Descomposición de Información Mutua). *Si la probabilidad condicional p*( *hi* |*Xi* ) es multiplicativa (ver la definición de multiplicativa en [ ]), la información mutua global I (*hi*; *Xi*) definida en la Eq. puede descomponerse como una suma ponderada de MIs locales, a saber*, 36 (1) *donde, xj* es el j-ésimo vecino del nodo i, in* es el número de todos los elementos en Xi*, y el peso wij satisface* ≤ *wij* ≤ 1 *para cada j. 1 Para demostrar este teorema, primero introducimos dos lemas y una definición. Lema 1. *Para cualquier variable aleatoria X, Y, y Z, tenemos* Con la descomposición en el Teorema podemos calcular el lado derecho de la Eq. a través de MINE ya que las entradas del discriminador ahora se convierten en los pares de (*hi*, *xj*) cuyo tamaño se mantiene siempre igual (*es decir*, *D* ′-por-*D*). Además, podemos ajustar los pesos para reflejar la transformación isomórfica de los grafos de entrada. Por ejemplo, si *Xi* solo contiene vecinos de un salto del nodo *i*, establecer todos los pesos idénticos conducirá a la misma MI para los nodos de entrada en diferentes órdenes. 1, (2) A pesar de algunos beneficios de la descomposición, es difícil caracterizar los valores exactos de los pesos, ya que están relacionados con los valores de *I* (*hi*; *xj*) y sus distribuciones de probabilidad subyacentes. Una forma trivial es establecer todos los pesos en , luego maximizar el lado derecho de la Eq. equivale a maximizar el límite inferior de *I* (*hi*; *Xi*), por lo cual la verdadera FMI también se maximiza hasta cierto punto. Además de este método, proporcionamos adicionalmente una solución más mejorada considerando los pesos como atenciones entrenables, que es el tema de la siguiente subsección. 1 (2) **3.2 Información Mutua Consciente de la Topología** Inspirados por la descomposición en el Teorema intentamos construir pesos entrenables desde el otro aspecto de los grafos (*es decir*, 1, vista topológica) para que los valores de *wij* puedan ser más flexibles y capturar la propiedad inherente de los grafos. Finalmente, derivamos la definición de Información Mutua Gráfica (GMI). Definición 2 (Información Mutua Gráfica). *La MI entre el vector oculto h y su grafo de soporte* G = (*X*, *A*) *se define como* *donde las definiciones de xj e in son las mismas que en el Teorema 1, aij es el peso/característica del borde en la matriz de adyacencia A, y σ (·) es una función sigmoide*. Intuitivamente, el peso wij en el primer término de la Eq. (10) mide la abordada en los experimentos no ponderada. Formalmente, calculamos I (wij ; aij ) = aijloдwij + (1 − aij )loд(1 − wij ). (12) Al maximizar I (hi ; Gi ) con la suma de la Eq. (11) y la Eq. (12) sobre todos los vectores ocultos H , llegamos a nuestra función objetivo completa para contribución de una MI local a la global. Implementamos la contribución de I (hi ; xj ) por la similitud entre las representaciones hi y hj (es decir, wij = σ (hThj )). Mientras tanto, el término I (wij ; aij ) maximiza la MI entre wij y el peso/característica del borde del grafo de entrada (es decir, aij ) para forzar que wij se conforme a las relaciones topológicas. En este sentido, el grado de contribución sería consistente con la proximidad en la estructura topológica, lo que comúnmente se acepta como un hecho de que wij podría ser mayor si el nodo j está "más cerca" del nodo i y menor en caso contrario. Esta estrategia compensa el defecto de que FMI solo se centra en las características de los nodos y hace que las MIs locales contribuyan adaptativamente a la global. Para comprender mejor la idea de atención en esta estrategia, puede consultar el GCN basado en atención. Tenga en cuenta que la definición de la Eq. (10) es aplicable a casos generales. Para ciertas situaciones específicas, podemos modificar ligeramente la Eq. (10) para mayor eficiencia. Por ejemplo, al tratar con grafos no ponderados (es decir, el valor del borde es 1 si está conectado y 0 en caso contrario), podríamos reemplazar el segundo término de MI I (wij ; aij ) con una pérdida de entropía cruzada negativa. Minimizar la entropía cruzada también contribuye a la maximización de MI, y ofrece un cálculo más eficiente. Detallamos más en la siguiente sección. En general, hay varios beneficios por la definición de la Eq. (10). Primero, este tipo de MI es invariante a la transformación isomórfica de los grafos de entrada. Segundo, es computacionalmente factible ya que cada componente en el lado derecho puede ser estimado por MINE. Más importante aún, GMI es más potente que DGI para capturar información de entrada original debido a su correlación explícita entre vectores ocultos y características de entrada tanto de nodos como de bordes a nivel de nodo detallado. 3.3 Maximización de GMI Ahora maximizamos directamente el lado derecho de la Eq. con la ayuda de MINE. Tenga en cuenta que MINE estima un límite inferior de MI con la representación Donsker-Varadhan (DV) de la divergencia KL entre la distribución conjunta y el producto de las marginales. Como nos centramos más en maximizar la MI en lugar de obtener su valor específico, se pueden emplear otras alternativas no KL como el estimador de MI Jensen-Shannon (JSD) [ ] y el estimador Contrastivo de Ruido (infoNCE) [ ] para reemplazarlo. Basándonos en los hallazgos experimentales y el análisis en [ ], recurrimos al estimador JSD en este artículo en aras de la efectividad y eficiencia, ya que el estimador infoNCE es sensible a las estrategias de muestreo negativo (el número de muestras negativas), por lo que puede convertirse en un cuello de botella para conjuntos de datos a gran escala con memoria disponible fija. Por el contrario, la insensibilidad del estimador JSD a las estrategias de muestreo negativo y su respetable rendimiento en muchas tareas lo hacen más adecuado para nuestra tarea. En particular, calculamos *I* (*hi*; *xj*) en el primer término de la Eq. por (10) 30 31 20 (10) *donde Dw* : *D* × *D* ′ → R es un discriminador construido por una red neuronal con parámetro *w*. *x j* es una muestra negativa de P = P, y *sp*(x) = *loд*(1 + *ex*) denota la función soft-plus. Como se mencionó en la § maximizamos *I* (*wij*; *aij*) calculando su entropía cruzada en lugar de usar el estimador JSD ya que los grafos que abordamos en los experimentos no están ponderados. Formalmente, calculamos 3.2, Al maximizar I (hi ; Gi ) con la suma de la Eq. (11) y la Eq. (12) sobre todos los vectores ocultos H , llegamos a nuestra función objetivo completa para la optimización de GMI. Además, podemos agregar parámetros de compensación para equilibrar la Eq. (11) y la (12) para mayor flexibilidad. 4 EXPERIMENTOS En esta sección, evaluamos empíricamente el rendimiento de GMI en dos tareas comunes: clasificación de nodos (transductiva e inductiva) y predicción de enlaces. Una comparación adicional relativamente justa entre GMI y otros dos algoritmos no supervisados (EP-B y DGI) demuestra aún más su efectividad. También proporcionamos la visualización de gráficos t-SNE y analizamos la influencia de la profundidad del modelo. 4.1 Conjuntos de Datos Para evaluar la calidad de nuestro enfoque en cada tarea, adoptamos 4 o 5 conjuntos de datos de referencia comúnmente utilizados en trabajos anteriores [ , , Las estadísticas detalladas se dan en la Tabla 16 25 41]. 1. En la tarea de clasificación, Cora, Citeseer y PubMed [ ]2 son redes de citas donde los nodos corresponden a documentos y los bordes representan citas. Cada documento está asociado con un vector de representación de bolsa de palabras y pertenece a una de las clases predefinidas. Siguiendo la configuración transductiva en [ , ], el entrenamiento se realiza en todos los nodos, y se utilizan 1000 nodos de prueba para la evaluación. Reddit3 es una gran red social que consta de numerosos posts interconectados de Reddit creados durante septiembre de 2014 [ ]. Los posts se tratan como nodos y los bordes significan que el mismo usuario comenta. 38 25 41 16 ![ Tabla 1: Estadísticas de los conjuntos de datos utilizados en los experimentos. ](https://cdn.hackernoon.com/images/InxBRjRIs6M1kdhuWcyNHiiUrxm1-eph3eec.jpeg) La etiqueta de clase es la comunidad y nuestro objetivo es predecir a qué comunidad pertenecen diferentes posts. PPI3 es un conjunto de datos de interacción proteína-proteína que incluye múltiples grafos relacionados con diferentes tejidos humanos [ ]. Los conjuntos de genes posicionales, los conjuntos de genes posicionales y las firmas inmunológicas se consideran características de los nodos, y cada nodo tiene un total de 121 etiquetas dadas por conjuntos de ontología génica. Clasificar las funciones de las proteínas que pueden pertenecer a múltiples géneros a través de diferentes grafos PPI es nuestro objetivo. Siguiendo la configuración inductiva en [ ], en Reddit, alimentamos los posts realizados en los primeros 20 días al modelo para entrenamiento, mientras que los restantes se utilizan para pruebas (con un 30% utilizado para validación); en PPI, hay 20 grafos para entrenamiento, 2 para validación y 2 para pruebas. Cabe enfatizar que, para Reddit y PPI, las pruebas se realizan en nodos y grafos no vistos (no entrenados), mientras que los tres primeros conjuntos de datos se utilizan para el aprendizaje transductivo. 52 16 En la tarea de predicción de enlaces, BlogCatalog4 es un sitio web de blogs sociales donde los bloggers se siguen mutuamente y registran sus blogs bajo categorías predefinidas de 6 categorías. Las etiquetas de los blogs se toman como características de los nodos. Flickr4 es un sitio web de intercambio de imágenes donde los usuarios interactúan con otros y forman una red social. Los usuarios suben fotos con 9 clases predefinidas y seleccionan etiquetas adjuntas para reflejar sus intereses, lo que proporciona información de atributos. La descripción de Cora y PPI se omite por brevedad. Siguiendo la configuración experimental y las métricas de evaluación en, dado un grafo con ciertas porciones de bordes eliminados, nuestro objetivo es predecir estos enlaces faltantes. Para Cora, BlogCatalog y Flickr, eliminamos aleatoriamente el 20%, 50% y 70% de los bordes, asegurando que la red restante obtenida después de la eliminación de bordes esté conectada y utilizamos la red dañada para el entrenamiento. En cuanto a PPI, tratamos directamente parte de los bordes no vistos durante el entrenamiento como objetivos de predicción en lugar de la eliminación de bordes hecha por el hombre.