Hemos dado por sentado los perceptrones multicapa (MLP) clásicos y hemos construido muchas arquitecturas a su alrededor. Los MLP son parte integral de cada LLM o modelo básico que vemos hoy, como chatGPT, LLAMA, DALLE y CLIP. O incluso modelos de reconocimiento simples como YOLO-v*.  ¿Qué pasa si ahora les digo que tenemos un competidor para las mismas MLP? Hay un nuevo periódico en la ciudad llamado “Red Kolmogorov-Arnold”, o KAN para abreviar, que desafía a los MLP. Si la solución que proponen realmente escala, entonces podremos tener la próxima generación de redes neuronales, lo que nos acercará un paso más a la Inteligencia General Artificial (AGI).  Si bien los MLP comprenden funciones de activación como ReLU, sigmoide, tanh, GeLU, etc., KAN propone que aprendamos estas funciones de activación. Entonces, ¿cómo lo hace KAN? ¿Cuáles son las matemáticas detrás de esto? ¿Cómo se implementa? ¿Y cómo entrenamos a los KAN?  He hecho todo lo posible para resumir el documento KAN aquí. Puede optar por leer esta esencia o leer el artículo, ¡que tiene 48 páginas!  Explicación visual  Si eres como yo y te gustaría visualizar las cosas para entenderlas mejor, aquí tienes un vídeo de este artículo:   https://youtu.be/M-xNt5Nl75Q?si=9tIJP2KHPm2-n23m&embedable=true  MLP: el problema  Comencemos con los MLP, con los que estamos bastante familiarizados. Los MLP se componen de nodos y aristas. En cada nodo, se suman las entradas y se aplican activaciones como ReLU, GeLU y SeLU para producir la salida para ese nodo en particular.   Estas funciones de activación nunca cambian durante el proceso de entrenamiento. En otras palabras, no tienen ningún parámetro. No son lo suficientemente inteligentes como para sintonizarse con un conjunto de datos de entrenamiento determinado. Entonces, lo que se entrena o actualiza durante el entrenamiento son los pesos de cada uno de estos nodos.  Ahora bien, ¿qué pasa si cuestionamos la suposición de que la función de activación debe arreglarse y hacerla entrenable? Entonces, ese es el desafío que la red KAN intentó abordar. Las funciones de activación de la red KAN se actualizan durante el proceso de formación. Antes de profundizar más, comencemos con los polinomios y el ajuste de curvas.  Polinomios y ajuste de curvas  Entonces, la idea fundamental de los KAN es que cualquier función compuesta multivariante se puede descomponer en una suma de varias funciones que son variables únicas.   Por ejemplo, digamos que tenemos una ecuación de grado 3 donde y=x³ como lo representa la curva amarilla de arriba. Y otra ecuación de grado 2, y=x², como se muestra en la curva azul en la animación anterior. Podemos ver en esta visualización que usando x² nunca podremos lograr la curvatura lograda por x³.  Supongamos que tenemos los datos representados por los puntos rojo y azul a continuación y deseamos encontrar el límite de clasificación binaria entre las dos clases.   Usando un polinomio de segundo orden,   , no podremos encontrar el límite entre los dos ya que la curva x² tiene forma de “U”, pero los datos tienen forma de “S”. Aunque usar   es adecuado para estos datos, conlleva un costo computacional adicional. Una solución diferente podría ser usar   cuando la entrada   es negativa pero usar -   cuando x es positiva (curva azul dibujada a mano en la figura anterior). x² x³ x² x x²  Lo único que hemos hecho es sumar dos polinomios de menor grado para lograr una curva con mayor grado de libertad. Esta es exactamente la idea detrás de las redes KAN.  Un problema de juguete  Tomemos ahora un problema de juguete un poco más complejo en el que sabemos que los datos se generan mediante una ecuación simple,   . Entonces tenemos 4 variables de entrada y tres operaciones, a saber, exponente, seno y cuadrado. Entonces, podemos elegir cuatro nodos de entrada con tres capas, cada una dedicada a tres operaciones diferentes, como se muestra a continuación.  y=exp(sin(x1² + x2²) + sin(x3² + x4²))  Red KAN para un problema de juguete con cuatro entradas y tres funciones básicas para cálculos: exponente, sinusoide y cuadrado  Después del entrenamiento, los nodos convergerán en funciones al cuadrado, sinusoide y exponente para ajustarse a los datos.  Como se trata de un problema de juguete, conocemos la ecuación de donde provienen los datos. Pero en la práctica   Una forma de solucionar este problema es mediante el uso de B-splines. no conocemos la distribución de los datos del mundo real.  Splines y B-splines  La idea fundamental de los B-splines es que cualquier función o curva dada se puede representar como una combinación de funciones o curvas más simples. Estas funciones más simples se llaman funciones básicas. Por ejemplo, tomemos la curva roja en la siguiente figura. En aras de la simplicidad, intentemos representar esto con sólo dos funciones básicas.  Podemos descomponerlo en 3 puntos ya que lo vamos a representar con la suma de dos funciones base. Estos puntos se llaman nudos. Puede haber cualquier número   de funciones básicas. El parámetro que controla cómo funciona esta base de combinaciones es   Puede haber discontinuidades en los nudos cuando “unimos” dos curvas. La solución es restringir la curvatura de las curvas en los nudos para obtener una curva suave. Por ejemplo, podemos restringir la pendiente de las dos curvas para que sea la misma en los nudos, como lo muestra la flecha verde en la siguiente figura.  n c.  Como no podemos imponer tal restricción en la red neuronal, han introducido   en el artículo. Esto actúa más como una regularización. Prácticamente, esta es la activación SeLU que se agrega a la función spline estándar como se ve en el documento siguiente. funciones de activación residuales Cuadrículas spline y grano fino de KAN  Los KAN introducen una nueva forma de formación llamada   . Con lo que todos estamos familiarizados es con el ajuste fino, donde agregamos más parámetros al modelo. Sin embargo, en el caso de grano fino, podemos mejorar la densidad de las rejillas spline. Esto es lo que llaman    de grano fino extensión de la red.  Como podemos ver en la figura anterior del artículo, el grano fino consiste simplemente en hacer que las cuadrículas de B-splines sean densas para que se vuelvan más representativas y, por lo tanto, más poderosas.  Complejidad computacional  Una de las desventajas de los splines es que son recursivos y, por tanto, costosos desde el punto de vista computacional. Su complejidad computacional es O (N²LG), que es mayor que la complejidad habitual de O (N²L) para los MLP. La complejidad adicional proviene de los intervalos de la cuadrícula G.  Los autores defienden este problema inherente mostrando que:  La cantidad de parámetros que necesita KAN es menor en comparación con los MLP para el mismo problema.  Los KAN convergen rápida y eficientemente durante el entrenamiento, por lo que necesitan menos tiempo de entrenamiento.  Veremos las tramas de estas defensas en el apartado de resultados. Por ahora, analicemos más otra especialidad de los KAN.  Interpretabilidad y elección de capas KAN  A medida que los KAN aprenden funciones, no es simplemente una caja negra como los MLP donde podemos simplemente diseñarlos eligiendo la profundidad y el ancho del MLP para un dato o problema determinado. Entonces, para hacer que los KAN sean más interpretables y diseñar una buena red KAN, debemos seguir los pasos a continuación:    Comenzamos con una red KAN más grande de lo previsto e introducimos la regularización introduciendo la norma L1 de la función de activación en lugar de las entradas como hacemos generalmente con el aprendizaje automático. Esparsificación.    Una vez que la red dispersa está entrenada, podemos eliminar los nodos innecesarios que están por debajo de un cierto umbral en un criterio o puntuación establecidos. Poda.    Cuando sabemos vagamente qué función constituye un dato determinado, podemos configurar algunos nodos para que tomen esa función. A esto se le llama simbolización. Por ejemplo, si trabajamos con ondas sonoras, la mayoría de los datos son sinusoidales, por lo que nos facilitamos la vida configurando algunos de los nodos como sinusoides. El marco nos permite hacerlo proporcionando una función de interfaz llamada   donde   son capas y ubicaciones de nodos, y   es la función que puede ser    Simbolización. fix_symbolic(l,i,j,f) l, i, j f sine, cosine, log, etc  Un resumen de los diferentes pasos sugeridos en el documento para llegar a una red KAN entrenada  Los diferentes pasos se han resumido en la figura anterior. Comenzamos con una red grande y la dispersamos (paso 1), podamos la red resultante (paso 2), establecemos alguna simbolización (paso 3), entrenamos la red (paso 4) y finalmente llegamos al modelo entrenado.  Experimentos y resultados  Utilizando los pasos mencionados anteriormente, han entrenado redes KAN para cinco problemas diferentes de juguetes para ilustrar su efectividad y compararlos con los MLP. Las conclusiones clave de la comparación son:  KAN se entrena mucho más rápido que los MLP, comprometiendo así la complejidad computacional inherente a él.  KAN puede hacer con menos parámetros lo que MLP puede hacer con muchos más  Los KAN convergen muy suavemente con una pérdida decreciente rápida en comparación con los MLP  El primer punto está representado por la línea azul gruesa en los cinco gráficos en el gráfico superior de arriba para los cinco problemas de juguetes. Los dos últimos puntos se ilustran mediante el gráfico en la parte inferior que muestra las curvas de pérdida y el recuento de parámetros para resolver cualquier problema determinado.   Olvido catastrófico  La siguiente conclusión es que los KAN son mucho mejores que los MLP en el catastrófico problema del olvido. Si alimentamos datos de secuencia para el aprendizaje continuo, los KAN parecen recordar los datos pasados mucho mejor en comparación con los MLP. Esto se muestra en la siguiente figura, donde KAN reproduce las 5 fases de los datos, pero MLP tiene problemas.   Otros resultados  También han realizado extensos experimentos para demostrar que KAN se puede utilizar para problemas que involucran diferenciales parciales y ecuaciones físicas. En lugar de entrar en esos detalles, veamos cuándo elegir KAN frente a MLP.  Elegir entre KAN y MLP  Han proporcionado la siguiente figura para guiarnos sobre cuándo elegir KAN en lugar de MLP. Entonces, elija KAN si,  Se trata de datos estructurales como formas de onda o gráficos.  desea tener un aprendizaje continuo a partir de los datos  ¡No te importa mucho el tiempo de entrenamiento!  datos de alta dimensión   De lo contrario, las MLP siguen ganando.  Gritar     Si te gustó este artículo, ¿por qué no me sigues?   Gorjeo ¿Dónde comparto actualizaciones de investigaciones de los mejores laboratorios de IA todos los días de la semana?     También suscríbete a mi   Canal de Youtube donde explico conceptos y artículos de IA visualmente.  Discusión y conclusión  En mi opinión, los KAN no están aquí para reemplazar a los MLP en cuanto a cómo los transformadores arrasaron limpiamente el panorama de la PNL. Más bien, los KAN resultarán útiles para problemas especializados en matemáticas y física. Incluso entonces, creo que necesitamos muchas más mejoras. Pero para los problemas de big data que se resuelven con modelos básicos, los KAN tienen un largo camino por recorrer, al menos en su estado actual.  Además, el enfoque de capacitación y el diseño de la arquitectura KAN tiende a desviarse de la forma estándar de diseñar y entrenar redes neuronales modernas. Sin embargo, la página de GitHub ya tiene 13.000 estrellas y 1,2.000 bifurcaciones, lo que indica que está preparada para algo. Esperemos y observemos este espacio.  

This story contains new, firsthand information uncovered by the writer.

Why not checkout more about AI Bites!

Read My Stories

Este audio es producido en el idioma original de la historia!

Comparación de la red Kolmogorov-Arnold (KAN) y los perceptrones multicapa (MLP)

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

Telegram: el puente de Crypto Island hacia el continente

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

Telegram: el puente de Crypto Island hacia el continente

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps