Funciones de base radial: tipos, ventajas y casos de uso

Este es un artículo introductorio que explica la intuición básica, la idea matemática y el alcance de las funciones de base radial en el desarrollo de modelos predictivos de aprendizaje automático.

Tabla de contenido

1. Introducción
2. Intuición básica de una función de base radial
3. Tipos de función de base radial
4. El concepto de la Red RBF
5. Alcance y ventajas de RBF
6. Conclusión
7. Referencias

Introducción

En el aprendizaje automático, la resolución de problemas basada en algoritmos basados en hiperplanos depende en gran medida de la distribución de los puntos de datos en el espacio. Sin embargo, es un hecho conocido que los datos del mundo real rara vez siguen suposiciones teóricas.

Hay muchas funciones de transformación que pueden convertir la forma natural de los puntos de datos en distribuciones teóricamente recomendadas que perseveran en los patrones ocultos de los datos. Radial Basis es una de esas funciones reconocidas que se analiza en muchos libros de texto de aprendizaje automático. En este artículo, aprenderemos sobre la intuición básica, los tipos y el uso de la función de base radial.

La intuición básica de una función de base radial

La función de base radial es una función matemática que toma una entrada de valor real y genera una salida de valor real basada en la distancia entre el valor de entrada proyectado en el espacio desde un punto fijo imaginario ubicado en otro lugar.

Esta función se usa popularmente en muchos algoritmos de aprendizaje automático y aprendizaje profundo, como máquinas de vectores de soporte, redes neuronales artificiales, etc.

Entendamos el concepto y el uso de esta función matemática.

En tiempo real, cada vez que resolvemos problemas complejos de aprendizaje automático utilizando algoritmos como SVM, necesitamos proyectar todos nuestros puntos de datos en un espacio multidimensional imaginario donde cada característica será una dimensión.

Supongamos que tenemos un problema de clasificación para predecir si un estudiante aprobará o reprobará el examen.

Tenemos las siguientes características como variables independientes:

• Notas en exámenes internos
• Marcas en proyectos
• porcentaje de asistencia

Entonces, estas 3 variables independientes se convierten en 3 dimensiones de un espacio como este:

Consideremos que nuestros puntos de datos se ven así donde:

• El color verde representa a los alumnos que aprobaron el examen.

• El color rojo representa a los alumnos que reprobaron el examen.

  

  
  

  Ahora, SVM creará un hiperavión que viaje a través de estas 3 dimensiones para diferenciar a los estudiantes reprobados y aprobados.
  
  

Entonces, técnicamente ahora el modelo entiende que todos los puntos de datos que caen en un lado del hiperplano pertenecen a los estudiantes que aprobaron los exámenes y viceversa.

En nuestro ejemplo, fue fácil crear el hiperplano porque un hiperplano lineal y recto fue suficiente para discriminar las 2 categorías. Pero en proyectos complejos en tiempo real, estas relaciones pueden violarse en muchos escenarios. Especialmente cuando tiene cientos de variables independientes, no hay posibilidad de obtener una relación lineal entre los puntos de datos, por lo que será difícil crear un hiperplano óptimo.

En tales escenarios, los investigadores generalmente aplican la función de base radial a cada uno de los puntos de datos para que puedan pasar un hiperplano lineal a través de los puntos de datos para resolver el problema fácilmente.

Considere que nuestros puntos de datos se ven así en el espacio-

Está claro que no podemos usar un hiperplano lineal de modo que pueda agrupar los puntos de datos según sus clases.

RBF nos ayudará en este tipo de escenarios.

Algunos investigadores generalmente proyectarán estos puntos de datos en dimensiones mucho más altas para que la distancia entre los puntos de datos aumente y puedan aplicar alguna función (RBF o cualquier otra función) para construir un hiperplano. Pero no es necesario construir dimensiones altas ya que siempre es decisión del estadístico/investigador quien entiende los patrones en los datos.

A continuación, tenemos que marcar un punto imaginario en el espacio como este en cualquier lugar que necesitemos.

Después de eso, necesitamos dibujar algunos círculos concéntricos basados en este punto imaginario.

La distancia entre el centro y cualquier punto de datos ubicado en el límite del círculo se llama radio.

Después de calcular el radio, debemos pasar este valor dentro de una función matemática (RBF) que devolverá un valor real. El valor devuelto será la magnitud transformada de un punto de datos en particular utilizado para procedimientos posteriores.

Tipos de funciones de base radial

Existen varios tipos de funciones de base radial. Cada uno de ellos transformará el valor de entrada de una manera diferente. Algunos de ellos son-

Función de base radial multicuadrática

Donde,

• r es el radio
• ε es una constante

La función se verá así con respecto al tiempo,

Función de base radial multicuadrática inversa

Donde,

• r es el radio
• ε es una constante

Función de base radial gaussiana

Donde,

• r es el radio
• ε es una constante

Explicaré intuitivamente qué harán estas funciones intuitivamente en el espacio. Hay 2 procesos diferentes que se realizan mediante estas funciones:

• Expansión de los puntos de datos en la dirección horizontal
• Comprimir los puntos de datos en la dirección vertical

El proceso de expansión se verá visualmente algo así:

El proceso de compresión se verá visualmente algo así:

Después de la expansión y la compresión, los puntos de datos se habrían transformado así:

Ahora, podemos construir fácilmente un hiperplano lineal que pueda clasificar los puntos de datos como este:

El Concepto de la Red RBF

A veces, RBF también se usa junto con redes neuronales artificiales con una capa oculta. En tales tipos de redes, RBF se utilizará como funciones de activación en las capas ocultas. Aparte de la capa oculta, habrá una capa de entrada que contiene varias neuronas donde cada una de ellas representa una variable característica y la capa de salida tendrá una suma ponderada de salidas de la capa oculta para formar las salidas de la red.

Estas redes se denominan redes RBF.

Alcance y ventajas de RBF

• Con la ayuda de la función RBF, es posible resolver problemas en conjuntos de datos que tienen distribuciones no lineales complejas.
• La función RBF tiene una fuerte tolerancia al ruido de entrada
• En la red neuronal RBF, solo habrá una capa oculta que es muy fácil de manejar.
• Los patrones ocultos en la distribución se pueden generalizar mejor después de aplicar la función RBF.
• En la red neuronal RBF, podemos interpretar fácilmente cuál es el significado/función de cada nodo en la capa oculta de la RBNN. Esto es difícil en la percepción multicapa.
• Algunos de los hiperparámetros presentes en el perceptrón multicapa, como el número de nodos en la capa oculta, el número de capas ocultas, etc., son difíciles de optimizar. Pero estos no se encuentran en las redes neuronales RBF.

Conclusión

En este artículo, discutimos una de las funciones de transformación más útiles en el aprendizaje automático. He tratado de explicar este concepto complicado sin muchos cálculos matemáticos profundos de una manera lúcida dirigida a los principiantes en el espacio de aprendizaje de AIML.

Esta función está disponible como una biblioteca incorporada en la mayoría de los lenguajes de programación orientados a la ciencia de datos, como Python o R. Por lo tanto, es fácil de implementar una vez que comprende la intuición teórica. He agregado los enlaces a algunos de los materiales avanzados en la sección de referencias donde puede profundizar en los cálculos complejos si está interesado.

Referencias

1. Funciones de base radial - Wikipedia
2. Redes de función de base radial Archivado el 23 de abril de 2014 en Wayback Machine .
3. Broomhead, David H.; Lowe, David (1988)."Interpolación funcional multivariable y redes adaptativas" (PDF) . Sistemas Complejos . 2 : 321–355. Archivado desde el original (PDF) el 14 de julio de 2014.
4. Michael J. D. Powell (1977). "Procedimientos de reinicio para el método del gradiente conjugado". Programación Matemática . 12 (1): 241–254. doi : 10.1007/bf01593790 . S2CID 9500591 .
5. Sahin, Ferat (1997). Un enfoque de función de base radial para un problema de clasificación de imágenes en color en una aplicación industrial en tiempo real (M.Sc.). Virginia Tech . pag. 26. disco duro: 10919/36847 . Las funciones de base radial fueron introducidas por primera vez por Powell para resolver el problema real de interpolación multivariante.