La multicolinealidad es un desafío bien conocido en la regresión múltiple. El término se refiere a la alta correlación entre dos o más variables explicativas, es decir, predictoras. Puede ser un problema en el aprendizaje automático, pero lo que realmente importa es su caso de uso específico.  multicolinealidad  De acuerdo a  , la multicolinealidad en la regresión múltiple conduce a:   estudio de graham  Estimaciones de parámetros inexactas,  poder disminuido  Exclusión de predictores significativos  Como puede ver, todos estos se relacionan con la importancia variable. En muchos casos, la regresión múltiple se usa con el propósito de comprender algo. Por ejemplo, un ecólogo podría querer saber qué tipo de factores ambientales y biológicos provocan cambios en el tamaño de la población de chimpancés. Si el objetivo es la comprensión, la comprobación de la correlación entre los predictores es una práctica estándar. Dicen que una imagen vale más que mil palabras así que veamos algo de multicolinealidad.  Imagine que desea comprender qué impulsa el consumo de combustible en los automóviles. Podemos usar un conjunto de datos llamado mtcars que tiene información sobre millas por galón (mpg) y otros detalles sobre diferentes modelos de automóviles. Cuando graficamos las correlaciones de todas las variables continuas, podemos ver muchas correlaciones fuertes, es decir, multicolinealidad.  Cuando realicé una regresión lineal simple con estos datos, el peso del automóvil (wt) apareció como un predictor estadísticamente significativo. También vemos que otras variables se correlacionan fuertemente con nuestro objetivo (mpg). Aún así, el modelo no los reconoció como predictores importantes debido a la multicolinealidad.  Cuando pensamos en la regresión, debemos hacer una suposición sobre la distribución, la forma de los datos. Cuando necesitamos especificar una distribución, este es un método paramétrico. por ejemplo, el  podría representar recuentos semanales de casos de infección. Por otro lado, los métodos no paramétricos funcionan con distribuciones no especificadas, lo que suele ser el caso de los algoritmos de aprendizaje automático.   distribución de veneno  Multicolinealidad y Machine Learning  Los algoritmos de aprendizaje automático (ML) generalmente tienen como objetivo lograr la mejor precisión o un error de predicción bajo, no para explicar la verdadera relación entre los predictores y la variable objetivo. Esto puede hacerle creer que la multicolinealidad no es un problema en el aprendizaje automático. De hecho, al buscar "multicolinealidad y aprendizaje automático", uno de los principales resultados de búsqueda fue un  titulado "Por qué la multicolinealidad no es un problema en el aprendizaje automático".   historia  Yo no sería tan directo.   La multicolinealidad puede ser un problema en el aprendizaje automático.  Por ejemplo,  compare dos enfoques no lineales y no paramétricos: red neuronal feedforward y splines de regresión adaptativa multivariante (MARS). El segundo tiene una ventaja sobre las redes neuronales porque mantiene el rendimiento predictivo y ofrece explicabilidad. Por otro lado, MARS lucha con la multicolinealidad mientras que las redes neuronales con su arquitectura redundante no.   Veaux y Ungar  Bueno, usemos redes neuronales para todo, ¿no?  Multicolinealidad y explicabilidad de ML  El problema es que, en la práctica, debe explicar el comportamiento de su sistema, especialmente si toma decisiones.  es importante para que las tecnologías inteligentes no hereden  . Además, suponga que sus usuarios viven dentro de la Unión Europea y usted usa  , por ejemplo, la disminución de la solicitud de crédito en línea. En ese caso, debe poder explicar cómo obtuvo el resultado.   Explicabilidad de ML   sesgos sociales   toma de decisiones automatizada  Pero, ¿y si realmente no te importa explicar y entender nada? Solo desea una bonita caja negra que tenga un rendimiento excepcional. Si ese es el caso, usted está fuera de peligro; puede ignorar los predictores correlacionados pero luego no verificar la importancia de la variable cuando alguien le pregunte al respecto.  Para aquellos interesados en manejar características correlacionadas, aquí hay algunos consejos.  Lidiando con la multicolinealidad  Puedes lidiar con la multicolinealidad por  eliminando variables altamente correlacionadas  extraer nuevas características con el análisis de componentes principales (PCA)  es un método de preprocesamiento donde sus predictores se transforman en vectores ortogonales. En palabras humanas, PCA crea nuevos predictores que explican la varianza en las observaciones mejor que el original. Estos nuevos predictores son combinaciones de los datos originales y los llamamos componentes principales.    PCA  Ambas soluciones lo limitarán de manera diferente. Como  señalar, la eliminación de las variables correlacionadas puede conducir a una pérdida de poder estadístico, es decir, el modelo puede  predictores como con el ejemplo del automóvil de antes. PCA hace que el modelo sea difícil de interpretar, aunque no imposible. Desafortunadamente, no existe una solución milagrosa, pero a menudo no será posible desentrañar completamente las variables explicativas.   bueno y duro   extrañar significativa  Conclusión  Las variables predictivas correlacionadas pueden ser un problema en el aprendizaje automático y los métodos no paramétricos. La multicolinealidad no es su amiga, por lo que siempre debe verificar dos veces si su método elegido puede manejarla automáticamente. Aún así, la solución dependerá de su caso de uso; principalmente, si necesita explicar lo que el modelo ha aprendido o no.  Para una inmersión profunda en el tema, recomiendo leer  .   estudio de graham

Target

2022 - HackerNoon Contributor of the Year - Communication

2022 - HackerNoon Contributor of the Year - Data Science

2022 - HackerNoon Contributor of the Year - Design

2022 - HackerNoon Contributor of the Year - Learning

2022 - HackerNoon Contributor of the Year - Science Fiction

2022 - HackerNoon Contributor of the Year - Self Improvement

Super Career Strategist of 2022

Instagram

Newsletter

Researcher, Data Scientist and Writer

Este audio es producido en el idioma original de la historia!

Demasiado Largo; Para Leer

Multicolinealidad y su importancia en el aprendizaje automático

Multicolinealidad y su importancia en el aprendizaje automático

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps