Introducción puede ser el problema más frustrante del En este artículo, veremos , , lo es más importante, . El sobreajuste aprendizaje automático. qué es cómo detectarlo y que cómo evitar que suceda ¿Qué es el sobreajuste? La palabra se refiere a un modelo que modela demasiado bien los datos de entrenamiento. En lugar de aprender la general de los datos, el modelo aprende el para cada punto de datos. sobreajuste distribución resultado esperado Esto es lo mismo que a un examen de matemáticas en lugar de . Debido a esto, el modelo no puede . Todo está bien mientras estés en un , pero tan pronto como salgas, estás perdido. memorizar las respuestas saber las fórmulas generalizarse territorio familiar Parece que este pequeño hacer una multiplicación. Solo las respuestas a las preguntas que ya ha visto. no sabe cómo recuerda La parte complicada es que, a primera vista, que su modelo funciona bien porque tiene un muy en los datos de . Sin embargo, tan pronto como le pida que . puede parecer error pequeño entrenamiento prediga nuevos puntos de datos, fallará Cómo detectar el sobreajuste Como se indicó anteriormente, el sobreajuste se caracteriza por la del modelo . Para probar esta capacidad, un método simple consiste en dividir el conjunto de datos en dos partes: el de y el conjunto de incapacidad para generalizar conjunto entrenamiento prueba . Al seleccionar modelos, es posible que desee dividir el conjunto de datos en tres, explico por qué aquí . El conjunto de representa aproximadamente el de los datos y se utiliza para entrenar el modelo (¿no lo dices?). entrenamiento 80% disponibles El conjunto de consta del restante del conjunto de datos y se utiliza para la del modelo en datos que había . prueba 20% probar precisión nunca antes visto Con esta división, podemos verificar el rendimiento del modelo en para obtener información sobre va el proceso de y detectar el cuando ocurre. muestra los diferentes casos. cada conjunto cómo entrenamiento sobreajuste Esta tabla El sobreajuste puede verse como la entre el error de y el . diferencia entrenamiento de prueba para que esta técnica funcione, debe asegurarse de que ambas partes sean de sus datos. Una es el orden del conjunto de datos antes de . Nota: representativas buena práctica mezclar dividirlo El sobreajuste puede ser bastante porque tus justo antes de . Afortunadamente, existen algunos trucos para que suceda. desalentador aumenta esperanzas aplastarlas brutalmente evitar Cómo evitar el sobreajuste: modelo y datos , podemos intentar observar los de nuestro sistema para encontrar soluciones. Esto significa cambiar que estamos usando, o qué . Primero componentes los datos modelo Reúna más datos Tu modelo solo puede cierta información. Esto significa que cuantos le proporciones, es que se . La razón es que, a medida que más , el modelo puede todas las muestras y se a para progresar. almacenar más datos de entrenamiento menos probable sobreajuste agrega datos no sobreajustar ve obligado generalizar La recopilación de más ejemplos debe ser el en cada tarea de ciencia de datos, ya que más datos darán como resultado una del modelo, al tiempo que se reduce la posibilidad de . primer paso mayor precisión sobreajuste Cuantos obtenga, probable es que el modelo se más datos menos sobreajuste. Aumento de datos y ruido Recopilar más datos es un proceso y . Si no puede hacerlo, debe intentar que sus datos como si fueran . Para hacer eso, use para que cada vez que el modelo procese una muestra, sea ligeramente diferente de la vez anterior. Esto hará que sea para el modelo los de cada muestra. tedioso costoso aparezcan más diversos técnicas de aumento de datos más difícil aprender parámetros ve como una de la muestra original. Cada iteración variación diferente Otra buena práctica es agregar ruido: : Esto tiene el mismo propósito que el aumento de datos, pero también trabajará para hacer que el sea a que podría encontrar . A la entrada modelo robusto las perturbaciones naturales en la naturaleza : Una vez más, esto hará que la formación sea más diversificada. A la salida En ambos casos, debe asegurarse de que la no sea demasiado . De lo contrario, podría terminar respectivamente la información de la entrada en el ruido_, o_ hacer que la salida sea Ambos dificultarán el proceso de formación. Nota: magnitud del ruido grande ahogando incorrecta. Simplifica el modelo Si, incluso con todos los datos que tiene ahora, su modelo logra sobreajustar su conjunto de datos de entrenamiento, es posible que el modelo sea . A continuación, podría intentar del modelo. aún demasiado poderoso reducir la complejidad Como se indicó anteriormente, un modelo solo puede sobreajustar de datos. Al reducir progresivamente su complejidad (cantidad ), puede hacer que el modelo sea lo suficientemente para que pero lo suficientemente para de sus datos. Para hacer eso, es conveniente observar el en según la complejidad del modelo. esa cantidad de estimadores en un bosque aleatorio , cantidad de parámetros en una red neuronal, etc. simple no se sobreajuste, complejo aprender error ambos conjuntos de datos Esto también tiene la ventaja de hacer que el modelo sea , y . más ligero entrenar más rápido correr más rápido A la izquierda, el modelo es demasiado simple. A la derecha se sobreencaja. Cómo prevenir el sobreajuste - Proceso de entrenamiento Una posibilidad es cambiar la forma en que se realiza el . Esto incluye alterar la o la forma en que el modelo durante el entrenamiento. segunda entrenamiento función de pérdida funciona Terminación anticipada En la mayoría de los casos, el modelo aprendiendo una distribución correcta de los datos y, en algún momento, comienza a sobreajustar los datos. Al identificar el en que este , puede de que ocurra el sobreajuste. Como antes, esto se hace observando el a lo largo del tiempo. comienza momento ocurre cambio detener el proceso de aprendizaje antes error de entrenamiento Cuando el comienza a , ¡es hora de detenerse! error de prueba aumentar Cómo prevenir el sobreajuste — Regularización La es un proceso de del del modelo para el . Puede tomar muchas formas diferentes, y veremos un par de ellas. regularización restricción aprendizaje reducir sobreajuste Regularización L1 y L2 Una de las técnicas de regularización más y conocidas es a la . Los más comunes se denominan y : poderosas agregar una penalización función de pérdida L1 L2 La tiene como objetivo minimizar el de los pesos penalización L1 valor absoluto La tiene como objetivo minimizar la al de los pesos. penalización L2 magnitud cuadrado Con la penalización, el modelo se ve obligado a en sus pesos, ya que ya no puede hacerlos . Esto hace que el modelo sea , lo que ayuda a combatir el sobreajuste. hacer concesiones arbitrariamente grandes más general La penalización tiene la ventaja adicional de que impone lo que significa que tiene una tendencia a establecer en 0 los parámetros . Esto ayuda a identificar las en un conjunto de . La desventaja es que a menudo es tan como la penalización . L1 la selección de funciones , menos útiles características más relevantes datos no eficiente desde el punto de vista computacional L2 Así es como se verían las matrices de peso. Observe cómo la matriz es con muchos ceros y la matriz tiene . L1 escasa L2 pesos ligeramente más pequeños posibilidad es durante el entrenamiento, lo que ayuda a la . Otra agregar ruido a los parámetros generalización Para Deep Learning: Dropout y Dropconnect Esta técnica es específica de ya que se basa en el hecho de que procesan la información de una a la siguiente. La idea es desactivar aleatoriamente ( ) o ( ) durante el entrenamiento. extremadamente efectiva Deep Learning, las redes neuronales capa neuronas dropout conexiones dropconnect Esto obliga a la red a volverse , ya que ya no puede de o para extraer . Una vez realizado el entrenamiento, se restauran todas las neuronas y conexiones. Se ha demostrado que esta técnica es a tener un , lo que la reduciendo así el sobreajuste. redundante depender neuronas conexiones específicas características específicas algo equivalente enfoque de conjunto favorece generalización, Conclusión Como ya sabrá, el sobreajuste es uno de los principales problemas a los que se enfrenta el . Puede ser un de cabeza si no sabes cómo . Con las técnicas presentadas en este artículo, ahora debería poder que sus modelos hagan en el proceso de aprendizaje y obtener los que se merece. científico de datos verdadero dolor detenerlo evitar trampa resultados 🎉 ¡Has llegado al final! Espero que hayas disfrutado este artículo. Si lo hiciste, siéntete libre de darle me gusta, compartirlo, explicárselo a tu gato, sígueme en medium o haz lo que quieras. 🎉 Si te gusta la ciencia de datos y la inteligencia artificial, suscríbete al boletín para recibir actualizaciones sobre artículos y mucho más.
