Convertir horas de entrenamiento en minutos con la aceleración de GPU Si eres un practicante de aprendizaje automático, conoces esta escena bien. Has pasado horas disputando datos, diseñando las características perfectas y diseñando cuidadosamente tu experimento.Todo está listo. y golpear la entrada. model.fit(X, y) Y luego... esperas. La barra de progreso se mueve hacia adelante a un ritmo glacial. Tomas un café. Comprobarás Slack. Regresas, y tu CPU todavía se está moldeando. No puedes probar las características, ajustar los hiperparámetros y mantener tu cabeza en el problema. La parte más cara del aprendizaje automático es tu tiempo XGBoost ha ganado su reputación como la potencia del aumento de gradientes. Es el estándar de oro en los conjuntos de datos de tablas. Pero su fuerza viene con un coste. Cuando se escala a millones de filas, entrenar globos de tiempo de minutos a horas. La mayoría de los practicantes no se dan cuenta de que XGBoost tiene un único parámetro que puede transformar esta experiencia. Fliplo, y tu modelo puede entrenar 5–15x más rápido. No hay cambios en el algoritmo. No hay nuevas bibliotecas. Solo una línea en tu configuración. Que un cambio te lleva de completar un experimento en un día a ejecutar varios. búsquedas de hiperparámetros que una vez se arrastraron durante días ahora se envuelven en horas. En lugar de esperar en una barra de progreso, te quedas en el ciclo, probando ideas mientras están frescas y manteniendo el impulso en tu trabajo. En muchos casos, la aceleración CUDA hace la diferencia entre completar una tarea y nunca terminarla. El parámetro “mágico”: la aceleración de GPU se hace fácil XGBoost tiene soporte integrado para NVIDIA CUDA, por lo que tocar la aceleración de la GPU no requiere nuevas bibliotecas o reescritos de código. Aquí está un flujo de trabajo típico de la CPU: import xgboost as xgb
model = xgb.XGBClassifier(
    ...
    tree_method="hist" # CPU training
)
model.fit(X_train, y_train)
 Para usar tu GPU, simplemente cambies Dos : tree_method "gpu_hist" import xgboost as xgb
model = xgb.XGBClassifier(
    ...
    tree_method="gpu_hist" # GPU training
)
model.fit(X_train, y_train)
 o para los regresores, establecido : device="cuda" import xgboost as xgb
xgb_model = xgb.XGBRegressor(device="cuda") 
xgb_model.fit(X, y)
 Eso es eso. Ya sea que esté utilizando XGBClassifier o XGBRegressor, añadiendo le dice a XGBoost que utilice todos los recursos de GPU de NVIDIA disponibles. Este cambio único puede hacer que su entrenamiento sea de 5 a 15 veces más rápido en grandes conjuntos de datos. device="cuda" La prueba: una aceleración de 46x en la predicción por defecto de Amex Para mostrar la aceleración en acción, comparamos un clasificador XGBoost en un subconjunto de 5,5 millones de filas (50 giga) del conjunto de datos American Express Default Prediction, que incluye 313 características. Hemos entrenado el modelo en dos configuraciones: 
 
 
 CPU: Un M3 Pro de 12 núcleos. GPU: una GPU NVIDIA A100. Aquí está la comparación de los tiempos de entrenamiento: Los resultados son dramáticos: 
 
 
 Tiempo de entrenamiento: 27 minutos NVIDIA GPU Tiempo de entrenamiento: 35 segundos Al alcanzar un rendimiento casi idéntico. En las filas de 50M o 500M, las horas de CPU pueden extenderse a días, mientras que las GPU, construidas para enormes cargas de trabajo paralelas, manejan el crecimiento con un tiempo añadido mínimo. La diferencia entre las métricas como R2, RMSE y MAE es mínima, ya sea en modelos de base o ajustados. Por lo tanto, no está negociando la precisión para la velocidad. Estás obteniendo los mismos resultados en una fracción del tiempo, lo que significa más experimentos e iteraciones. En términos de poder predictivo, ambos modelos están de acuerdo en una cosa: Es la característica más importante, y También hace el top cinco. Más allá de eso, comienzan a divergir. P-2_last B_1_last El modelo de la CPU se centra en características, centrándose en los valores más recientes. El modelo de GPU favorece Características como y b , y , características que la CPU nunca se ubica en sus cinco primeros. _last _mean P-2_mean -22_mean B-1_mean Esto sugiere una hipótesis: el modelo de CPU captura señales de riesgo a corto plazo, respondiendo a los eventos más recientes, mientras que el modelo de GPU captura patrones a largo plazo, evaluando el riesgo de un cliente a lo largo de su historia completa. También esperamos que en conjuntos de datos aún más grandes, a escala de terabytes, las GPUs puedan producir modelos con métricas ligeramente mejores gracias a su capacidad para procesar más datos a la vez. Execute el código y vea la diferencia de rendimiento en este . Try It Yourself: Notas Notas Notas Mejores prácticas para la aceleración de GPU añadiendo Para aprovechar al máximo la aceleración de la GPU, tenga en cuenta estas mejores prácticas: device="cuda" Comience con los datos del tamaño correcto La aceleración de la GPU funciona mejor en los conjuntos de datos que son lo suficientemente grandes como para justificar la transferencia de datos de la RAM del sistema a la memoria de la GPU. El punto dulce es generalmente los conjuntos de datos entre 4 GB y 24 GB, aunque los beneficios pueden aparecer a partir de 2-4 GB. Para conjuntos de datos muy pequeños, el tiempo gastado en transferir datos a la GPU y configurar cálculos paralelos puede realmente superar el tiempo de entrenamiento en sí, lo que hace que el entrenamiento de la CPU sea más rápido en estos casos. Mente tu VRAM: ajusta tus datos a la memoria GPU Las GPU tienen su propia memoria de alta velocidad, llamada VRAM, que está separada de la RAM del sistema. Para el entrenamiento estándar, su conjunto de datos debe encajar completamente en VRAM. Puede comprobar la disponibilidad de VRAM utilizando el El mando. nvidia-smi Como regla general: si su DataFrame utiliza 10 GB de RAM del sistema, necesitará una GPU con más de 10 GB de VRAM. Para cargas de trabajo grandes, las GPU como la NVIDIA A10G (24 GB) o A100 (40–80 GB) son opciones comunes. Optimiza los tipos de datos para reducir la huella de la memoria Una de las maneras más sencillas de guardar VRAM es mediante el uso de tipos de datos más eficientes.Pandas por defecto a tipos de 64 bits (float64, int64), que suelen ser más precisos de lo necesario. Convertir columnas a tipos de 32 bits (float32, int32) puede reducir el uso de la memoria en aproximadamente la mitad sin afectar la precisión del modelo. Este pequeño ajuste puede hacer una gran diferencia cuando se trabaja con grandes conjuntos de datos en una GPU. df['my_column'].astype('float32') Acelerar la preparación de datos con cudf.pandas A menudo, el mayor obstáculo no es el entrenamiento en sí mismo, sino la preparación de los datos.Mover los datos hacia adelante y hacia atrás entre la CPU y la memoria de la GPU agrega sobrepeso que puede ralentizar su flujo de trabajo. La biblioteca resuelve esto proporcionando un reemplazo de descarga con GPU para pandas. cudf.pandas Comenzando su script con la importación Todas las operaciones de carga de datos y de ingeniería de características se ejecutan directamente en la GPU. Cuando pasas este DataFrame nativo de la GPU a XGBoost, elimina el exceso de transferencia y logra enormes aceleraciones de fin a fin. cudf.pandas as pd Para conjuntos de datos mayores que VRAM: Utilice memoria externa ¿Qué pasa si tu conjunto de datos es de 100 GB, pero tu GPU solo tiene 24 GB de VRAM?Con XGBoost 3.0, el soporte de memoria externa te permite manejar esto procesando los datos en pedazos de memoria del sistema o disco. Esto permite un entrenamiento acelerado por GPU para conjuntos de datos a escala de terabytes en una única GPU, sin perder el rendimiento. Más allá de VRAM: entrenamiento de conjuntos de datos a escala de terabytes con XGBoost 3.0 En el pasado, los conjuntos de datos más grandes que el VRAM de una GPU eran un límite duro para la capacitación acelerada. El lanzamiento de XGBoost 3.0 elimina esta barrera con una nueva Esto le permite entrenar en conjuntos de datos masivos al transmitir datos de la memoria del sistema o disco directamente a la GPU para procesamiento. external memory capability Esto hace que sea posible aumentar el gradiente escalable en cargas de trabajo a escala de terabytes en una única GPU, una tarea que anteriormente requería grandes grupos distribuidos.En hardware moderno como el NVIDIA Grace Hopper Superchip, este enfoque puede ser hasta 8 veces más rápido que un sistema de CPU multi-core, todo manteniendo el rendimiento y la precisión. Si bien esta característica funciona con el objeto DMatrix de núcleo en lugar del enrollador Scikit-Learn, los parámetros siguen siendo familiares. Cuando la pareja con Para la preparación de datos, todo el flujo de trabajo para los conjuntos de datos de escala de terabytes ahora puede ejecutarse en la GPU. Los conjuntos de datos masivos ahora le dan la escala necesaria para construir modelos más potentes en una fracción del tiempo. cudf.pandas Reclama tu tiempo Esperar que los modelos se entrenen, que los datos se procesen o que los experimentos terminen ralentiza tu capacidad para probar ideas, descubrir insights y crear valor. La aceleración GPU de NVIDIA le permite recuperar ese tiempo. Con un solo cambio de parámetro, puede entrenar modelos de 5 a 15 veces más rápido, ejecutar tuberías de datos de extremo a extremo en la GPU e incluso trabajar con conjuntos de datos más grandes que la memoria de su GPU. Las herramientas están listas, las integraciones son suaves y la configuración es sencilla.Iteracin más rápida significa más experimentos, más descubrimientos y, en última instancia, mejores modelos. Desde aquí, tienes varias maneras diferentes de sumergirte: 
 
 
 
 Siga el Notebook anotado por NVIDIA para una guía paso a paso. Mira el paseo completo en el vídeo de YouTube. Subir a la documentación oficial __XGBoost t__o explorar todas las opciones de configuración de cuda.GPU Acceleration Made Ea Notas Notas Vídeo YouTube Vídeo YouTube No tomes mi palabra por ello.Run my Amex y sienta cuánto más rápido puede ser su flujo de trabajo. , notebook , Notas Notas El edificio feliz, Paolo

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

👉 Join The Tech Audience Accelerator 👈

Read My Stories

Este audio es producido en el idioma original de la historia!

Demasiado Largo; Para Leer

Make resilience your competitive advantage

Deja de esperar: Haz que XGBoost sea 46 veces más rápido con un cambio de parámetro

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Telegram: el puente de Crypto Island hacia el continente

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Telegram: el puente de Crypto Island hacia el continente

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps