Contenido Overview 
 
 
 
 
 
 
 
 
 
 
 
 
 Recopilación de datos de rendimiento Profilaxis de APIs Creación de perfiles de entrenamiento personalizado Perfil de casos de uso Mejores prácticas para el rendimiento óptimo del modelo Optimización de la tubería de datos de entrada Uso de threading y ejecución paralela Misceláneos Mejorar el rendimiento del dispositivo Recursos adicionales Limitaciones conocidas Configuración de múltiples GPUs en TensorFlow 2.2 y TensorFlow 2.3 Recopilación de datos de rendimiento El Profiler TensorFlow recopila las actividades del anfitrión y los rastros de GPU de su modelo TensorFlow. Puede configurar el Profiler para recopilar datos de rendimiento a través del modo programático o el modo de muestreo. Profilaxis de APIs Puede utilizar las siguientes API para realizar el perfil. 
 
 Modo programático utilizando el TensorBoard Keras Callback (tf.keras.callbacks.TensorBoard) # Profile from batches 10 to 15
tb_callback = tf.keras.callbacks.TensorBoard(log_dir=log_dir,
                                             profile_batch='10, 15')

# Train the model and use the TensorBoard Keras callback to collect
# performance profiling data
model.fit(train_data,
          steps_per_epoch=20,
          epochs=5,
          callbacks=[tb_callback])
 
 
 Modo programático utilizando la API de funciones tf.profiler tf.profiler.experimental.start('logdir')
# Train the model here
tf.profiler.experimental.stop()
 
 
 Modo programático utilizando el gestor de contextos with tf.profiler.experimental.Profile('logdir'):
    # Train the model here
    pass
 
 
 Nota: Executar el Profiler durante demasiado tiempo puede causar que se pierda la memoria. Se recomienda perfilar no más de 10 pasos a la vez. Evite perfilar los primeros lotes para evitar inexactitudes debido a la inicialización. Executar el Profiler durante demasiado tiempo puede causar que se pierda la memoria. Se recomienda perfilar no más de 10 pasos a la vez. Evite perfilar los primeros lotes para evitar inexactitudes debido a la inicialización. Note: 
 
 
 
 
 Sampling mode: Perform on-demand profiling by using   to start a gRPC server with your TensorFlow model run. After starting the gRPC server and running your model, you can capture a profile through the   button in the TensorBoard profile plugin. Use the script in the Install profiler section above to launch a TensorBoard instance if it is not already running. tf.profiler.experimental.server.start Capture Profile As an example, # Start a profiler server before your model runs.
tf.profiler.experimental.server.start(6009)
# (Model code goes here).
#  Send a request to the profiler server to collect a trace of your model.
tf.profiler.experimental.client.trace('grpc://localhost:6009',
                                      'gs://your_tb_logdir', 2000)
 Ejemplo de perfiles para múltiples trabajadores: # E.g., your worker IP addresses are 10.0.0.2, 10.0.0.3, 10.0.0.4, and you
# would like to profile for a duration of 2 seconds.
tf.profiler.experimental.client.trace(
    'grpc://10.0.0.2:8466,grpc://10.0.0.3:8466,grpc://10.0.0.4:8466',
    'gs://your_tb_logdir',
    2000)
 Utilice el Diálogo para especificar: Capture Profile 
 
 
 
 
 Una lista delimitada de URL de servicio de perfil o nombres de TPU. Duración del perfil. El nivel de dispositivo, anfitrión y funciones de llamadas de Python. ¿Cuántas veces desea que el Profiler repita la captura de perfiles si no es exitoso al principio? Creación de perfiles de entrenamiento personalizado Para perfilar los circuitos de entrenamiento personalizados en tu código TensorFlow, instrumenta el circuito de entrenamiento con el API para marcar los límites de paso para el Profiler. tf.profiler.experimental.Trace El El argumento se utiliza como prefixo para los nombres de pasos, el argumentos de palabras clave se adjuntan en los nombres de pasos, y el El argumento de la palabra clave hace que este evento de rastro sea procesado como un evento de paso por el Profiler. name step_num _r Como ejemplo, for step in range(NUM_STEPS):
    with tf.profiler.experimental.Trace('train', step_num=step, _r=1):
        train_data = next(dataset)
        train_step(train_data)
 Esto permitirá el análisis de rendimiento basado en pasos del Profiler y causará que los eventos de paso aparezcan en el visualizador de rastro. Asegúrese de incluir el iterador del conjunto de datos dentro del Contexto para el análisis preciso de la tubería de entrada. tf.profiler.experimental.Trace El código que se muestra a continuación es un antipattern: 
 
 Advertencia: Esto resultará en un análisis inexacto de la tubería de entrada. Esto resultará en un análisis inexacto del tubo de entrada. Warning: for step, train_data in enumerate(dataset):
    with tf.profiler.experimental.Trace('train', step_num=step, _r=1):
        train_step(train_data)
 Perfil de casos de uso El perfil cubre una serie de casos de uso a lo largo de cuatro ejes diferentes. Algunas de las combinaciones están actualmente soportadas y otras se añadirán en el futuro. 
 
 
 
 Local vs. remote profiling: Estas son dos maneras comunes de configurar su entorno de perfil. En el perfilamiento local, la API de perfilamiento se llama en la misma máquina que está ejecutando su modelo, por ejemplo, una estación de trabajo local con GPUs. En el perfilamiento remoto, la API de perfilamiento se llama en una máquina diferente de donde está ejecutando su modelo, por ejemplo, en una TPU de nube. Profilación de múltiples trabajadores: puede perfilar múltiples máquinas cuando utiliza las capacidades de capacitación distribuidas de TensorFlow. Plataforma de hardware: CPU de perfil, GPUs y TPUs. La siguiente tabla proporciona una breve visión general de los casos de uso soportados por TensorFlow mencionados anteriormente: 
 
 
 
 
 
 
 
 
 
 
 
 
 Profiling API 
 Local 
 Remote 
 Multiple workers 
 Hardware Platforms 
 
 
 
 
 
 
 TensorBoard Keras Callback 
 Supported 
 Not Supported 
 Not Supported 
 CPU, GPU 
 
 
 
 
 
 
  start/stop  tf.profiler.experimental API 
 Supported 
 Not Supported 
 Not Supported 
 CPU, GPU 
 
 
 
 
 
 
  client.trace  tf.profiler.experimental API 
 Supported 
 Supported 
 Supported 
 CPU, GPU, TPU 
 
 
 
 
 
 
 Context manager API 
 Supported 
 Not supported 
 Not Supported 
 CPU, GPU TensorBoard Keras Callback Apoyado No se apoya No se apoya CPU y GPU Inicio / STOP tf.profiler.experimental Fuego Apoyado No se apoya No se apoya CPU y GPU Cliente.trace tf.profiler.experimental Fuego Apoyado Apoyado Apoyado CPU, GPU y TPU Context manager API Apoyado No se apoya No se apoya CPU y GPU Mejores prácticas para el rendimiento óptimo del modelo Utilice las siguientes recomendaciones según sea aplicable a sus modelos TensorFlow para lograr un rendimiento óptimo. En general, realice todas las transformaciones en el dispositivo y asegúrese de utilizar la última versión compatible de bibliotecas como cuDNN e Intel MKL para su plataforma. Optimización de la tubería de datos de entrada Utilice los datos del [#input_pipeline_analyzer] para optimizar su tubería de entrada de datos. Una tubería de entrada de datos eficiente puede mejorar drásticamente la velocidad de ejecución de su modelo al reducir el tiempo de inactividad del dispositivo. Trate de incorporar las mejores prácticas detalladas en el guía y a continuación para hacer que su tubería de entrada de datos sea más eficiente. Mejor rendimiento con la API tf.data 
 
 
 
 
 
 
 
 
 En general, paralelizar las operaciones que no necesitan ser ejecutadas secuencialmente puede optimizar significativamente el tubo de entrada de datos. En muchos casos, ayuda a cambiar el orden de algunas llamadas o a ajustar los argumentos de forma que funcione mejor para su modelo.Al optimizar el tubo de datos de entrada, benchmarque solo el cargador de datos sin los pasos de capacitación y retroalimentación para cuantificar el efecto de las optimizaciones de forma independiente. Trate de ejecutar su modelo con datos sintéticos para comprobar si la tubería de entrada es un obstáculo de rendimiento. Utilice tf.data.Dataset.shard para el entrenamiento de múltiples GPUs. Asegúrese de activar el shard muy temprano en el loop de entrada para evitar reducciones en el rendimiento. Cuando trabaje con TFRecords, asegúrese de quebrar la lista de TFRecords y no el contenido de los TFRecords. Paraleliza varias operaciones estableciendo dinámicamente el valor de num_parallel_calls utilizando tf.data.AUTOTUNE. Considere limitar el uso de tf.data.Dataset.from_generator ya que es más lento en comparación con las operaciones puras de TensorFlow. Considere limitar el uso de tf.py_function ya que no se puede serializar y no se admite para ejecutar en TensorFlow distribuido. Utilice tf.data.Options para controlar las optimizaciones estáticas a la tubería de entrada. También lea el Análisis de desempeño Para obtener más orientación sobre la optimización de su tubería de entrada. tf.data Guía Optimización de la ampliación de datos Al trabajar con los datos de imagen, haga su más eficiente mediante el casting a diferentes tipos de datos Aplicación de transformaciones espaciales, como flipping, cropping, rotación, etc. Aumento de datos Después Después 
 
 Nota: Algunas operaciones como tf.image.resize cambian de forma transparente el tipo d a fp32. Asegúrese de normalizar sus datos entre 0 y 1 si no se hace automáticamente. Nota: Algunas operaciones como tf.image.resize cambian de forma transparente el tipo d a fp32. Asegúrese de normalizar sus datos entre 0 y 1 si no se hace automáticamente. AMP 
 
 
 
 
 Uso de NVIDIA® DALI En algunos casos, como cuando tiene un sistema con una alta relación GPU-CPU, todas las optimizaciones anteriores pueden no ser suficientes para eliminar las barreras en el cargador de datos causadas por las limitaciones de los ciclos de CPU. Si está utilizando GPUs NVIDIA® para aplicaciones de visión de ordenador y aprendizaje profundo de audio, considere utilizar la Biblioteca de carga de datos ( para acelerar la transmisión de datos. Dali Compruebe el Documentación para una lista de operaciones de DALI compatibles. NVIDIA® DALI: Operaciones Uso de threading y ejecución paralela ejecutar operaciones en múltiples cables de CPU con el Fuego para ejecutarlos más rápido. tf.config.threading TensorFlow establece automáticamente el número de hilos de paralelismo por defecto.El pool de hilos disponible para ejecutar operaciones de TensorFlow depende del número de hilos de CPU disponibles. Controlar la aceleración máxima paralela para una sola operación usando Tenga en cuenta que si ejecuta varias operaciones en paralelo, todas compartirán el pool de thread disponible. tf.config.threading.set_intra_op_parallelism_threads Si tiene opciones independientes sin bloquear (opciones sin un camino dirigido entre ellas en el gráfico), use para ejecutarlos simultáneamente utilizando el pool de thread disponible. tf.config.threading.set_inter_op_parallelism_threads Misceláneos Cuando trabaja con modelos más pequeños en GPUs NVIDIA®, puede para forzar a todos los tensores de la CPU a ser asignados con memoria CUDA pegada para dar un impulso significativo al rendimiento del modelo. sin embargo, ejerza precaución mientras utiliza esta opción para modelos desconocidos/muy grandes ya que esto podría afectar negativamente el rendimiento del host (CPU). tf.compat.v1.ConfigProto.force_gpu_compatible=True Mejorar el rendimiento del dispositivo las mejores prácticas que se presentan aquí y en para optimizar el rendimiento del modelo TensorFlow en el dispositivo. Guía de optimización de rendimiento de GPU Si está utilizando GPU NVIDIA, registre la utilización de la GPU y la memoria en un archivo CSV ejecutando: nvidia-smi
--query-gpu=utilization.gpu,utilization.memory,memory.total,
memory.free,memory.used --format=csv
 Configurar el Layout de Datos Al trabajar con datos que contienen información de canal (como imágenes), optimice el formato de diseño de datos para preferir los canales últimos (NHWC sobre NCHW). Los últimos formatos de datos del canal mejoran Utilización y proporcionan mejoras significativas en el rendimiento, especialmente en los modelos convolucionales cuando se combinan con AMP. Los diseños de datos de NCHW todavía pueden operarse por Tensor Cores, pero introducen sobrepeso adicional debido a las operaciones de transposición automáticas. Tensor de núcleo Puede optimizar el diseño de datos para preferir los diseños de NHWC mediante la configuración Para los ladrones como , de , y . data_format="channels_last" tf.keras.layers.Conv2D tf.keras.layers.Conv3D tf.keras.layers.RandomRotation Uso para configurar el formato de diseño de datos por defecto para la API de backend de Keras. tf.keras.backend.set_image_data_format Max de la caché L2 Al trabajar con GPUs NVIDIA®, ejecute el fragmento de código de abajo antes del ciclo de entrenamiento para maximizar la granularidad de obtención de L2 a 128 bytes. import ctypes

_libcudart = ctypes.CDLL('libcudart.so')
# Set device limit on the current device
# cudaLimitMaxL2FetchGranularity = 0x05
pValue = ctypes.cast((ctypes.c_int*1)(), ctypes.POINTER(ctypes.c_int))
_libcudart.cudaDeviceSetLimit(ctypes.c_int(0x05), ctypes.c_int(128))
_libcudart.cudaDeviceGetLimit(pValue, ctypes.c_int(0x05))
assert pValue.contents.value == 128
 Configurar el uso del thread de GPU El modo de thread de GPU determina cómo se utilizan los threads de GPU. Configure el modo thread para para asegurarse de que el preprocesamiento no robe todos los hilos de GPU. Esto reducirá el retraso en el lanzamiento del núcleo durante el entrenamiento. También puede establecer el número de hilos por GPU. Establezca estos valores utilizando variables ambientales. gpu_private import os

os.environ['TF_GPU_THREAD_MODE']='gpu_private'
os.environ['TF_GPU_THREAD_COUNT']='1'
 Configurar las opciones de memoria GPU En general, aumenta el tamaño del lote y escala el modelo para utilizar mejor las GPU y obtener mayor rendimiento.Tenga en cuenta que aumentar el tamaño del lote cambiará la precisión del modelo, por lo que el modelo necesita ser escalado ajustando hiperparámetros como la tasa de aprendizaje para cumplir con la precisión objetivo. Por lo tanto, utilizar para permitir que la memoria GPU crezca para evitar que toda la memoria disponible sea totalmente asignada a las operaciones que requieren sólo una fracción de la memoria. tf.config.experimental.set_memory_growth Para saber más, revisa el guía en la guía de GPU para aprender más. Limita el crecimiento de la memoria GPU Misceláneos 
 
 
 
 
 
 
 
 
 
 Aumentar el tamaño del mini batch de entrenamiento (número de muestras de entrenamiento utilizadas por dispositivo en una iteración del ciclo de entrenamiento) a la cantidad máxima que se ajusta sin un error de OOM en la GPU. Aumentar el tamaño del batch afecta a la precisión del modelo, así que asegúrese de escalar el modelo ajustando los hiperparámetros para cumplir con la precisión del objetivo. Desactivar la notificación de errores OOM durante la asignación de tensores en el código de producción. Define report_tensor_allocations_upon_oom=False en tf.compat.v1.RunOptions. Para los modelos con capas de convolución, elimine la adición de bias si se utiliza la normalización de lotes. La normalización de lotes cambia los valores por su media y esto elimina la necesidad de tener un término de bias constante. Utilice TF Stats para averiguar cuán eficientemente se ejecutan las operaciones en el dispositivo. Utilice tf.function para realizar cálculos y, opcionalmente, habilite la bandera jit_compile=True (tf.function(jit_compile=True). Minimizar las operaciones de Python entre los pasos y reducir los llamados de retorno.Calcular métricas cada unos pasos en lugar de en cada paso. Mantenga las unidades de computación ocupadas. Enviar datos a varios dispositivos en paralelo. Considere el uso de representaciones numéricas de 16 bits, como fp16 - el formato de punto flotante de media precisión especificado por IEEE - o el formato de punto flotante de cerebro bfloat16. Recursos adicionales 
 
 
 
 El TensorFlow Profiler: tutorial de rendimiento del modelo de perfil con Keras y TensorBoard donde puede aplicar los consejos de esta guía. El perfil de rendimiento en TensorFlow 2 habla del TensorFlow Dev Summit 2020. La demostración de TensorFlow Profiler del TensorFlow Dev Summit 2020. Limitaciones conocidas Configuración de múltiples GPUs en TensorFlow 2.2 y TensorFlow 2.3 TensorFlow 2.2 y 2.3 soportan el perfilado de GPU múltiple para sistemas de host únicos; el perfilado de GPU múltiple para sistemas de host múltiple no es soportado. Para perfilar las configuraciones de GPU de múltiples trabajadores, cada trabajador debe ser perfilado de forma independiente. El fuego. tf.profiler.experimental.client.trace CUDA® Toolkit 10.2 o posterior es necesario para perfilar múltiples GPUs. Como TensorFlow 2.2 y 2.3 soportan las versiones de CUDA® Toolkit sólo hasta 10.1, es necesario crear enlaces simbólicos a y : libcudart.so.10.1 libcupti.so.10.1 sudo ln -s /usr/local/cuda/lib64/libcudart.so.10.2 /usr/local/cuda/lib64/libcudart.so.10.1
sudo ln -s /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.2 /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.1
 
 
 Originalmente publicado en el sitio web de TensorFlow, este artículo aparece aquí bajo un nuevo título y está licenciado bajo CC BY 4.0. Originalmente publicado en el sitio web de TensorFlow, este artículo aparece aquí bajo un nuevo título y está licenciado bajo CC BY 4.0. TensorFlow TensorFlow

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Este audio es producido en el idioma original de la historia!

Cómo utilizar el perfilador TensorFlow para optimizar el rendimiento del modelo

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps