Contingut general 
 
 
 
 
 
 
 
 
 
 
 
 
 Recollir dades de rendiment Creació de perfils APIs Creació de perfils custom training loops Perfil de casos d'ús Les millors pràctiques per al rendiment òptim del model Optimització de la canonada de dades d'entrada Utilització de threading i execució paral·lela Miscellà Millorar el rendiment del dispositiu Recursos addicionals Limitacions conegudes Profilaxi de múltiples GPUs en TensorFlow 2.2 i TensorFlow 2.3 Recollir dades de rendiment El TensorFlow Profiler recull les activitats de l'amfitrió i les traces de la GPU del vostre model TensorFlow. Podeu configurar el Profiler per recopilar dades de rendiment a través del mode programàtic o del mode de mostreig. Creació de perfils APIs Podeu utilitzar les següents APIs per realitzar el perfil. 
 
 Modalitat programàtica utilitzant el TensorBoard Keras Callback (tf.keras.callbacks.TensorBoard) # Profile from batches 10 to 15
tb_callback = tf.keras.callbacks.TensorBoard(log_dir=log_dir,
                                             profile_batch='10, 15')

# Train the model and use the TensorBoard Keras callback to collect
# performance profiling data
model.fit(train_data,
          steps_per_epoch=20,
          epochs=5,
          callbacks=[tb_callback])
 
 
 Modalitat programàtica utilitzant l'API de funcions tf.profiler tf.profiler.experimental.start('logdir')
# Train the model here
tf.profiler.experimental.stop()
 
 
 Modalitat programàtica utilitzant el gestor de context with tf.profiler.experimental.Profile('logdir'):
    # Train the model here
    pass
 
 
 Nota: L'execució del Profiler durant massa temps pot causar que es perdi la memòria. Es recomana perfilar no més de 10 passos alhora. Eviteu perfilar els primers lots per evitar inexactituds a causa de la inicialització. L'execució del perfil durant massa temps pot causar que es perdi la memòria. Es recomana perfilar no més de 10 passos a la vegada. Eviteu perfilar els primers lots per evitar inexactituds a causa de la inicialització. Note: 
 
 
 
 
 Sampling mode: Perform on-demand profiling by using   to start a gRPC server with your TensorFlow model run. After starting the gRPC server and running your model, you can capture a profile through the   button in the TensorBoard profile plugin. Use the script in the Install profiler section above to launch a TensorBoard instance if it is not already running. tf.profiler.experimental.server.start Capture Profile As an example, # Start a profiler server before your model runs.
tf.profiler.experimental.server.start(6009)
# (Model code goes here).
#  Send a request to the profiler server to collect a trace of your model.
tf.profiler.experimental.client.trace('grpc://localhost:6009',
                                      'gs://your_tb_logdir', 2000)
 Un exemple de perfils de múltiples treballadors: # E.g., your worker IP addresses are 10.0.0.2, 10.0.0.3, 10.0.0.4, and you
# would like to profile for a duration of 2 seconds.
tf.profiler.experimental.client.trace(
    'grpc://10.0.0.2:8466,grpc://10.0.0.3:8466,grpc://10.0.0.4:8466',
    'gs://your_tb_logdir',
    2000)
 Utilitza el Diàleg per especificar: Capture Profile 
 
 
 
 
 Una llista delimitada de URL de servei de perfil o noms de TPU. Duració del perfil. El nivell de dispositiu, l'host i la funció Python de seguiment de trucades. Quantes vegades voleu que el Profiler reprengui la captura de perfils si no té èxit al principi. Creació de perfils custom training loops Per perfilar els bucs de formació personalitzats en el codi TensorFlow, instrumentar el bucle de formació amb el API per marcar els límits d'etapa del perfil. tf.profiler.experimental.Trace El L'argument s'utilitza com a prefix per als noms d'etapes, el argument de paraula clau s'afegeix als noms dels passos, i el argument de paraula clau fa que aquest esdeveniment de rastre sigui processat com un esdeveniment de pas pel Profiler. name step_num _r Com a exemple, for step in range(NUM_STEPS):
    with tf.profiler.experimental.Trace('train', step_num=step, _r=1):
        train_data = next(dataset)
        train_step(train_data)
 Això permetrà l'anàlisi de rendiment basada en passos del Profiler i provocarà que els esdeveniments de pas apareguin en el visualitzador de rastre. Assegureu-vos d'incloure l'iterador del conjunt de dades dins del Context per a l'anàlisi precisa de la canonada d'entrada. tf.profiler.experimental.Trace El codi esmentat a continuació és un anti-patró: 
 
 Advertència: Això comportarà una anàlisi inexacta de la canonada d'entrada. Advertència: Això comportarà una anàlisi inexacta de la canonada d'entrada. for step, train_data in enumerate(dataset):
    with tf.profiler.experimental.Trace('train', step_num=step, _r=1):
        train_step(train_data)
 Perfil de casos d'ús El perfil cobreix un nombre de casos d'ús al llarg de quatre eixos diferents. Algunes de les combinacions estan actualment suportades i altres s'afegiran en el futur. 
 
 
 
 Local vs. remote profiling: Aquestes són dues maneres comunes de configurar el vostre entorn de profiling. En el profiling local, l'API de profiling es crida en la mateixa màquina que el vostre model està executant, per exemple, una estació de treball local amb GPU. En el profiling remot, l'API de profiling es crida en una màquina diferent des d'on el vostre model està executant, per exemple, en un TPU de núvol. Profilació de múltiples treballadors: podeu perfilar múltiples màquines quan utilitzeu les capacitats de formació distribuïda de TensorFlow. Plataforma de maquinari: CPU de perfil, GPU i TPU. La taula següent proporciona una ràpida visió general dels casos d'ús suportats per TensorFlow esmentats anteriorment: 
 
 
 
 
 
 
 
 
 
 
 
 
 Profiling API 
 Local 
 Remote 
 Multiple workers 
 Hardware Platforms 
 
 
 
 
 
 
 TensorBoard Keras Callback 
 Supported 
 Not Supported 
 Not Supported 
 CPU, GPU 
 
 
 
 
 
 
  start/stop  tf.profiler.experimental API 
 Supported 
 Not Supported 
 Not Supported 
 CPU, GPU 
 
 
 
 
 
 
  client.trace  tf.profiler.experimental API 
 Supported 
 Supported 
 Supported 
 CPU, GPU, TPU 
 
 
 
 
 
 
 Context manager API 
 Supported 
 Not supported 
 Not Supported 
 CPU, GPU TensorBoard Keras Callback Suportat No recolzats No recolzats CPU i GPU Inici / parada tf.profiler.experimental El foc Suportat No recolzats No recolzats CPU i GPU Tracció - Trace tf.profiler.experimental El foc Suportat Suportat Suportat CPU, GPU i TPU Context manager API Suportat No recolzats No recolzats CPU i GPU Les millors pràctiques per al rendiment òptim del model Utilitzeu les recomanacions següents, segons sigui el cas, per als vostres models TensorFlow per aconseguir un rendiment òptim. En general, realitzeu totes les transformacions en el dispositiu i assegureu-vos d'utilitzar l'última versió compatible de biblioteques com cuDNN i Intel MKL per a la vostra plataforma. Optimització de la canonada de dades d'entrada Utilitzeu les dades del [#input_pipeline_analyzer] per optimitzar la vostra canonada d'entrada de dades. Una canonada d'entrada de dades eficient pot millorar dràsticament la velocitat de l'execució del vostre model mitjançant la reducció del temps d'estona del dispositiu. guia i a continuació per fer que la seva canonada d'entrada de dades més eficient. Millor rendiment amb l'API tf.data 
 
 
 
 
 
 
 
 
 En general, paral·lelitzar qualsevol operació que no necessiti ser executada seqüencialment pot optimitzar significativament la canonada d'entrada de dades. En molts casos, ajuda a canviar l'ordre d'algunes trucades o a ajustar els arguments de manera que funcionin millor per al vostre model. Alhora d'optimitzar la canonada de dades d'entrada, comparteix només el carregador de dades sense les etapes de formació i de retroalimentació per quantificar l'efecte de les optimitzacions de forma independent. Intenta executar el teu model amb dades sintètiques per comprovar si la canonada d'entrada és una barrera de rendiment. Utilitzeu tf.data.Dataset.shard per a la formació de múltiples GPUs. Assegureu-vos d'apagar molt d'hora en el bucle d'entrada per evitar reduccions en el rendiment. En treballar amb TFRecords, assegureu-vos d'apagar la llista de TFRecords i no el contingut dels TFRecords. Paral·lelitzar diverses opcions mitjançant la configuració dinàmica del valor de num_parallel_calls utilitzant tf.data.AUTOTUNE. Considereu limitar l'ús de tf.data.Dataset.from_generator, ja que és més lent en comparació amb les operacions pures de TensorFlow. Considereu limitar l'ús de tf.py_function, ja que no es pot serialitzar i no es pot executar en TensorFlow distribuït. Utilitzeu tf.data.Options per controlar les optimitzacions estàtiques a la canonada d'entrada. També llegeix el Anàlisi de rendiment Per obtenir més orientació sobre l'optimització de la seva canonada d'entrada. tf.data Guia Optimitzar l'augment de dades En treballar amb dades d'imatge, feu més eficient mitjançant el casting a diferents tipus de dades Aplicació de transformacions espacials, com ara flipping, cropping, rotating, etc. Augment de dades Després Després 
 
 Nota: Algunes opcions com tf.image.resize canvien de forma transparent el tipus d a fp32. Assegureu-vos de normalitzar les vostres dades entre 0 i 1 si no es fa automàticament. Algunes opcions com Canviar de forma transparent Dues Assegureu-vos que normalitzeu les vostres dades per estar entre i si no es fa automàticament. El pas d'aquest pas podria provocar Errors que ha permès . Note: tf.image.resize dtype fp32 0 1 NaN AMP Amp 
 
 
 
 
 Instal·lació NVIDIA® DALI En alguns casos, com ara quan es disposa d'un sistema amb una alta relació GPU-CPU, totes les optimitzacions anteriors poden no ser suficients per eliminar les barreres en el carregador de dades causades per les limitacions dels cicles de CPU. Si utilitzeu GPUs NVIDIA® per a aplicacions de visió informàtica i aprenentatge profund d'àudio, considereu utilitzar la Biblioteca de càrrega de dades ( Acceleració de la canonada de dades. Dalí Comproveu el documentació per a una llista d'opcions de DALI suportades. NVIDIA® DALI: Operacions Utilització de threading i execució paral·lela Executar operacions en múltiples fils de CPU amb el El foc per executar-los més ràpid. tf.config.threading TensorFlow estableix automàticament el nombre de filaments de paral·lelisme per defecte. El grup de filaments disponible per executar operacions de TensorFlow depèn del nombre de filaments de CPU disponibles. Controlar la velocitat màxima paral·lela per a una sola opció utilitzant Tingueu en compte que si executeu múltiples opcions en paral·lel, totes compartiran el grup de fils disponible. tf.config.threading.set_intra_op_parallelism_threads Si teniu opcions de no bloqueig independents (opcions sense camí dirigit entre elles al gràfic), utilitzeu per executar-los simultàniament utilitzant el pool de trams disponible. tf.config.threading.set_inter_op_parallelism_threads Miscellà En treballar amb models més petits en GPUs NVIDIA®, podeu forçar tots els tensors de la CPU a ser assignats amb la memòria CUDA per donar un impuls significatiu al rendiment del model. No obstant això, tingueu precaució mentre utilitzeu aquesta opció per a models desconeguts / molt grans, ja que això podria afectar negativament el rendiment de l'host (CPU). tf.compat.v1.ConfigProto.force_gpu_compatible=True Millorar el rendiment del dispositiu Segueix les millors pràctiques detallades aquí i en el per optimitzar el rendiment del model TensorFlow en el dispositiu. Guia d'optimització del rendiment de la GPU Si utilitzeu GPU NVIDIA, registreu la utilització de la GPU i la memòria en un fitxer CSV executant: nvidia-smi
--query-gpu=utilization.gpu,utilization.memory,memory.total,
memory.free,memory.used --format=csv
 Configuració del Data Layout En treballar amb dades que contenen informació de canal (com ara imatges), optimitzar el format de disseny de dades per preferir els canals últims (NHWC sobre NCHW). Canals-últim format de dades millora Utilització i proporcionen millores significatives en el rendiment, especialment en els models convolucionals quan es combinen amb AMP. Els dissenys de dades de NCHW encara poden ser operats per Tensor Cores, però introdueixen sobrecàrregues addicionals a causa de les opcions de transposició automàtica. Tensor de nucli Podeu optimitzar el disseny de dades per preferir els dissenys de NHWC mitjançant la configuració Per a línies com , , i . data_format="channels_last" tf.keras.layers.Conv2D tf.keras.layers.Conv3D tf.keras.layers.RandomRotation utilitzar configurar el format de disseny de dades per defecte per a l'API de backend de Keras. tf.keras.backend.set_image_data_format Max fora de la memòria cau L2 En treballar amb GPUs NVIDIA®, executeu el fragment de codi a continuació abans del cicle d'entrenament per maximitzar la granularitat de recollida de L2 a 128 bytes. import ctypes

_libcudart = ctypes.CDLL('libcudart.so')
# Set device limit on the current device
# cudaLimitMaxL2FetchGranularity = 0x05
pValue = ctypes.cast((ctypes.c_int*1)(), ctypes.POINTER(ctypes.c_int))
_libcudart.cudaDeviceSetLimit(ctypes.c_int(0x05), ctypes.c_int(128))
_libcudart.cudaDeviceGetLimit(pValue, ctypes.c_int(0x05))
assert pValue.contents.value == 128
 Configurar l'ús del thread de la GPU El mode de filferro de GPU decideix com s'utilitzen els filferros de GPU. Configureu el mode de thread a per assegurar-se que el preprocessament no roba tots els fils de la GPU. Això reduirà el retard de llançament del nucli durant l'entrenament. També podeu establir el nombre de fils per GPU. Establir aquests valors utilitzant variables ambientals. gpu_private import os

os.environ['TF_GPU_THREAD_MODE']='gpu_private'
os.environ['TF_GPU_THREAD_COUNT']='1'
 Configuració de les opcions de memòria GPU En general, augmenteu la mida del lot i escalfeu el model per fer un millor ús de les GPU i obtenir un major rendiment. Tingueu en compte que l'augment de la mida del lot canviarà la precisió del model, de manera que el model ha de ser escalfat ajustant els hiperparàmetres com la taxa d'aprenentatge per complir amb la precisió objectiva. Per tant, utilitzar per permetre que la memòria de GPU creixi per evitar que tota la memòria disponible es destini completament a operacions que requereixen només una fracció de la memòria. tf.config.experimental.set_memory_growth Per saber-ne més, consulteu el Consulteu la guia GPU per saber-ne més. Limita el creixement de la memòria GPU Miscellà 
 
 
 
 
 
 
 
 
 
 Augmenteu la mida del mini batxí d'entrenament (nombre de mostres d'entrenament utilitzades per dispositiu en una iteració de la bucle d'entrenament) fins al màxim que s'adapti sense un error de memòria (OOM) a la GPU. Desactivar la notificació d'errors OOM durant l'assignació de tensors en el codi de producció. Set report_tensor_allocations_upon_oom=False en tf.compat.v1.RunOptions. Per als models amb capes de convolució, eliminar l'addició de bias si s'utilitza la normalització de lot. La normalització de lot canvia els valors per la seva mitjana i això elimina la necessitat de tenir un terme de bias constant. Utilitzeu TF Stats per esbrinar com funcionen de manera eficient les operacions en dispositius. Utilitzeu tf.function per fer càlculs i, opcionalment, habiliteu la bandera jit_compile=True (tf.function(jit_compile=True). Minimitzeu les operacions de Python entre els passos i reduïu les trucades.Calcular mètriques cada un dels passos en comptes de cada pas. Mantenir ocupades les unitats de computació del dispositiu. Enviar dades a diversos dispositius en paral·lel. Considereu utilitzar representacions numèriques de 16 bits, com fp16 —el format de punt flotant de meitat de precisió especificat per IEEE— o el format Brain floating-point bfloat16. Recursos addicionals 
 
 
 
 El TensorFlow Profiler: Tutorial de rendiment del model de perfil amb Keras i TensorBoard on podeu aplicar els consells d'aquesta guia. El perfil de rendiment en TensorFlow 2 parla de la TensorFlow Dev Summit 2020. La demostració de TensorFlow Profiler de la TensorFlow Dev Summit 2020. Limitacions conegudes Profilaxi de múltiples GPUs en TensorFlow 2.2 i TensorFlow 2.3 TensorFlow 2.2 i 2.3 donen suport a la creació de perfils de GPU múltiples només per a sistemes d'amfitrions individuals; no es dóna suport a la creació de perfils de GPU múltiples per a sistemes d'amfitrions múltiples. El foc. tf.profiler.experimental.client.trace CUDA® Toolkit 10.2 o posterior és necessari per a perfils de múltiples GPUs. Com que TensorFlow 2.2 i 2.3 només donen suport a les versions de CUDA® Toolkit fins a 10.1, cal crear enllaços simbòlics a i : libcudart.so.10.1 libcupti.so.10.1 sudo ln -s /usr/local/cuda/lib64/libcudart.so.10.2 /usr/local/cuda/lib64/libcudart.so.10.1
sudo ln -s /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.2 /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.1
 
 
 Originalment publicat al lloc web de TensorFlow, aquest article apareix aquí sota un nou títol i està llicenciat sota CC BY 4.0. Originalment publicat al lloc web de TensorFlow, aquest article apareix aquí sota un nou títol i està llicenciat sota CC BY 4.0. TensorFlow TensorFlow

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Aquest àudio és produït a l'idioma original de la història!

Com utilitzar el perfil TensorFlow per optimitzar el rendiment del model

About Author

COMENTARIS

Etiquetes penjant

AQUEST ARTICLE VA SER PRESENTAT A

Related Stories

Startups of The Year: Meet the Cybersecurity Industry

Startups of The Year: Meet the Emerging Tech Industry

Startups of The Year: Meet the AI Industry

The Jewel Robbery at the Grand Metropolitan

Startups of The Year: Meet the Cybersecurity Industry

Startups of The Year: Meet the Emerging Tech Industry

Startups of The Year: Meet the AI Industry

The Jewel Robbery at the Grand Metropolitan

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps