Sadržaj Pregled 
 
 
 
 
 
 
 
 
 
 
 
 
 Prikupljanje podataka o uspješnosti Profiliranje APIs Profiliranje Custom Training Loops Profiliranje slučajeva korištenja Najbolje prakse za optimalne performanse modela Optimizacija ulazne podatkovne cijevi Upotreba ograničenja i paralelne izvedbe Miscellaneum Poboljšanje performansi uređaja Dodatni resursi Poznata ograničenja Profiliranje više GPU-a na TensorFlow 2.2 i TensorFlow 2.3 Prikupljanje podataka o uspješnosti TensorFlow Profiler prikuplja aktivnosti domaćina i GPU tragove vašeg TensorFlow modela.Možete konfigurirati Profiler za prikupljanje podataka o performansi putem programskog načina ili načina uzorkovanja. Profiliranje APIs Možete koristiti sljedeće API-je za profiliranje. 
 
 Programski način pomoću TensorBoard Keras Callback (tf.keras.callbacks.TensorBoard) # Profile from batches 10 to 15
tb_callback = tf.keras.callbacks.TensorBoard(log_dir=log_dir,
                                             profile_batch='10, 15')

# Train the model and use the TensorBoard Keras callback to collect
# performance profiling data
model.fit(train_data,
          steps_per_epoch=20,
          epochs=5,
          callbacks=[tb_callback])
 
 
 Programski način pomoću tf.profiler Function API tf.profiler.experimental.start('logdir')
# Train the model here
tf.profiler.experimental.stop()
 
 
 Programski način pomoću upravitelja kontekstom with tf.profiler.experimental.Profile('logdir'):
    # Train the model here
    pass
 
 
 Napomena: Pokretanje profila predugo može dovesti do isteka memorije. Preporuča se profiliranje ne više od 10 koraka odjednom. Napomena: Pokretanje profila predugo može dovesti do isteka memorije. Preporuča se profiliranje ne više od 10 koraka odjednom. 
 
 
 
 
 Sampling mode: Perform on-demand profiling by using   to start a gRPC server with your TensorFlow model run. After starting the gRPC server and running your model, you can capture a profile through the   button in the TensorBoard profile plugin. Use the script in the Install profiler section above to launch a TensorBoard instance if it is not already running. tf.profiler.experimental.server.start Capture Profile As an example, # Start a profiler server before your model runs.
tf.profiler.experimental.server.start(6009)
# (Model code goes here).
#  Send a request to the profiler server to collect a trace of your model.
tf.profiler.experimental.client.trace('grpc://localhost:6009',
                                      'gs://your_tb_logdir', 2000)
 Primjer profiliranja višestrukih radnika: # E.g., your worker IP addresses are 10.0.0.2, 10.0.0.3, 10.0.0.4, and you
# would like to profile for a duration of 2 seconds.
tf.profiler.experimental.client.trace(
    'grpc://10.0.0.2:8466,grpc://10.0.0.3:8466,grpc://10.0.0.4:8466',
    'gs://your_tb_logdir',
    2000)
 Koristite ga Dijalog treba odrediti: Capture Profile 
 
 
 
 
 Popis URL-ova usluga profila ili imena TPU-a. Trajanje profiliranja. Razina uređaja, host i Python funkcija poziva praćenje. Koliko puta želite da Profiler ponovno pokrene snimanje profila ako u početku ne uspije? Profiliranje Custom Training Loops Za profiliranje prilagođenih vježbi u vašem TensorFlow kodu, instrumentirajte vježbu s API za označavanje granica koraka za Profiler. tf.profiler.experimental.Trace Naš Argument se koristi kao prefix za nazive koraka, Argument ključne riječi je priložen u nazive koraka, a Argument ključne riječi čini da se ovaj događaj trace obrađuje kao događaj koraka od strane Profilera. name step_num _r Kao primjer, for step in range(NUM_STEPS):
    with tf.profiler.experimental.Trace('train', step_num=step, _r=1):
        train_data = next(dataset)
        train_step(train_data)
 To će omogućiti analizu performansi profila na temelju koraka i uzrokovati da se događaji koraka pojavljuju u trace vieweru. Pobrinite se da uključite iterator skupova podataka unutar kontekst za točnu analizu ulaznog cijevi. tf.profiler.experimental.Trace Kod snippet ispod je anti-pattern: 
 
 Upozorenje: To će rezultirati netočnom analizom ulaznog cijevi. To će rezultirati netočnom analizom ulaznog cijevi. Warning: for step, train_data in enumerate(dataset):
    with tf.profiler.experimental.Trace('train', step_num=step, _r=1):
        train_step(train_data)
 Profiliranje slučajeva korištenja Profiler pokriva niz slučajeva korištenja duž četiri različite osi. Neke od kombinacija su trenutno podržane, a druge će se dodati u budućnosti. 
 
 
 
 Lokalno vs. daljinsko profiliranje: Ovo su dva uobičajena načina za postavljanje okruženja za profiliranje.U lokalnom profiliranju, API profiliranja zove se na istom stroju na kojem vaš model radi, na primjer, na lokalnoj radnoj stanici s GPU-ima. Profiliranje više radnika: Možete profilirati više strojeva kada koristite mogućnosti distribuiranog osposobljavanja TensorFlow-a. Hardware platforma: Profile CPU, GPU i TPU. Tablica u nastavku pruža kratki pregled slučajeva korištenja koje podržava TensorFlow gore navedenih: 
 
 
 
 
 
 
 
 
 
 
 
 
 Profiling API 
 Local 
 Remote 
 Multiple workers 
 Hardware Platforms 
 
 
 
 
 
 
 TensorBoard Keras Callback 
 Supported 
 Not Supported 
 Not Supported 
 CPU, GPU 
 
 
 
 
 
 
  start/stop  tf.profiler.experimental API 
 Supported 
 Not Supported 
 Not Supported 
 CPU, GPU 
 
 
 
 
 
 
  client.trace  tf.profiler.experimental API 
 Supported 
 Supported 
 Supported 
 CPU, GPU, TPU 
 
 
 
 
 
 
 Context manager API 
 Supported 
 Not supported 
 Not Supported 
 CPU, GPU TensorBoard Keras Callback Podrška Nije podržan Nije podržan CPU i GPU START / STOP tf.profiler.experimental vatra Podrška Nije podržan Nije podržan CPU i GPU Posjetitelji. trace tf.profiler.experimental vatra Podrška Podrška Podrška CPU, GPU i TPU Context manager API Podrška Nije podržan Nije podržan CPU i GPU Najbolje prakse za optimalne performanse modela Koristite sljedeće preporuke koje se primjenjuju na vaše modele TensorFlow kako biste postigli optimalne performanse. Općenito, obavite sve transformacije na uređaju i pobrinite se da koristite najnoviju kompatibilnu verziju knjižnica kao što su cuDNN i Intel MKL za vašu platformu. Optimizacija ulazne podatkovne cijevi Koristite podatke iz [#input_pipeline_analyzer] za optimizaciju vašeg ulaznog kanala podataka. Učinkoviti ulazni kanali podataka mogu drastično poboljšati brzinu izvršenja vašeg modela smanjenjem vremena praznine uređaja. vodič i ispod kako biste učinili vašu podatkovnu ulaznu cijev učinkovitiju. Bolja učinkovitost s tf.data API-jem 
 
 
 
 
 
 
 
 
 Općenito, paralelizacija svih operacija koje se ne moraju izvršavati sekvencijalno može značajno optimizirati putanje unosa podataka. U mnogim slučajevima, pomaže promijeniti redoslijed nekih poziva ili prilagoditi argumente tako da najbolje funkcionira za vaš model. Pokušajte pokrenuti model s sintetičkim podacima kako biste provjerili je li ulazna cijev učinkovitosti. Koristite tf.data.Dataset.shard za obuku za više GPU-a. Pobrinite se da se shard vrlo rano uključi u ulaznu luk kako bi se spriječilo smanjenje prohodnosti. Paralelizirajte nekoliko opcija tako da dinamički postavite vrijednost num_parallel_calls pomoću tf.data.AUTOTUNE. Razmislite o ograničavanju korištenja tf.data.Dataset.from_generator jer je sporije u usporedbi s čistom TensorFlow ops. Razmislite o ograničavanju korištenja funkcije tf.py_function jer se ne može serijalizirati i nije podržana za rad u distribuiranom TensorFlow-u. Koristite tf.data.Options kako biste kontrolirali statičke optimizacije ulaznog cijevi. Također pročitajte Analiza performansi za više smjernica o optimizaciji vašeg ulaznog cijevi. tf.data Vodič Optimizacija povećanja podataka Kada radite s slikovnim podacima, napravite učinkovitije izlaganje različitim vrstama podataka primjenom prostornih transformacija, kao što su preklapanje, obrezivanje, rotacija itd. Povećanje podataka Nakon Nakon 
 
 Napomena: Neke operacije, kao što je tf.image.resize, transparentno mijenjaju dtip na fp32. Pobrinite se da normalizirate svoje podatke da leže između 0 i 1, ako to nije učinjeno automatski. Neke opcije poput Transparentno mijenjanje dva Pobrinite se da normalizirate svoje podatke da leže između i ako se to ne učini automatski. preskakanje ovog koraka može dovesti do pogreške ako ste omogućili . Note: tf.image.resize dtype fp32 0 1 NaN AMP AMP 
 
 
 
 
 Korištenje NVIDIA® DALI U nekim slučajevima, na primjer kada imate sustav s visokim omjerom GPU-a prema CPU-u, sve gore navedene optimizacije možda neće biti dovoljne za uklanjanje gužvi u podatkovnom utovaraču uzrokovanih ograničenjima CPU ciklusa. Ako koristite NVIDIA® GPU-e za računalnu viziju i audio aplikacije dubokog učenja, razmislite o korištenju knjižnice za učitavanje podataka ( Ubrzanje podatkovnog plinovoda. Dali Provjerite to dokumentaciju za popis podržanih DALI operacija. NVIDIA® DALI: Operacije Upotreba ograničenja i paralelne izvedbe Izvođenje operacija na više CPU žica s Vatra kako bi ih brže izvršili. tf.config.threading TensorFlow automatski postavlja broj paralelnih žica podrazumijevano.Pool žica dostupan za pokretanje operacija TensorFlow ovisi o broju dostupnih žica CPU-a. Kontrola maksimalnog paralelnog ubrzanja za jednu operaciju pomoću Imajte na umu da ako istodobno pokrenete više operacija, svi će dijeliti skupinu dostupnih žica. tf.config.threading.set_intra_op_parallelism_threads Ako imate neovisne opcije bez blokiranja (opcije bez usmjerenog puta između njih na grafikonu), koristite da ih istodobno pokrenete pomoću raspoloživog pojaseva. tf.config.threading.set_inter_op_parallelism_threads Miscellaneum Kada radite s manjim modelima na NVIDIA® GPU-ima, možete postaviti prisiliti sve CPU tenzore da budu dodijeljeni s CUDA pričvršćenom memorijom kako bi se značajno povećala performansa modela. međutim, budite oprezni dok koristite ovu opciju za nepoznate/vrlo velike modele jer to može negativno utjecati na performanse gostitelja (CPU). tf.compat.v1.ConfigProto.force_gpu_compatible=True Poboljšanje performansi uređaja Slijedite najbolje prakse detaljno ovdje i u optimizirati performanse modela TensorFlow na uređaju. Priručnik za optimizaciju GPU performansi Ako koristite NVIDIA GPU-e, prijavite korištenje GPU-a i memorije u CSV datoteku tako što ćete pokrenuti: nvidia-smi
--query-gpu=utilization.gpu,utilization.memory,memory.total,
memory.free,memory.used --format=csv
 Konfigurirajte layout podataka Kada radite s podacima koji sadrže informacije o kanalu (kao što su slike), optimizirajte format rasporeda podataka kako biste preferirali kanale posljednji (NHWC u odnosu na NCHW). Kanal-posljednji formati podataka poboljšani Iskorištavanje i pružanje značajnih poboljšanja performansi, posebno u konvolucijskim modelima kada se kombiniraju s AMP-om. NCHW rasporedi podataka još uvijek se mogu upravljati pomoću Tensor Cores-a, ali uvode dodatne opcije zbog automatskih operacija prijenosa. Tenzor Core Možete optimizirati raspored podataka kako biste preferirali rasporede NHWC-a postavljanjem Za vrste kao što su , i . data_format="channels_last" tf.keras.layers.Conv2D tf.keras.layers.Conv3D tf.keras.layers.RandomRotation Koristiti postaviti standardni format rasporeda podataka za Keras backend API. tf.keras.backend.set_image_data_format Max izbacivanje L2 cache Kada radite s NVIDIA® GPU-ima, izvršite snippet koda ispod prije ciklusa obuke kako biste maksimizirali granularnost prikupljanja L2 na 128 bajta. import ctypes

_libcudart = ctypes.CDLL('libcudart.so')
# Set device limit on the current device
# cudaLimitMaxL2FetchGranularity = 0x05
pValue = ctypes.cast((ctypes.c_int*1)(), ctypes.POINTER(ctypes.c_int))
_libcudart.cudaDeviceSetLimit(ctypes.c_int(0x05), ctypes.c_int(128))
_libcudart.cudaDeviceGetLimit(pValue, ctypes.c_int(0x05))
assert pValue.contents.value == 128
 Konfiguriranje korištenja GPU-a Modus GPU žica odlučuje kako se koriste GPU žice. Postavite thread mode na kako bi se osiguralo da preprocesiranje ne ukrade sve GPU žice. To će smanjiti kašnjenje u pokretanju jezgre tijekom treninga. Također možete postaviti broj žica po GPU. gpu_private import os

os.environ['TF_GPU_THREAD_MODE']='gpu_private'
os.environ['TF_GPU_THREAD_COUNT']='1'
 Konfigurirajte opcije GPU memorije Općenito, povećajte veličinu serije i skalirajte model kako biste bolje iskoristili GPU-e i dobili veći prijenos. Imajte na umu da će povećanje veličine serije promijeniti točnost modela pa se model mora skalirati prilagođavanjem hiperparametara kao što je stopa učenja kako bi se zadovoljila ciljna točnost. Dakle, korištenje kako bi se spriječilo da se sva dostupna memorija u potpunosti dodijeli operacijama koje zahtijevaju samo dio memorije. tf.config.experimental.set_memory_growth Da biste saznali više, provjerite Upute u GPU vodiču kako biste saznali više. Ograničenje rasta GPU memorije Miscellaneum 
 
 
 
 
 
 
 
 
 
 Povećajte veličinu treninga mini serije (broj uzoraka treninga koji se koriste po uređaju u jednoj iteraciji treninga) do maksimalnog iznosa koji se uklapa bez greške OOM na GPU-u. Izbjegavajte prijavljivanje OOM pogrešaka tijekom raspodjele tenzora u proizvodnom kodu. Za modele s konvolucijskim slojevima, uklonite dodavanje pristranosti ako koristite normaliziranje serije. Koristite TF statistike kako biste saznali kako učinkovito rade operacije na uređaju. Koristite funkciju tf.function da biste izvršili izračune i, opcionalno, omogućite zastavu jit_compile=True (tf.function(jit_compile=True). Minimizirajte Python operacije između koraka i smanjite povratne pozive. Držite računalne jedinice uređaja zauzete. Prenos podataka na više uređaja paralelno. Razmislite o korištenju 16-bitnih numeričkih predstavki, kao što je fp16 - format poluprecizne plutajuće točke koji je odredio IEEE - ili format Brain plutajuće točke bfloat16. Dodatni resursi 
 
 
 
 TensorFlow Profiler: Profilni model performansi tutorial s Keras i TensorBoard gdje možete primijeniti savjete u ovom vodiču. Profiliranje performansi u TensorFlow 2 govori iz TensorFlow Dev Summit 2020. Demo TensorFlow Profiler iz TensorFlow Dev Summit 2020. Poznata ograničenja Profiliranje više GPU-a na TensorFlow 2.2 i TensorFlow 2.3 TensorFlow 2.2 i 2.3 podržavaju više GPU profiliranja samo za pojedinačne sustave domaćina; više GPU profiliranja za više sustava domaćina nije podržano. Za profiliranje konfiguracija GPU-a s više radnika svaki radnik mora biti profiliran neovisno. Vatra je. tf.profiler.experimental.client.trace Budući da TensorFlow 2.2 i 2.3 podržavaju CUDA® Toolkit verzije samo do 10.1, morate stvoriti simbolične veze na i : libcudart.so.10.1 libcupti.so.10.1 sudo ln -s /usr/local/cuda/lib64/libcudart.so.10.2 /usr/local/cuda/lib64/libcudart.so.10.1
sudo ln -s /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.2 /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.1
 
 
 Prvotno objavljen na web stranici TensorFlow, ovaj članak se ovdje pojavljuje pod novim naslovom i licenciran je pod CC BY 4.0. Prvotno objavljen na web stranici TensorFlow, ovaj članak se ovdje pojavljuje pod novim naslovom i licenciran je pod CC BY 4.0. TensorFlow TensorFlow

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Ovaj zvuk je proizveden na izvornom jeziku priče!

Kako koristiti TensorFlow Profiler za optimizaciju performansi modela

About Author

KOMENTARI

VIJESI OZNAKE

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps