Gambaran keseluruhan kandungan 
 
 
 
 
 
 
 
 
 
 
 
 
 Mengumpul data prestasi Profilkan APIs Profil Latihan Custom Loops Profil Penggunaan Kasus Amalan terbaik untuk prestasi model yang optimal Mengoptimumkan paip data input Menggunakan Threading dan Eksekusi Paralel Miscellaneous Meningkatkan prestasi peranti Sumber tambahan Pembatasan yang dikenali Profil pelbagai GPU pada TensorFlow 2.2 dan TensorFlow 2.3 Mengumpul data prestasi Profiler TensorFlow mengumpul aktiviti tuan rumah dan jejak GPU model TensorFlow anda.Anda boleh mengkonfigurasi Profiler untuk mengumpul data prestasi melalui mod program atau mod sampel. Profilkan APIs Anda boleh menggunakan API berikut untuk membuat profil. 
 
 Mod program dengan menggunakan TensorBoard Keras Callback (tf.keras.callbacks.TensorBoard) # Profile from batches 10 to 15
tb_callback = tf.keras.callbacks.TensorBoard(log_dir=log_dir,
                                             profile_batch='10, 15')

# Train the model and use the TensorBoard Keras callback to collect
# performance profiling data
model.fit(train_data,
          steps_per_epoch=20,
          epochs=5,
          callbacks=[tb_callback])
 
 
 Mod program menggunakan tf.profiler Function API tf.profiler.experimental.start('logdir')
# Train the model here
tf.profiler.experimental.stop()
 
 
 Mod program menggunakan Pengurus Konteks with tf.profiler.experimental.Profile('logdir'):
    # Train the model here
    pass
 
 
 Nota: Menjalankan Profiler terlalu lama boleh menyebabkan ia kehabisan memori. Ia disyorkan untuk profil tidak lebih daripada 10 langkah pada satu masa. Elakkan mengprofilkan beberapa batch pertama untuk mengelakkan ketidaktepatan disebabkan oleh permulaan overhead. Nota: Menjalankan Profiler terlalu lama boleh menyebabkan ia kehabisan memori. Ia disyorkan untuk profil tidak lebih daripada 10 langkah pada satu masa. Elakkan mengprofilkan beberapa batch pertama untuk mengelakkan ketidaktepatan disebabkan oleh permulaan overhead. 
 
 
 
 
 Sampling mode: Perform on-demand profiling by using   to start a gRPC server with your TensorFlow model run. After starting the gRPC server and running your model, you can capture a profile through the   button in the TensorBoard profile plugin. Use the script in the Install profiler section above to launch a TensorBoard instance if it is not already running. tf.profiler.experimental.server.start Capture Profile As an example, # Start a profiler server before your model runs.
tf.profiler.experimental.server.start(6009)
# (Model code goes here).
#  Send a request to the profiler server to collect a trace of your model.
tf.profiler.experimental.client.trace('grpc://localhost:6009',
                                      'gs://your_tb_logdir', 2000)
 Contoh untuk profil pelbagai pekerja: # E.g., your worker IP addresses are 10.0.0.2, 10.0.0.3, 10.0.0.4, and you
# would like to profile for a duration of 2 seconds.
tf.profiler.experimental.client.trace(
    'grpc://10.0.0.2:8466,grpc://10.0.0.3:8466,grpc://10.0.0.4:8466',
    'gs://your_tb_logdir',
    2000)
 Gunakan yang Dialog untuk menentukan: Capture Profile 
 
 
 
 
 Senarai URL perkhidmatan profil atau nama TPU. Tempoh profil yang panjang. Tahap peranti, host, dan fungsi Python call tracing. Berapa kali anda mahu Profiler untuk menangkap semula profil jika gagal pada mulanya. Profil Latihan Custom Loops Untuk profil loop latihan tersuai dalam kod TensorFlow anda, instrumen loop latihan dengan API untuk menandakan sempadan langkah untuk Profiler. tf.profiler.experimental.Trace yang Argument digunakan sebagai prefiks untuk nama langkah, Argumen kata kunci dilampirkan dalam nama langkah, dan argumen kata kunci membuat peristiwa jejak ini diproses sebagai peristiwa langkah oleh Profiler. name step_num _r Sebagai contoh, for step in range(NUM_STEPS):
    with tf.profiler.experimental.Trace('train', step_num=step, _r=1):
        train_data = next(dataset)
        train_step(train_data)
 Ini akan membolehkan analisis prestasi berbasis langkah Profiler dan menyebabkan peristiwa langkah muncul dalam penonton jejak. Pastikan anda memasukkan iterator set data dalam konteks untuk analisis yang tepat paip input. tf.profiler.experimental.Trace Kod yang dipaparkan di bawah ialah anti-pattern: 
 
 Amaran: Ini akan membawa kepada analisis yang tidak tepat paip input. Amaran: Ini akan membawa kepada analisis yang tidak tepat paip input. for step, train_data in enumerate(dataset):
    with tf.profiler.experimental.Trace('train', step_num=step, _r=1):
        train_step(train_data)
 Profil Penggunaan Kasus Profil meliputi beberapa kes penggunaan di sepanjang empat sumbu yang berbeza. Sesetengah gabungan kini disokong dan yang lain akan ditambah di masa hadapan. 
 
 
 
 Profil tempatan berbanding profil jauh: Ini adalah dua cara biasa untuk menyediakan persekitaran profil anda. Dalam profil tempatan, API profil dipanggil pada mesin yang sama model anda menjalankan, contohnya, stesen kerja tempatan dengan GPU. Dalam profil jauh, API profil dipanggil pada mesin yang berbeza dari mana model anda menjalankan, contohnya, pada TPU awan. Profil pelbagai pekerja: Anda boleh profil beberapa mesin apabila menggunakan keupayaan latihan didistribusikan TensorFlow. Platform Perkakasan: CPU Profil, GPU, dan TPU. Jadual di bawah menyediakan gambaran singkat kes penggunaan yang disokong oleh TensorFlow yang disebutkan di atas: 
 
 
 
 
 
 
 
 
 
 
 
 
 Profiling API 
 Local 
 Remote 
 Multiple workers 
 Hardware Platforms 
 
 
 
 
 
 
 TensorBoard Keras Callback 
 Supported 
 Not Supported 
 Not Supported 
 CPU, GPU 
 
 
 
 
 
 
  start/stop  tf.profiler.experimental API 
 Supported 
 Not Supported 
 Not Supported 
 CPU, GPU 
 
 
 
 
 
 
  client.trace  tf.profiler.experimental API 
 Supported 
 Supported 
 Supported 
 CPU, GPU, TPU 
 
 
 
 
 
 
 Context manager API 
 Supported 
 Not supported 
 Not Supported 
 CPU, GPU TensorBoard Keras Callback disokong Tidak disokong Tidak disokong CPU dan GPU Bermula / Berhenti tf.profiler.experimental Kebakaran disokong Tidak disokong Tidak disokong CPU dan GPU Pelanggan.Trac tf.profiler.experimental Kebakaran disokong disokong disokong CPU, GPU dan TPU Context manager API disokong Tidak disokong Tidak disokong CPU dan GPU Amalan terbaik untuk prestasi model yang optimal Gunakan cadangan berikut untuk model TensorFlow anda untuk mencapai prestasi yang optimal. Secara amnya, lakukan semua transformasi pada peranti dan pastikan anda menggunakan versi terkini yang bersesuaian pustaka seperti cuDNN dan Intel MKL untuk platform anda. Mengoptimumkan paip data input Gunakan data daripada [#input_pipeline_analyzer] untuk mengoptimumkan paip input data anda. Paip input data yang cekap boleh meningkatkan kelajuan pelaksanaan model anda dengan mengurangkan masa hentian peranti. cuba memasukkan amalan terbaik yang terperinci dalam panduan dan di bawah untuk menjadikan paip input data anda lebih cekap. Prestasi yang lebih baik dengan tf.data API 
 
 
 
 
 
 
 
 
 Secara amnya, membandingkan apa-apa ops yang tidak perlu dijalankan secara berurutan boleh secara signifikan mengoptimumkan paip input data. Dalam banyak kes, ia membantu untuk mengubah urutan sesetengah panggilan atau menyesuaikan argumen supaya ia berfungsi terbaik untuk model anda.Sementara mengoptimumkan paip data input, benchmark hanya pengecas data tanpa langkah latihan dan backpropagation untuk mengukur kesan pengoptimalan secara bebas. Cuba menjalankan model anda dengan data sintetik untuk memeriksa sama ada paip input adalah kelemahan prestasi. Gunakan tf.data.Dataset.shard untuk latihan multi-GPU. Pastikan anda shard sangat awal dalam loop input untuk mengelakkan pengurangan aliran. Apabila bekerja dengan TFRecords, pastikan anda shard senarai TFRecords dan bukan kandungan TFRecords. Menyambung beberapa ops dengan dinamik menetapkan nilai num_parallel_calls menggunakan tf.data.AUTOTUNE. Pertimbangkan untuk mengehadkan penggunaan tf.data.Dataset.from_generator kerana ia lebih lambat berbanding ops TensorFlow tulen. Pertimbangkan untuk mengehadkan penggunaan tf.py_function kerana ia tidak boleh serialisasi dan tidak disokong untuk berjalan dalam TensorFlow terdistribusi. Gunakan tf.data.Options untuk mengawal pengoptimuman statik kepada paip input. Baca juga The Analisis prestasi untuk panduan lebih lanjut mengenai mengoptimumkan paip input anda. tf.data Panduan Meningkatkan peningkatan data Apabila anda bekerja dengan data imej, buat lebih cekap dengan casting kepada jenis data yang berbeza Mengaplikasikan transformasi spasial, seperti flipping, cropping, rotasi, dan lain-lain. Data Peningkatan Selepas Selepas 
 
 Nota: Sesetengah ops seperti tf.image.resize secara transparan menukar dtype kepada fp32. Pastikan anda menormalkan data anda antara 0 dan 1 jika ia tidak dilakukan secara automatik. Nota: Sesetengah ops seperti tf.image.resize secara transparan menukar dtype kepada fp32. Pastikan anda menormalkan data anda antara 0 dan 1 jika ia tidak dilakukan secara automatik. Amp 
 
 
 
 
 Menggunakan NVIDIA® DALI Dalam sesetengah kes, seperti apabila anda mempunyai sistem dengan perbandingan GPU-CPU yang tinggi, semua pengoptimuman di atas mungkin tidak mencukupi untuk menghilangkan kesesakan dalam pengecas data yang disebabkan oleh sekatan kitaran CPU. Jika anda menggunakan GPU NVIDIA® untuk aplikasi penglihatan komputer dan audio pembelajaran mendalam, pertimbangkan untuk menggunakan Perpustakaan muat data ( untuk mempercepatkan paip data. Dalil Periksa kepada dokumen untuk senarai ops DALI yang disokong. NVIDIA® DALI: Operasi Menggunakan Threading dan Eksekusi Paralel menjalankan ops pada pelbagai thread CPU dengan api untuk digunakan lebih cepat. tf.config.threading TensorFlow secara automatik menetapkan bilangan thread parallelism secara lalai. kumpulan thread yang tersedia untuk menjalankan ops TensorFlow bergantung kepada bilangan thread CPU yang tersedia. Mengawal kelajuan paralel maksimum untuk satu op dengan menggunakan Sila ambil perhatian bahawa jika anda menjalankan beberapa ops secara bersamaan, mereka semua akan berkongsi kumpulan thread yang tersedia. tf.config.threading.set_intra_op_parallelism_threads Jika anda mempunyai ops bebas yang tidak menghalang (ops tanpa laluan diarahkan antara mereka dalam carta), gunakan untuk menjalankan mereka secara bersamaan menggunakan pool thread yang tersedia. tf.config.threading.set_inter_op_parallelism_threads Miscellaneous Apabila anda bekerja dengan model yang lebih kecil pada GPU NVIDIA®, anda boleh menetapkan untuk memaksa semua tensor CPU untuk dikongsi dengan memori CUDA yang dilampirkan untuk memberikan peningkatan yang signifikan kepada prestasi model. Walau bagaimanapun, berhati-hati semasa menggunakan opsyen ini untuk model yang tidak diketahui / sangat besar kerana ini boleh memberi kesan negatif kepada prestasi tuan rumah (CPU). tf.compat.v1.ConfigProto.force_gpu_compatible=True Meningkatkan prestasi peranti Ikuti amalan terbaik yang terperinci di sini dan di untuk mengoptimumkan prestasi model TensorFlow pada peranti. Panduan Optimasi Prestasi GPU Jika anda menggunakan GPU NVIDIA, log GPU dan penggunaan memori ke fail CSV dengan menjalankan: nvidia-smi
--query-gpu=utilization.gpu,utilization.memory,memory.total,
memory.free,memory.used --format=csv
 Menyediakan data layout Apabila bekerja dengan data yang mengandungi maklumat saluran (seperti imej), mengoptimumkan format tata letak data untuk memilih saluran terakhir (NHWC berbanding NCHW). Format data channel-last yang lebih baik penggunaan dan menyediakan peningkatan prestasi yang signifikan terutamanya dalam model konvolusi apabila digabungkan dengan AMP. tata letak data NCHW masih boleh dioperasikan oleh Tensor Cores, tetapi memperkenalkan overhead tambahan kerana ops transpose automatik. Tensor utama Anda boleh mengoptimumkan tata letak data untuk mengutamakan tata letak NHWC dengan menetapkan Untuk lapisan seperti daripada dan . data_format="channels_last" tf.keras.layers.Conv2D tf.keras.layers.Conv3D tf.keras.layers.RandomRotation Penggunaan untuk menetapkan format tata letak data lalai untuk API backend Keras. tf.keras.backend.set_image_data_format Max keluar cache L2 Apabila bekerja dengan GPU NVIDIA®, jalankan snippet kod di bawah sebelum lingkaran latihan untuk memaksimumkan granulariti L2 hantar kepada 128 byte. import ctypes

_libcudart = ctypes.CDLL('libcudart.so')
# Set device limit on the current device
# cudaLimitMaxL2FetchGranularity = 0x05
pValue = ctypes.cast((ctypes.c_int*1)(), ctypes.POINTER(ctypes.c_int))
_libcudart.cudaDeviceSetLimit(ctypes.c_int(0x05), ctypes.c_int(128))
_libcudart.cudaDeviceGetLimit(pValue, ctypes.c_int(0x05))
assert pValue.contents.value == 128
 Konfigurasi penggunaan thread GPU Mod thread GPU menentukan bagaimana thread GPU digunakan. Setkan thread mode kepada untuk memastikan bahawa praprosesan tidak mencuri semua thread GPU. Ini akan mengurangkan penundaan pelancaran kernel semasa latihan. Anda juga boleh menetapkan bilangan thread per GPU. Setkan nilai ini menggunakan variabel persekitaran. gpu_private import os

os.environ['TF_GPU_THREAD_MODE']='gpu_private'
os.environ['TF_GPU_THREAD_COUNT']='1'
 Pilih opsyen memori GPU Secara umum, meningkatkan saiz batch dan skala model untuk menggunakan GPU yang lebih baik dan mendapatkan aliran yang lebih tinggi. Nota bahawa meningkatkan saiz batch akan mengubah ketepatan model sehingga model perlu diperluaskan dengan menyesuaikan hiperparameter seperti kadar pembelajaran untuk memenuhi ketepatan sasaran. Oleh itu, gunakan untuk membolehkan memori GPU untuk berkembang untuk mengelakkan semua memori yang tersedia daripada diserahkan sepenuhnya kepada ops yang memerlukan hanya sebahagian daripada memori. tf.config.experimental.set_memory_growth Untuk mengetahui lebih lanjut, lihat panduan dalam panduan GPU untuk mengetahui lebih lanjut. Membatasi pertumbuhan memori GPU Miscellaneous 
 
 
 
 
 
 
 
 
 
 Meningkatkan saiz mini batch latihan (jumlah sampel latihan yang digunakan per peranti dalam satu iterasi loop latihan) kepada jumlah maksimum yang sesuai tanpa kesilapan out of memory (OOM) pada GPU. Meningkatkan saiz batch memberi kesan kepada ketepatan model – jadi pastikan anda meluaskan model dengan menyesuaikan hiperparameter untuk memenuhi ketepatan sasaran. Tidak boleh melaporkan kesilapan OOM semasa alokasi tensor dalam kod pengeluaran. Set report_tensor_allocations_upon_oom=False dalam tf.compat.v1.RunOptions. Untuk model dengan lapisan konvolusi, hapuskan penambahan bias jika menggunakan normalisasi batch. normalisasi batch menukar nilai dengan purata mereka dan ini menghilangkan keperluan untuk mempunyai istilah bias konstan. Gunakan TF Stats untuk mengetahui seberapa cekap operasi pada peranti dijalankan. Gunakan tf.function untuk melakukan pengiraan dan secara opsional, mengaktifkan jit_compile=True flag (tf.function(jit_compile=True). Mengurangkan operasi Python tuan antara langkah-langkah dan mengurangkan panggilan balik. mengira metrik setiap beberapa langkah bukannya pada setiap langkah. Mengekalkan unit komputer peranti sibuk. Menghantar data kepada pelbagai peranti secara paralel. Pertimbangkan menggunakan persembahan nombor 16-bit, seperti fp16 - format titik melayang separuh ketepatan yang dinyatakan oleh IEEE - atau format Brain floating-point bfloat16. Sumber tambahan 
 
 
 
 The TensorFlow Profiler: Profile model prestasi tutorial dengan Keras dan TensorBoard di mana anda boleh menggunakan nasihat dalam panduan ini. Profil Prestasi dalam TensorFlow 2 bercakap daripada TensorFlow Dev Summit 2020. Demo TensorFlow Profiler daripada TensorFlow Dev Summit 2020. Pembatasan yang dikenali Profil pelbagai GPU pada TensorFlow 2.2 dan TensorFlow 2.3 TensorFlow 2.2 dan 2.3 menyokong profiling GPU berbilang untuk sistem tuan tunggal sahaja; profiling GPU berbilang untuk sistem tuan berbilang tidak disokong. Untuk profil konfigurasi GPU berbilang pekerja, setiap pekerja mesti diprofilkan secara berasingan. Dari TensorFlow 2.4 pekerja berbilang boleh diprofilkan menggunakan daripada api. tf.profiler.experimental.client.trace CUDA® Toolkit 10.2 atau lebih baru diperlukan untuk profil beberapa GPU. Kerana TensorFlow 2.2 dan 2.3 menyokong versi CUDA® Toolkit hanya sehingga 10.1, anda perlu mencipta pautan simbol untuk dan : libcudart.so.10.1 libcupti.so.10.1 sudo ln -s /usr/local/cuda/lib64/libcudart.so.10.2 /usr/local/cuda/lib64/libcudart.so.10.1
sudo ln -s /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.2 /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.1
 
 
 Awalnya diterbitkan di laman web TensorFlow, artikel ini muncul di sini di bawah tajuk baru dan dilesenkan di bawah CC BY 4.0. Awalnya diterbitkan di laman web TensorFlow, artikel ini muncul di sini di bawah tajuk baru dan dilesenkan di bawah CC BY 4.0. TensorFlow TensorFlow

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Audio ini dihasilkan dalam bahasa asal cerita!

Bagaimana untuk menggunakan TensorFlow Profiler untuk mengoptimumkan prestasi model

About Author

KOMEN

GANTUNG TANDA

ARTIKEL INI DIBENTANGKAN DALAM

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps