Како користити ТенсорФлов Профилер за оптимизацију перформанси модела

Sadržaj Pregled Prikupljanje podataka o performansi Профил АПИ Профилисање прилагођених тренинг лупова Profiliranje slučajeva korišćenja Најбоље праксе за оптималне перформансе модела Optimizujte ulazne podatke pipeline Коришћење угрожавања и паралелне извршења Miscellaneous Poboljšajte performanse uređaja Додатни ресурси Позната ограничења Профилисање више графичких уређаја на TensorFlow 2.2 и TensorFlow 2.3 Prikupljanje podataka o performansi TensorFlow Profiler prikuplja aktivnosti domaćina i GPU tragove vašeg TensorFlow modela. Možete da konfigurišete Profiler da prikuplja podatke o performansi kroz programski režim ili režim uzorkovanja. Профил АПИ Možete da koristite sledeće API-je za izradu profila. Програмски режим користећи TensorBoard Keras Callback (tf.keras.callbacks.TensorBoard) # Profile from batches 10 to 15 tb_callback = tf.keras.callbacks.TensorBoard(log_dir=log_dir, profile_batch='10, 15') # Train the model and use the TensorBoard Keras callback to collect # performance profiling data model.fit(train_data, steps_per_epoch=20, epochs=5, callbacks=[tb_callback]) Програмски режим користећи tf.profiler Function API tf.profiler.experimental.start('logdir') # Train the model here tf.profiler.experimental.stop() Програмски режим користећи менаџер контекста with tf.profiler.experimental.Profile('logdir'): # Train the model here pass Напомена: Покретање Профилера превише дуго може довести до губитка меморије. Препоручује се профилисање не више од 10 корака у исто време. Избегавајте профилисање првих неколико серија како бисте избегли нетачности због преоптерећења иницијализације. Напомена: Покретање Профилера превише дуго може довести до губитка меморије. Препоручује се профилисање не више од 10 корака у исто време. Избегавајте профилисање првих неколико серија како бисте избегли нетачности због преоптерећења иницијализације. Sampling mode: Perform on-demand profiling by using to start a gRPC server with your TensorFlow model run. After starting the gRPC server and running your model, you can capture a profile through the button in the TensorBoard profile plugin. Use the script in the Install profiler section above to launch a TensorBoard instance if it is not already running. tf.profiler.experimental.server.start Capture Profile As an example, # Start a profiler server before your model runs. tf.profiler.experimental.server.start(6009) # (Model code goes here). # Send a request to the profiler server to collect a trace of your model. tf.profiler.experimental.client.trace('grpc://localhost:6009', 'gs://your_tb_logdir', 2000) Primer za profiliranje više radnika: # E.g., your worker IP addresses are 10.0.0.2, 10.0.0.3, 10.0.0.4, and you # would like to profile for a duration of 2 seconds. tf.profiler.experimental.client.trace( 'grpc://10.0.0.2:8466,grpc://10.0.0.3:8466,grpc://10.0.0.4:8466', 'gs://your_tb_logdir', 2000) Користите га Дијалог за одређивање: Capture Profile Листа профила услуга URL-ова или имена ТПУ-а. Трајање профила Ниво уређаја, хоста и Python функције позива за праћење. Колико пута желите да Профилер поново ухвати профиле ако у почетку није успео. Профилисање прилагођених тренинг лупова Да бисте профилисали прилагођене тренинг лукове у вашем TensorFlow коду, инструментирајте тренинг лук са API да означи границе корака за Профилер. tf.profiler.experimental.Trace Тхе аргумент се користи као префикс за имена корака, argument ključne reči je priložen u imena koraka, a argument ključne reči čini da ovaj događaj trace bude obrađen kao događaj koraka od strane Profiler-a. name step_num _r Као пример, for step in range(NUM_STEPS): with tf.profiler.experimental.Trace('train', step_num=step, _r=1): train_data = next(dataset) train_step(train_data) Ово ће омогућити анализу перформанси Профилера на основу корака и узроковати да се догађаји корака појављују у прегледачу трака. Uverite se da uključite iterator skupova podataka u контекст за прецизну анализу улазног цевовода. tf.profiler.experimental.Trace Код испод је анти-патерн: Упозорење: Ово ће резултирати нетачном анализом улазног цевовода. Упозорење: Ово ће резултирати нетачном анализом улазног цевовода. for step, train_data in enumerate(dataset): with tf.profiler.experimental.Trace('train', step_num=step, _r=1): train_step(train_data) Profiliranje slučajeva korišćenja Profiler pokriva niz slučajeva korišćenja uz četiri različite osi. Neke od kombinacija su trenutno podržane, a druge će se dodati u budućnosti. Neki slučajevi korišćenja su: Локално у односу на даљинско профилисање: Ово су два уобичајена начина подешавања окружења за профилисање.У локалном профилисању, АПИ за профилисање се позива на истој машини на којој се покреће ваш модел, на пример, локална радна станица са ГПУ-има.У даљинском профилисању, АПИ за профилисање се позива на другој машини са којег се покреће ваш модел, на пример, на Цлоуд ТПУ. Профилисање више радника: Можете профилисати више машина када користите дистрибуиране могућности обуке TensorFlow-а. Хардверска платформа: Профил ЦПУ, ГПУ и ТПУ. Табела испод пружа брз преглед случајева коришћења које подржава TensorFlow горе наведених: Profiling API Local Remote Multiple workers Hardware Platforms TensorBoard Keras Callback Supported Not Supported Not Supported CPU, GPU start/stop tf.profiler.experimental API Supported Not Supported Not Supported CPU, GPU client.trace tf.profiler.experimental API Supported Supported Supported CPU, GPU, TPU Context manager API Supported Not supported Not Supported CPU, GPU TensorBoard Keras Callback Подржана Није подржана Није подржана ЦПУ, ГПУ Почетак / Стоп tf.profiler.experimental Огње Подржана Није подржана Није подржана ЦПУ, ГПУ Клијент.Треце tf.profiler.experimental Огње Подржана Подржана Подржана ЦПУ, ГПУ и ТПУ Context manager API Подржана Није подржана Није подржана ЦПУ, ГПУ Најбоље праксе за оптималне перформансе модела Koristite sledeće preporuke po potrebi za vaše modele TensorFlow da biste postigli optimalne performanse. Генерално, извршите све трансформације на уређају и уверите се да користите најновију компатибилну верзију библиотека као што су цуДНН и Интел МКЛ за вашу платформу. Optimizujte ulazne podatke pipeline Користите податке из [#input_pipeline_analyzer] да бисте оптимизовали свој унос података. Ефикасан унос података може драстично побољшати брзину извршења вашег модела смањењем времена празног времена уређаја. Покушајте да укључите најбоље праксе детаљно описане у водич и испод да би ваш унос података цевовода ефикаснији. Bolji performansi sa tf.data API-jem Уопштено говорећи, паралелизовање свих операција које не морају да се извршавају секвенцијално може значајно оптимизирати унос података. U mnogim slučajevima, pomaže da se promeni redosled nekih poziva ili da se argumenti prilagode tako da najbolje funkcionišu za vaš model. Dok optimizujete ulazni podatkovni kanal, referirajte samo podatkovni učesnik bez koraka obuke i backpropagation da biste kvantitativno izmerili uticaj optimizacije samostalno. Покушајте да покренете свој модел са синтетичким подацима да бисте проверили да ли је улазни цевовод препрека у перформансама. Користите тф.data.Dataset.shard за обуку мулти-ГПУ-а. Побрините се да се врло рано укључите у уносну петљу како бисте спречили смањење пропусности. Када радите са ТФРЕЦордовима, побрините се да се скрати списак ТФРЕЦордова, а не садржај ТФРЕЦордова. Paralelizujte nekoliko opcija tako što ćete dinamički podesiti vrednost num_parallel_calls pomoću tf.data.AUTOTUNE. Размислите о ограничавању употребе tf.data.Dataset.from_generator јер је спорији у поређењу са чистим TensorFlow ops. Razmislite o ograničavanju korišćenja funkcije tf.py_function jer se ne može serializovati i nije podržana za pokretanje u distribuiranom TensorFlow. Koristite tf.data.Options da biste kontrolisali statičke optimizacije za ulaznu cevovodu. Такође прочитајте Анализа перформанси за више смерница о оптимизацији вашег улазног цевовода. tf.data водич Optimizacija povećanja podataka Када радите са подацима о сликама, направите свој efikasnije odlaganje na različite tipove podataka примјењујући просторне трансформације, као што су окретање, сечење, ротација итд. Povećanje podataka posle posle Напомена: Неке опције као што је tf.image.resize транспарентно мењају дтипе на fp32. Побрините се да нормализујете податке да леже између 0 и 1, ако се то не уради аутоматски. Напомена: Неке опције као што је tf.image.resize транспарентно мењају дтипе на fp32. Побрините се да нормализујете податке да леже између 0 и 1, ако се то не уради аутоматски. AMP Користите NVIDIA® DALI У неким случајевима, као што је када имате систем са високим односом ГПУ-а према ЦПУ-у, све горе наведене оптимизације можда неће бити довољне да елиминишу бочице у подацима узроковане ограничењем циклуса ЦПУ-а. Ако користите НВИДИА® ГПУ-је за компјутерску визију и аудио дубоко учење, размислите о коришћењу библиотеке за учитавање података ( ) за убрзање података цевовода. Дали Проверите о документацију за листу подржаних DALI операција. NVIDIA® DALI: Операције Коришћење угрожавања и паралелне извршења Покрените опције на више ЦПУ жица са Огањ да их изврши брже. tf.config.threading TensorFlow аутоматски поставља број паралелистичких нити подразумевано. Полон нити који је доступан за покретање опција TensorFlow зависи од броја доступних ЦПУ нити. Контролишите максимално паралелно убрзање за један оп користећи Имајте на уму да ако покренете више опција паралелно, сви ће поделити расположиви пул. tf.config.threading.set_intra_op_parallelism_threads Ако имате независне опције без блокирања (опције без усмереног пута између њих на графикону), користите да их истовремено покренете користећи доступни пул за мрље. tf.config.threading.set_inter_op_parallelism_threads Miscellaneous Kada radite sa manjim modelima na NVIDIA® GPU-ima, možete da podesite да примора све ЦПУ тензоре да буду додељени са ЦУДА причвршћеном меморијом да би се значајно повећао учинак модела. Међутим, будите опрезни док користите ову опцију за непознате / веома велике моделе јер то може негативно утицати на перформансе домаћина (ЦПУ). tf.compat.v1.ConfigProto.force_gpu_compatible=True Poboljšajte performanse uređaja Пратите најбоље праксе детаљно овде и у за оптимизацију перформанси модела на уређају TensorFlow. ГПУ оптимизација перформанси Ако користите НВИДИА ГПУ, пријавите коришћење ГПУ-а и меморије у ЦСВ датотеку тако што ћете покренути: nvidia-smi --query-gpu=utilization.gpu,utilization.memory,memory.total, memory.free,memory.used --format=csv Конфигуришите layout података Када радите са подацима који садрже информације о каналу (као што су слике), оптимизујте формат распореда података да бисте преферирали канале последњи (НХВЦ над НЦХВ). Kanali-poslednji formati podataka poboljšani Коришћење и обезбеђивање значајних побољшања у перформансама, посебно у конволуционарним моделима када се комбинују са АМП. НЦХВ распореди података и даље могу да се управљају од стране Тенсор Цорес, али уводе додатне оверхеад због аутоматских транспои опција. Тензор Цоре Можете оптимизовати распоред података да бисте преферирали НХВЦ распореде постављањем За лежајеве као што су , , и . data_format="channels_last" tf.keras.layers.Conv2D tf.keras.layers.Conv3D tf.keras.layers.RandomRotation Коришћење Да бисте подесили подразумевани формат распореда података за Керас бацкенд АПИ. tf.keras.backend.set_image_data_format Max out L2 кеш Приликом рада са НВИДИА® ГПУ-има, извршите кодни део испод пре тренинга да бисте максимизирали грануларност узимања Л2 на 128 бајтова. import ctypes _libcudart = ctypes.CDLL('libcudart.so') # Set device limit on the current device # cudaLimitMaxL2FetchGranularity = 0x05 pValue = ctypes.cast((ctypes.c_int*1)(), ctypes.POINTER(ctypes.c_int)) _libcudart.cudaDeviceSetLimit(ctypes.c_int(0x05), ctypes.c_int(128)) _libcudart.cudaDeviceGetLimit(pValue, ctypes.c_int(0x05)) assert pValue.contents.value == 128 Конфигурисање употребе ГПУ-а GPU thread mode odlučuje kako se koriste GPU thread. Подесите тхе Тхерет Моде на Да бисте били сигурни да препроцесирање не украде све ГПУ нити. Ово ће смањити кашњење лансирања језгра током тренинга. Такође можете подесити број нити по ГПУ. Подесите ове вредности користећи променљиве окружења. gpu_private import os os.environ['TF_GPU_THREAD_MODE']='gpu_private' os.environ['TF_GPU_THREAD_COUNT']='1' Конфигуришите опције за ГПУ меморију Уопштено говорећи, повећајте величину партије и скалирајте модел како бисте боље искористили ГПУ и добили већи промет. Имајте на уму да ће повећање величине партије променити тачност модела, тако да се модел мора скалирати подешавањем хиперпараметара као што је стопа учења како би се задовољила циљна тачност. Такође, користите да би се омогућило повећање меморије ГПУ-а како би се спречило да се сва расположива меморија у потпуности распореди на опције које захтевају само део меморије. tf.config.experimental.set_memory_growth Да бисте сазнали више, погледајте водич у ГПУ водичу да бисте сазнали више. Ограничавање раста ГПУ меморије Miscellaneous Povećajte veličinu mini serije za obuku (broj uzoraka za obuku korišćenih po uređaju u jednoj iteraciji ćelije za obuku) na maksimalnu količinu koja se uklapa bez greške OOM na GPU. Povećanje veličine serije utiče na tačnost modela, pa se pobrinite da skališete model tako što ćete podesiti hiperparametre kako biste zadovoljili ciljnu tačnost. Деактивирајте пријављивање ООМ грешака током расподеле тензора у производном коду. Поставите report_tensor_allocations_upon_oom=False у tf.compat.v1.RunOptions. За моделе са конволуцијским слојевима, уклоните додавање предрасуда ако користите нормализацију сета. Нормализација сета мења вредности њиховим просеком и то елиминише потребу за константним термином предрасуда. Koristite TF statistike da biste saznali koliko efikasno funkcije na uređaju funkcionišu. Koristite funkciju tf.function da biste izvršili izračune i, opcionalno, omogućite jit_compile=True zastavu (tf.function(jit_compile=True). Минимизирајте хост Питхон операције између корака и смањите повратне позиве. израчунајте метрике сваких неколико корака уместо на сваком кораку. Држите рачунарске јединице уређаја заузете. Prenosite podatke na više uređaja paralelno. Размотрите употребу 16-битних нумеричких представљања, као што је fp16 - полупрецизни формат плутајуће тачке који је одредио ИЕЕЕ - или формат Бровн плутајуће тачке бфлоат16. Додатни ресурси TensorFlow Profiler: Profile model performanse tutorial sa Keras i TensorBoard gde možete da primenite savete u ovom vodiču. Профилисање перформанси у TensorFlow 2 говори из TensorFlow Dev Summit 2020. Демо TensorFlow Profiler из TensorFlow Dev Summit 2020. Позната ограничења Профилисање више графичких уређаја на TensorFlow 2.2 и TensorFlow 2.3 TensorFlow 2.2 i 2.3 podržavaju višestruko profilisanje GPU-a za samo jedan sistem domaćina; višestruko profilisanje GPU-a za više sistema domaćina nije podržano. Da bi se profilisale konfiguracije GPU-a za više radnika, svaki radnik mora da se profilisati nezavisno. Огњена је tf.profiler.experimental.client.trace CUDA® Toolkit 10.2 или новији је потребан за профилисање више GPU-а. Пошто TensorFlow 2.2 и 2.3 подржавају CUDA® Toolkit верзије само до 10.1, потребно је да креирате симболичне везе до и : libcudart.so.10.1 libcupti.so.10.1 sudo ln -s /usr/local/cuda/lib64/libcudart.so.10.2 /usr/local/cuda/lib64/libcudart.so.10.1 sudo ln -s /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.2 /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.1 Првобитно објављен на сајту ТенсорФлоу, овај чланак се овде појављује под новим насловом и лиценциран је под ЦЦ БИ 4.0. Првобитно објављен на сајту ТенсорФлоу, овај чланак се овде појављује под новим насловом и лиценциран је под ЦЦ БИ 4.0. TensorFlow TensorFlow