Како да го користите TensorFlow профилот за да ја оптимизирате перформансата на моделот

Преглед на содржината Собирање податоци за перформансите Профилирање на APIs Профилирање на тренинг лупи Профилирање на случаи на употреба Најдобри практики за оптимални перформанси на моделите Оптимизирање на влезните податоци на цевката Користење на заканувањето и паралелното извршување Несериозни Подобрување на перформансите на уредот Дополнителни ресурси Познати ограничувања Профилирање на повеќе GPUs на TensorFlow 2.2 и TensorFlow 2.3 Собирање податоци за перформансите TensorFlow Profiler ги собира активностите на домаќинот и трагите на GPU на вашиот TensorFlow модел. Можете да го конфигурирате Profiler за да ги собирате податоците за перформансите преку програматскиот режим или режимот за земање примероци. Профилирање на APIs Можете да ги користите следниве API за да извршите профилирање. Програмски режим со користење на TensorBoard Keras Callback (tf.keras.callbacks.TensorBoard) # Profile from batches 10 to 15 tb_callback = tf.keras.callbacks.TensorBoard(log_dir=log_dir, profile_batch='10, 15') # Train the model and use the TensorBoard Keras callback to collect # performance profiling data model.fit(train_data, steps_per_epoch=20, epochs=5, callbacks=[tb_callback]) Програмски режим со користење на tf.profiler Function API tf.profiler.experimental.start('logdir') # Train the model here tf.profiler.experimental.stop() Програмски режим со користење на менаџерот за контекст with tf.profiler.experimental.Profile('logdir'): # Train the model here pass Забелешка: Извршувањето на Профилерот предолго време може да предизвика исцрпување на меморијата. Препорачливо е да се профилираат не повеќе од 10 чекори во исто време. Избегнувајте профилирање на првите неколку серии за да се избегнат неточности поради преоптоварување на иницијализацијата. Забелешка: Извршувањето на Профилерот предолго време може да предизвика исцрпување на меморијата. Препорачливо е да се профилираат не повеќе од 10 чекори во исто време. Избегнувајте профилирање на првите неколку серии за да се избегнат неточности поради преоптоварување на иницијализацијата. Sampling mode: Perform on-demand profiling by using to start a gRPC server with your TensorFlow model run. After starting the gRPC server and running your model, you can capture a profile through the button in the TensorBoard profile plugin. Use the script in the Install profiler section above to launch a TensorBoard instance if it is not already running. tf.profiler.experimental.server.start Capture Profile As an example, # Start a profiler server before your model runs. tf.profiler.experimental.server.start(6009) # (Model code goes here). # Send a request to the profiler server to collect a trace of your model. tf.profiler.experimental.client.trace('grpc://localhost:6009', 'gs://your_tb_logdir', 2000) Пример за профилирање на повеќе работници: # E.g., your worker IP addresses are 10.0.0.2, 10.0.0.3, 10.0.0.4, and you # would like to profile for a duration of 2 seconds. tf.profiler.experimental.client.trace( 'grpc://10.0.0.2:8466,grpc://10.0.0.3:8466,grpc://10.0.0.4:8466', 'gs://your_tb_logdir', 2000) Користете го Дијалог за да се дефинира: Capture Profile Листа на профилирани URL-адреси на услуги или TPU имиња. Времетраење на профилот. Нивото на уред, домаќин и Python функција за следење на повици. Колку пати сакате Профилерот повторно да ги фати профилите ако првично не успее. Профилирање на тренинг лупи За да профилирате сопствени тренинг кругови во вашиот TensorFlow код, инструментирајте го тренинг кругот со API за да ги означите границите на чекорите за профилот. tf.profiler.experimental.Trace на аргументот се користи како префикс за имињата на чекорите, аргументот за клучни зборови е прикачен во имињата на чекорите, а Аргументот за клучни зборови го прави овој настан за следење обработен како настан за чекор од страна на Профилерот. name step_num _r Како пример, for step in range(NUM_STEPS): with tf.profiler.experimental.Trace('train', step_num=step, _r=1): train_data = next(dataset) train_step(train_data) Ова ќе овозможи анализа на перформансите на Профилерот врз основа на чекори и ќе предизвика настани на чекори да се појават во прегледувачот на трак. Осигурајте се дека го вклучите итераторот на сет на податоци во контекст за точна анализа на влезниот гасовод. tf.profiler.experimental.Trace Кодот снимен подолу е анти-патерн: Предупредување: Ова ќе резултира со неточна анализа на влезниот гасовод. Ова ќе резултира со неточна анализа на влезниот гасовод. Warning: for step, train_data in enumerate(dataset): with tf.profiler.experimental.Trace('train', step_num=step, _r=1): train_step(train_data) Профилирање на случаи на употреба Профилерот опфаќа голем број на случаи на употреба по должината на четири различни оски. Некои од комбинациите се моментално поддржани, а други ќе бидат додадени во иднина. Локално vs. далечинско профилирање: Ова се два вообичаени начини за поставување на вашата средина за профилирање. Во локалното профилирање, API за профилирање се повикува на истата машина на која се извршува вашиот модел, на пример, локална работна станица со GPUs. Во далечинското профилирање, API за профилирање се повикува на друга машина од каде што се извршува вашиот модел, на пример, на облак TPU. Профилирање на повеќе работници: Можете да профилирате повеќе машини кога ги користите дистрибуираните способности за обука на TensorFlow. Хардверска платформа: Профил CPUs, GPUs и TPUs. Табелата подолу обезбедува брз преглед на случаите на употреба поддржани од TensorFlow споменати погоре: Profiling API Local Remote Multiple workers Hardware Platforms TensorBoard Keras Callback Supported Not Supported Not Supported CPU, GPU start/stop tf.profiler.experimental API Supported Not Supported Not Supported CPU, GPU client.trace tf.profiler.experimental API Supported Supported Supported CPU, GPU, TPU Context manager API Supported Not supported Not Supported CPU, GPU TensorBoard Keras Callback Поддржани Не поддржани Не поддржани CPU и GPU Старт / Стоп tf.profiler.experimental Огнот Поддржани Не поддржани Не поддржани CPU и GPU Клиентот трага tf.profiler.experimental Огнот Поддржани Поддржани Поддржани CPU, GPU и TPU Context manager API Поддржани Не поддржани Не поддржани CPU и GPU Најдобри практики за оптимални перформанси на моделите Користете ги следниве препораки како што е применливо за вашите модели на TensorFlow за да постигнете оптимални перформанси. Во принцип, извршете ги сите трансформации на уредот и осигурајте се дека ја користите најновата компатибилна верзија на библиотеки како cuDNN и Intel MKL за вашата платформа. Оптимизирање на влезните податоци на цевката Користете ги податоците од [#input_pipeline_analyzer] за да ја оптимизирате цевката за внесување на податоци. Ефикасна цевка за внесување на податоци може драстично да ја подобри брзината на извршување на вашиот модел со намалување на времето на безработица на уредот. водич и подолу за да го направите вашиот податочен влез на цевката поефикасно. Подобрување на перформансите со tf.data API Општо земено, паралелизирање на сите операции кои не треба да се извршуваат последователно може значително да го оптимизира цевката за влез на податоци. Во многу случаи, тоа помага да се промени редоследот на некои повици или да се прилагодат аргументите, така што тоа работи најдобро за вашиот модел. Обидете се да го користите вашиот модел со синтетички податоци за да проверите дали влезната цевка е пречка за перформансите. Користете tf.data.Dataset.shard за обука на повеќе GPUs. Осигурајте се дека ќе го вклучите shard многу рано во влезниот круг за да се спречат намалувања на пропускливоста. Кога работите со TFRecords, осигурајте се дека ќе го разбиете списокот на TFRecords, а не содржината на TFRecords. Паралелизирајте неколку опции со динамичко поставување на вредноста на num_parallel_calls со користење на tf.data.AUTOTUNE. Размислете за ограничување на употребата на tf.data.Dataset.from_generator бидејќи е побавно во споредба со чиста TensorFlow ops. Размислете за ограничување на употребата на tf.py_function, бидејќи не може да се сериализира и не е поддржано да се извршува во дистрибуиран TensorFlow. Користете tf.data.Options за да ги контролирате статичките оптимизации на внесната цевка. Исто така прочитајте го Анализа на перформансите за повеќе насоки за оптимизирање на вашиот внес цевка. tf.data Водич Оптимизирање на зголемување на податоците Кога работите со податоци за слики, направете поефикасно со лемење на различни типови на податоци примена на просторни трансформации, како што се преклопување, сечење, ротација, итн. Зголемување на податоците По По Забелешка: Некои опции како tf.image.resize транспарентно го менуваат dtype на fp32. Бидете сигурни дека ги нормализирате вашите податоци да лежат помеѓу 0 и 1, ако тоа не е направено автоматски. Забелешка: Некои опции како tf.image.resize транспарентно го менуваат dtype на fp32. Бидете сигурни дека ги нормализирате вашите податоци да лежат помеѓу 0 и 1, ако тоа не е направено автоматски. AMP Користење на NVIDIA® DALI Во некои случаи, како што е кога имате систем со висок сооднос на GPU до CPU, сите горенаведени оптимизации може да не бидат доволни за да се елиминираат стапките во полнењето на податоците предизвикани од ограничувањата на циклусите на CPU. Ако користите NVIDIA® GPUs за компјутерска визија и аудио-длабоко учење апликации, размислете за користење на библиотеката за вчитање на податоци ( за да се забрза цевката за податоци. Дали Проверете го Документација за листа на поддржани DALI ops. NVIDIA® DALI: Операции Користење на заканувањето и паралелното извршување Извршете операции на повеќе CPU нишки со Оган за да ги изврши побрзо. tf.config.threading TensorFlow автоматски го поставува бројот на паралелизирани нишки по претпоставка. Полето на нишки достапни за извршување на TensorFlow опции зависи од бројот на CPU нишки достапни. Контролирајте го максималното паралелно забрзување за една опција со користење Имајте на ум дека ако извршувате повеќе опции паралелно, сите тие ќе го делат достапниот пул на теми. tf.config.threading.set_intra_op_parallelism_threads Ако имате независни опции за неблокирање (опции без насочен пат помеѓу нив на графиконот), користете за да ги извршите истовремено со користење на достапниот пул на теми. tf.config.threading.set_inter_op_parallelism_threads Несериозни Кога работите со помали модели на NVIDIA® GPU, можете да да ги присили сите CPU тензори да бидат доделени со CUDA прицврстена меморија за да се даде значителен поттик на перформансите на моделите. Сепак, бидете претпазливи додека ја користите оваа опција за непознати / многу големи модели, бидејќи ова може негативно да влијае на перформансите на домаќинот (CPU). tf.compat.v1.ConfigProto.force_gpu_compatible=True Подобрување на перформансите на уредот Следете ги најдобрите практики детално тука и во за да се оптимизира перформансата на моделот TensorFlow на уредот. Водич за оптимизација на перформансите на GPU Ако користите NVIDIA GPU, најавете го користењето на GPU и меморијата во CSV датотека со извршување: nvidia-smi --query-gpu=utilization.gpu,utilization.memory,memory.total, memory.free,memory.used --format=csv Конфигурирање на податоци layout Кога работите со податоци кои содржат информации за канали (како што се слики), оптимизирајте го форматот на распоредот на податоците за да ги преферирате каналите последни (NHWC над NCHW). Канал-последниот формат на податоци се подобрува Искористување и обезбедување на значителни подобрувања во перформансите, особено во конволуционалните модели кога се комбинираат со AMP. NCHW распоредот на податоците се уште може да се работи со Tensor Cores, но да се воведе дополнителна надградба поради автоматските опции за транспонирање. Тензор за јадро Можете да го оптимизирате распоредот на податоците за да ги преферирате распоредите на NHWC со поставување За лагери како , на и . data_format="channels_last" tf.keras.layers.Conv2D tf.keras.layers.Conv3D tf.keras.layers.RandomRotation Користете за да го поставите стандардниот формат за распоред на податоци за Keras backend API. tf.keras.backend.set_image_data_format Макс надвор од L2 кеш Кога работите со NVIDIA® GPUs, извршете го кодот подолу пред вежбата за обука за да ја извлечете грануларноста на L2 до 128 байти. import ctypes _libcudart = ctypes.CDLL('libcudart.so') # Set device limit on the current device # cudaLimitMaxL2FetchGranularity = 0x05 pValue = ctypes.cast((ctypes.c_int*1)(), ctypes.POINTER(ctypes.c_int)) _libcudart.cudaDeviceSetLimit(ctypes.c_int(0x05), ctypes.c_int(128)) _libcudart.cudaDeviceGetLimit(pValue, ctypes.c_int(0x05)) assert pValue.contents.value == 128 Конфигурирање на употребата на GPU thread GPU thread mode го одредува начинот на кој се користат GPU threads. Поставете го thread mode на за да бидете сигурни дека пред-обработката не ги краде сите GPU нишки. Ова ќе го намали задоцнувањето на лансирањето на јадрото за време на обуката. Можете исто така да го поставите бројот на нишки по GPU. Поставете ги овие вредности користејќи променливи на животната средина. gpu_private import os os.environ['TF_GPU_THREAD_MODE']='gpu_private' os.environ['TF_GPU_THREAD_COUNT']='1' Конфигурирајте ги опциите за меморија на GPU Општо земено, зголемете ја големината на партијата и скалирајте го моделот за подобро да ги искористите GPU-ите и да добиете поголем промет.Забележете дека зголемувањето на големината на партијата ќе ја промени точноста на моделот, така што моделот треба да се скалира со прилагодување на хиперпараметри како што е брзината на учење за да се исполни целната точност. Затоа, користете за да се дозволи зголемување на меморијата на GPU за да се спречи целосната расположлива меморија да биде целосно доделена на опции кои бараат само дел од меморијата. tf.config.experimental.set_memory_growth За да дознаете повеќе, проверете го водич во GPU водич за да дознаете повеќе. Ограничување на растот на GPU меморијата Несериозни Зголемете ја големината на тренинг мини-парти (бројот на примероци за обука што се користат по уред во една итерација на тренинг-лукот) до максималната количина што се вклопува без грешка на OOM на GPU. Зголемувањето на големината на партијата влијае на точноста на моделот, па бидете сигурни дека ќе го скалите моделот со прилагодување на хиперпараметри за да ја задоволите целната точност. Деактивирајте го известувањето за грешки на OOM за време на распределбата на тензорот во кодот за производство. Поставете report_tensor_allocations_upon_oom=False во tf.compat.v1.RunOptions. За модели со слоеви на конволуција, отстранете го додавањето на предрасуди ако користите нормализација на партиите. Нормализацијата на партиите ги менува вредностите со нивниот просек и ова ја елиминира потребата за постојан термин на предрасуди. Користете TF статистика за да дознаете колку ефикасно се изведуваат операциите на уредот. Користете tf.function за да извршите пресметки и, како опција, овозможете ја ознаката jit_compile=True (tf.function(jit_compile=True). Минимизирајте ги Python-операциите на домаќинот помеѓу чекорите и намалете ги повиците. Чувајте ги компјутерските единици на уредот зафатени. Пренесување на податоци на повеќе уреди паралелно. Размислете за користење на 16-битни нумерички претставувања, како што е fp16 - форматот на полупрецизна пловечка точка наведена од IEEE - или форматот Brain floating-point bfloat16. Дополнителни ресурси TensorFlow Profiler: Профил модел перформанси упатство со Keras и TensorBoard каде што можете да ги примените совети во ова упатство. Профилирањето на перформансите во TensorFlow 2 зборува од TensorFlow Dev Summit 2020. Демо на TensorFlow Profiler од TensorFlow Dev Summit 2020. Познати ограничувања Профилирање на повеќе GPUs на TensorFlow 2.2 и TensorFlow 2.3 TensorFlow 2.2 и 2.3 поддржуваат повеќе GPU профилирање само за еден домаќин системи; повеќе GPU профилирање за повеќе домаќин системи не е поддржан. За профилирање на конфигурации на GPU со повеќе работници, секој работник мора да се профилира независно. Од TensorFlow 2.4 повеќе работници може да се профилираат користејќи Огнот е tf.profiler.experimental.client.trace CUDA® Toolkit 10.2 или подоцна е потребно за профилирање на повеќе GPUs. Како што TensorFlow 2.2 и 2.3 поддржуваат CUDA® Toolkit верзии само до 10.1, треба да креирате симболични врски до и : libcudart.so.10.1 libcupti.so.10.1 sudo ln -s /usr/local/cuda/lib64/libcudart.so.10.2 /usr/local/cuda/lib64/libcudart.so.10.1 sudo ln -s /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.2 /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.1 Оригинално објавен на веб-страницата на TensorFlow, овој напис се појавува тука под нов наслов и е лиценциран под CC BY 4.0. Оригинално објавен на веб-страницата на TensorFlow, овој напис се појавува тука под нов наслов и е лиценциран под CC BY 4.0. Тензорфлоу Тензорфлоу