コンテンツ概要 
 
 
 
 
 
 
 
 
 
 
 
 
 パフォーマンスデータ収集 APIsプロフィール トレーニング ループ Custom Training Loops プロフィール使用ケース 最適なモデルパフォーマンスのためのベストプラクティス 入力データパイプラインの最適化 Threading と Parallel Execution Miscellaneous デバイスのパフォーマンス向上 追加資源 知られている制限 TensorFlow 2.2 および TensorFlow 2.3 で複数の GPU のプロフィール パフォーマンスデータ収集 TensorFlow Profiler は、あなたの TensorFlow モデルのホスト アクティビティと GPU トラックを収集します. You can configure the Profiler to collect performance data through either the programmatic mode or the sampling mode. APIsプロフィール プロフィールを作成するために、以下のAPIを使用できます。 
 
 TensorBoard Keras Callback を使用するプログラムモード (tf.keras.callbacks.TensorBoard) # Profile from batches 10 to 15
tb_callback = tf.keras.callbacks.TensorBoard(log_dir=log_dir,
                                             profile_batch='10, 15')

# Train the model and use the TensorBoard Keras callback to collect
# performance profiling data
model.fit(train_data,
          steps_per_epoch=20,
          epochs=5,
          callbacks=[tb_callback])
 
 
 tf.profiler Function API を使用するプログラムモード tf.profiler.experimental.start('logdir')
# Train the model here
tf.profiler.experimental.stop()
 
 
 コンテキストマネージャーを使用するプログラミングモード with tf.profiler.experimental.Profile('logdir'):
    # Train the model here
    pass
 
 
 注:プロファイラーを長時間実行すると、メモリがなくなる可能性があります 一度に10段階以上プロファイリングすることをお勧めします。 注:プロファイラーを長時間実行すると、メモリがなくなる可能性があります 一度に10段階以上プロファイリングすることをお勧めします。 
 
 
 
 
 Sampling mode: Perform on-demand profiling by using   to start a gRPC server with your TensorFlow model run. After starting the gRPC server and running your model, you can capture a profile through the   button in the TensorBoard profile plugin. Use the script in the Install profiler section above to launch a TensorBoard instance if it is not already running. tf.profiler.experimental.server.start Capture Profile As an example, # Start a profiler server before your model runs.
tf.profiler.experimental.server.start(6009)
# (Model code goes here).
#  Send a request to the profiler server to collect a trace of your model.
tf.profiler.experimental.client.trace('grpc://localhost:6009',
                                      'gs://your_tb_logdir', 2000)
 複数の従業員のプロフィールの例: # E.g., your worker IP addresses are 10.0.0.2, 10.0.0.3, 10.0.0.4, and you
# would like to profile for a duration of 2 seconds.
tf.profiler.experimental.client.trace(
    'grpc://10.0.0.2:8466,grpc://10.0.0.3:8466,grpc://10.0.0.4:8466',
    'gs://your_tb_logdir',
    2000)
 使い方 The 対話は具体化する: Capture Profile 
 
 
 
 
 プロフィール サービス URL または TPU 名の comma-delimited list プロフィールの長さ デバイス、ホスト、およびPythonの機能のレベルは、コールトラッキングです。 プロファイラーが最初に失敗した場合、プロフィールのキャプチャを再起動することを何回望むか。 トレーニング ループ Custom Training Loops TensorFlow コードでカスタム トレーニング ループをプロフィールするには、トレーニング ループを API は、プロファイラーのステップ境界をマークします。 tf.profiler.experimental.Trace THE argument は、ステップ名のプレフィックスとして使用されます。 keyword argument はステップ名に付属し、そして keyword argument では、この trace event が Profiler によってステップ イベントとして処理されます。 name step_num _r 例えば、 for step in range(NUM_STEPS):
    with tf.profiler.experimental.Trace('train', step_num=step, _r=1):
        train_data = next(dataset)
        train_step(train_data)
 これにより、プロファイラーのステップベースのパフォーマンス分析が可能になり、ステップイベントがトラックビューアーに表示されるようになります。 データセット iterator をデータセット内に入れることを確認してください。 入力パイプラインの正確な分析のための文脈。 tf.profiler.experimental.Trace 下のコードは反パターンです。 
 
 警告:これは、入力パイプラインの不正確な分析につながります。 これは、入力パイプラインの不正確な分析につながります。 Warning: for step, train_data in enumerate(dataset):
    with tf.profiler.experimental.Trace('train', step_num=step, _r=1):
        train_step(train_data)
 プロフィール使用ケース プロファイラーは、4つの異なる軸に沿ってさまざまな用例をカバーしています。いくつかの組み合わせは現在サポートされており、将来追加される予定です。 
 
 
 
 ローカル対リモートプロファイリング:これらは、プロファイリング環境を設定する2つの一般的な方法です。ローカルプロファイリングでは、プロファイリング API は、モデルが実行している同じマシン、例えば GPU を搭載したローカルワークステーションで呼ばれます。 複数の従業員のプロフィール: TensorFlow の分散型トレーニング機能を使用すると、複数のマシンをプロフィールできます。 ハードウェアプラットフォーム:プロフィールCPU、GPU、TPU 下のテーブルでは、上記のTensorFlowでサポートされている使用例の簡単な概要を提供します。 
 
 
 
 
 
 
 
 
 
 
 
 
 Profiling API 
 Local 
 Remote 
 Multiple workers 
 Hardware Platforms 
 
 
 
 
 
 
 TensorBoard Keras Callback 
 Supported 
 Not Supported 
 Not Supported 
 CPU, GPU 
 
 
 
 
 
 
  start/stop  tf.profiler.experimental API 
 Supported 
 Not Supported 
 Not Supported 
 CPU, GPU 
 
 
 
 
 
 
  client.trace  tf.profiler.experimental API 
 Supported 
 Supported 
 Supported 
 CPU, GPU, TPU 
 
 
 
 
 
 
 Context manager API 
 Supported 
 Not supported 
 Not Supported 
 CPU, GPU TensorBoard Keras Callback 応援 応援なし 応援なし CPU、GPU スタート / STOP tf.profiler.experimental 花火 応援 応援なし 応援なし CPU、GPU クライアント・トラック tf.profiler.experimental 花火 応援 応援 応援 CPU、GPU、TPU Context manager API 応援 応援なし 応援なし CPU、GPU 最適なモデルパフォーマンスのためのベストプラクティス 最適なパフォーマンスを達成するために、あなたの TensorFlow モデルに適用される次の推奨事項を使用します。 一般的に、デバイス上のすべての変換を実行し、プランテーション用にcuDNNやIntel MKLなどのライブラリの最新の互換性のあるバージョンを使用することを確認します。 入力データパイプラインの最適化 データ入力パイプラインを最適化するために [#input_pipeline_analyzer] からのデータを使用します。 効率的なデータ入力パイプラインは、デバイスの空き時間を減らすことによってモデルの実行速度を劇的に向上させることができます。 あなたのデータ入力パイプラインをより効率的にするために、ガイドと下にあります。 tf.data API によるパフォーマンス向上 
 
 
 
 
 
 
 
 
 一般に、順序的に実行する必要がないオプションを並列化することは、データ入力パイプラインを大幅に最適化することができます。 多くの場合、いくつかの呼び出しの順序を変更するか、モデルに最適に機能するように議論を調節するのに役立ちます。 入力データパイプラインを最適化する際に、トレーニングとバックプロパガンダのステップなしでデータロードヤーのみをベンチマークして、最適化の効果を独立して定量化します。 合成データでモデルを実行して、入力パイプラインがパフォーマンスのボトルネックであるかどうかを確認してください。 tf.data.Dataset.shard for multi-GPU training. Make sure you shard very early on in the input loop to prevent reductions in throughput. TFRecords で作業するときは、TFRecords のコンテンツではなく TFRecords のリストを shard するようにしてください。 tf.data.AUTOTUNE を使用して num_parallel_calls の値を動的に設定して複数のオプションを並列化します。 tf.data.Dataset.from_generator の使用を制限することを検討し、純粋な TensorFlow オプションに比べて遅くなります。 tf.py_function の使用を制限することを検討してください. it cannot be serialized and is not supported to run in distributed TensorFlow. tf.data.Options を使用して、入力パイプラインへの静的最適化を制御します。 また、読む The パフォーマンス分析 あなたの入力パイプラインを最適化するためのより多くのガイドライン。 tf.data ガイド データ拡大の最適化 画像データを使用する場合、あなたの 異なるデータタイプへのキャストによりより効率的 フリップ、カッピング、回転などの空間変換を適用すること。 データ増加 後 後 
 
 注: tf.image.resize のようないくつかのオプションは、透明に dtype を fp32 に変更します。 自動的に実行されていない場合は、データを 0 から 1 に正常化するようにしてください。 注: tf.image.resize のようないくつかのオプションは、透明に dtype を fp32 に変更します。 自動的に実行されていない場合は、データを 0 から 1 に正常化するようにしてください。 AMP 
 
 
 
 
 「NVIDIA® DALI」 たとえば、高GPU対CPU比率のシステムがある場合など、上記のすべての最適化は、CPUサイクルの制限によって生じたデータローダーのボトルネックを排除するのに十分ではない場合があります。 NVIDIA® GPU をコンピュータビジョンおよびオーディオ深層学習アプリケーションに使用している場合は、データロードライブラリ ( データパイプラインを加速させる。 ダリ CHECK THE サポートされている DALI オプションのリストのドキュメント。 NVIDIA® DALI:オペレーション Threading と Parallel Execution Run ops on multiple CPU threads with the 火を加速させる。 tf.config.threading TensorFlow はパラレリズム トレードの数をデフォルトで自動的に設定します. The thread pool available for running TensorFlow ops depends on the number of CPU threads available. 単一オプションの最大並列速度アップを制御する 複数のオプションを並行して実行する場合、すべてのオプションが利用可能なトレードプールを共有することに注意してください。 tf.config.threading.set_intra_op_parallelism_threads ブロックしないオプションが独立している場合(グラフでそれらの間の方向的なパスがないオプション)は、 利用可能なトレードプールを使用して同時に実行する。 tf.config.threading.set_inter_op_parallelism_threads Miscellaneous NVIDIA® GPU で小型モデルで作業する場合、 すべての CPU テンサーを CUDA 付属メモリで割り当てるように強制し、モデルのパフォーマンスを大幅に向上させます。しかし、これはホスト (CPU) のパフォーマンスに悪影響を及ぼす可能性があるため、未知の/非常に大きなモデルの場合にこのオプションを使用する際には注意してください。 tf.compat.v1.ConfigProto.force_gpu_compatible=True デバイスのパフォーマンス向上 詳細はこちらと下記のベストプラクティスを参照 デバイス上の TensorFlow モデルのパフォーマンスを最適化します。 GPUパフォーマンス最適化ガイド NVIDIA GPU を使用している場合は、GPU とメモリの使用量を CSV ファイルにログする: nvidia-smi
--query-gpu=utilization.gpu,utilization.memory,memory.total,
memory.free,memory.used --format=csv
 データレイアウト Layout チャネル情報(画像など)を含むデータで作業する際には、データレイアウト形式を最適化して、最後のチャネル(NHWC 対 NCHW)を好みます。 最新チャンネルデータ形式の改善 利用とパフォーマンスの大幅な改善を提供し、特にAMPと組み合わせたコンボルチュアルモデルでは、NCHWデータレイアウトはまだTensor Coresによって操作できますが、自動トランスポーズオプションにより追加のオーバーヘッドが導入されます。 タンセンサー Core データレイアウトを最適化して、NHWCレイアウトを好むことができます。 たとえば、Layers such as で、 そして、 . data_format="channels_last" tf.keras.layers.Conv2D tf.keras.layers.Conv3D tf.keras.layers.RandomRotation 利用 Keras バックエンド API のデフォルトデータレイアウト形式を設定します。 tf.keras.backend.set_image_data_format Max out of the L2 Cache について NVIDIA® GPU で作業するときは、トレーニング ループの前に以下のコード スニップを実行して、L2 キャッチ グラニル性を 128 バイトに最大化します。 import ctypes

_libcudart = ctypes.CDLL('libcudart.so')
# Set device limit on the current device
# cudaLimitMaxL2FetchGranularity = 0x05
pValue = ctypes.cast((ctypes.c_int*1)(), ctypes.POINTER(ctypes.c_int))
_libcudart.cudaDeviceSetLimit(ctypes.c_int(0x05), ctypes.c_int(128))
_libcudart.cudaDeviceGetLimit(pValue, ctypes.c_int(0x05))
assert pValue.contents.value == 128
 GPU Thread Usageの設定 GPU トレード モードは、GPU トレードがどのように使用されるかを決定します。 Thread Mode を設定する プレプロセッサがすべてのGPUトレードを盗まないようにするため、トレーニング中にカーネルの起動遅れを減らすことができます。 また、GPUあたりのトレード数も設定できます。 gpu_private import os

os.environ['TF_GPU_THREAD_MODE']='gpu_private'
os.environ['TF_GPU_THREAD_COUNT']='1'
 GPUメモリオプションの設定 一般的に、バッチサイズを増やし、モデルをスケールしてGPUをよりよく活用し、より高いパフォーマンスを得ることに注意してください. バッチサイズを増やすとモデルの精度が変わりますので、モデルは学習率などのハイパーパラメータを調整してスケールする必要があります。 ですから、使用 GPU メモリを拡大させるため、GPU メモリを消費する他のプロセスが同じデバイス上で実行できるようにするため、すべての利用可能なメモリが、メモリのほんの一部を必要とするオプションに完全に割り当てられるのを防ぐ。 tf.config.experimental.set_memory_growth もっと知るには、チェック GPUガイドで詳しく知る GPUメモリの成長を制限する Miscellaneous 
 
 
 
 
 
 
 
 
 
 トレーニング ミニ パッチ サイズ (トレーニング ループの 1 回のイーテレーションでデバイスごとに使用されるトレーニング サンプルの数) を GPU にメモリ オフ (OOM) エラーなしに適合する最大値に増やす。 生産コードで tensor allocation 中に OOM エラーのレポートを無効にします. Set report_tensor_allocations_upon_oom=False in tf.compat.v1.RunOptions. Convolution layer を有するモデルでは、バッチ正常化を使用する場合に偏見の追加を削除します. Batch normalization は値をその平均値に変更し、これにより、常に偏見の期限を有する必要性を削除します。 TF Stats を使用して、デバイス上のオプションがどのくらい効率的に実行されているかを確認します。 tf.function を使用して計算を実行し、オプションとして jit_compile=True フラッグ (tf.function(jit_compile=True) を有効にします。 ステップ間のホスト Python 操作を最小限に抑え、コールバックを削減します。 デバイスコンピュータユニットが忙しいようにしてください。 複数のデバイスに並行してデータを送信します。 fp16 - IEEE が指定した半精度浮点形式 - または Brain floating-point bfloat16 形式などの 16 ビットの数値表示を使用することを考慮してください。 追加資源 
 
 
 
 The TensorFlow Profiler: Profile model performance tutorial with Keras and TensorBoard where you can apply the advice in this guide. このプロフィールモデルパフォーマンスチュートリアルは、KerasとTensorBoardを使用して、このガイドのヒントを適用できます。 TensorFlow 2のパフォーマンスプロファイリングは、TensorFlow Dev Summit 2020 で行われました。 TensorFlow Dev Summit 2020 からのTensorFlow Profilerのデモ。 知られている制限 TensorFlow 2.2 および TensorFlow 2.3 で複数の GPU のプロフィール TensorFlow 2.2 および 2.3 は単一ホスト システムのみの複数の GPU プロフィールをサポートし、複数のホスト システムの複数の GPU プロフィールはサポートされていません。 花火 tf.profiler.experimental.client.trace CUDA® Toolkit 10.2 以降は複数の GPU をプロフィールする必要があるため、TensorFlow 2.2 および 2.3 は CUDA® Toolkit バージョンを最大 10.1 までサポートしているため、表示リンクを作成する必要があります。 そして : libcudart.so.10.1 libcupti.so.10.1 sudo ln -s /usr/local/cuda/lib64/libcudart.so.10.2 /usr/local/cuda/lib64/libcudart.so.10.1
sudo ln -s /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.2 /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.1
 
 
 最初はTensorFlowのウェブサイトに掲載され、この記事はここに新しいタイトルの下に表示され、CC BY 4.0でライセンスを受けています。 最初はTensorFlowのウェブサイトに掲載され、この記事はここに新しいタイトルの下に表示され、CC BY 4.0でライセンスを受けています。 TensorFlowについて TensorFlowについて

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

このオーディオは、ストーリーの元の言語で制作されています。

TensorFlow Profilerを使用してモデルのパフォーマンスを最適化する方法

About Author

コメント

ラベル

この記事は

Related Stories

暗号通貨の成長: 効果的なユーザーペルソナの作成

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

暗号通貨の成長: 効果的なユーザーペルソナの作成

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps