あなたはGPUパワーを無駄にしている—今日あなたのTensorFlow入力パイプラインを修正する

コンテンツ概要 概要 資源 セットアップ データセット トレーニングループ 最適化アプローチ 無邪気なアプローチ PREFETCHING パラレルデータ抽出 パラレルデータ変換 キャッシュ ベクター化マッピング 記憶の足跡を減らす 概要 ピークパフォーマンスを達成するには、現在のステップが完了する前に次のステップのデータを提供する効率的な入力パイプラインが必要です。 API は、柔軟で効率的な入力パイプラインを構築するのに役立ちます。 高性能なTensorFlow入力パイプラインを構築するためのAPI。 tf.data tf.data 続ける前に、チェック 使用方法を学ぶためのガイド 花火 TensorFlow 入力パイプラインの構築 tf.data 資源 TensorFlow 入力パイプラインの構築 tf.data.Dataset API TF Profiler で tf.data のパフォーマンスを分析する セットアップ import tensorflow as tf import time 2024-08-15 02:29:59.860833: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 02:29:59.882136: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 02:29:59.888640: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered このガイドを通して、データセットを回復し、パフォーマンスを測定します。再現可能なパフォーマンス基準を作成することは困難です。 現在のCPUロード ネットワークトラフィック キャッシュなどの複雑なメカニズム 再生可能なベンチマークを得るには、人工的な例を構築します。 データセット 次に、従来から相続するクラスを定義することから始める。 呼び出し このデータセット: tf.data.Dataset ArtificialDataset num_samples サンプル生成(デフォルトは 3) 最初のアイテムがファイルを開くのをシミュレートする前にしばらく眠ります。 ファイルから読書データをシミュレートするために、各項目を生成する前にしばらく眠ります。 class ArtificialDataset(tf.data.Dataset): def _generator(num_samples): # Opening the file time.sleep(0.03) for sample_idx in range(num_samples): # Reading data (line, record) from the file time.sleep(0.015) yield (sample_idx,) def __new__(cls, num_samples=3): return tf.data.Dataset.from_generator( cls._generator, output_signature = tf.TensorSpec(shape = (1,), dtype = tf.int64), args=(num_samples,) ) このデータセットは、 1つは、各サンプルの開始時に固定遅延を加え、それぞれのサンプルの間に入ります。 tf.data.Dataset.range トレーニングループ 次に、データセットを繰り返すのにどれくらいの時間がかかるかを測定するドミニー・トレーニング・ループを書きます。 def benchmark(dataset, num_epochs=2): start_time = time.perf_counter() for epoch_num in range(num_epochs): for sample in dataset: # Performing a training step time.sleep(0.01) print("Execution time:", time.perf_counter() - start_time) パフォーマンスの最適化 パフォーマンスを最適化する方法を示すには、パフォーマンスを向上させます。 . ArtificialDataset 無邪気なアプローチ トリックなしで天才的なパイプラインで始めて、データセットを「as-is」で繰り返します。 benchmark(ArtificialDataset()) WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723689002.526086 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.529717 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.533395 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.537215 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.548874 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.552105 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.555507 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.559016 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.562268 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.565421 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.568842 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.572296 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.797478 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.799457 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.801473 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.803565 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.805613 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.807466 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.809382 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.811373 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.813299 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.815122 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.817022 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.819005 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.857728 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.860099 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.862063 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.864094 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.866073 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.867912 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.869940 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.871942 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.873924 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.876256 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.878556 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.880974 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 Execution time: 0.28992818999995507 帽子の下では、あなたの執行時間がどのように使われたかです。 プロットは、トレーニングステップを実行するには、以下を含むことを示しています。 まだ開いてないファイルを開く Fetching a data entry from the file ファイルの入力 トレーニングのためのデータの使用 しかし、ここのような天真な同期実装では、パイプラインがデータを取得している間、モデルは空席に座っています。逆に、モデルが訓練している間、入力パイプラインは空席に座っています。 次のセクションは、この入力パイプラインに基づいており、TensorFlowのパワフルな入力パイプラインの設計のためのベストプラクティスを示しています。 PREFETCHING Prefetching overlaps the preprocessing and model execution of a training step. モデルがトレーニングステップを実行している間 入力パイプラインは、ステップごとにデータを読み取っています。 これを行うことで、ステップ時間をトレーニングの最大(合計とは異なり)に短縮し、データを抽出するのにかかる時間も短縮します。 s s+1 THE API 提供 変換. これは、データが消費される時点からデータが生成される時間を切り離すために使用できます. 特に、変換は背景トレードと内部バッファを使用して、入力データセットからの要素を要求される前にプレフェッチします. プレフェッチする要素の数は、単一のトレーニングステップで消費されるバッチの数に等しい(またはより大きい)でなければなりません. あなたはこの値を手動で調節するか、またはそれを設定することができます を早めるものとなる。 runtime で値をダイナミックに調節する。 tf.data tf.data.Dataset.prefetch tf.data.AUTOTUNE tf.data プレフェッチ変換は、いつでも「生産者の」仕事と「消費者の」仕事を重ねる機会があるときに利益を提供することに注意してください。 benchmark( ArtificialDataset() .prefetch(tf.data.AUTOTUNE) ) Execution time: 0.282483695999872 現在、データ実行タイムスケジュールが示すように、トレーニングステップがサンプル0で実行されている間、入力パイプラインはサンプル1のデータを読み取っている。 パラレルデータ抽出 リアルな設定では、入力データはリモートに保存される場合があります(例えば、Google Cloud Storage または HDFS に)。 ローカルでデータを読み取るとうまく機能するデータセットパイプラインは、ローカルとリモートのストレージの間の以下の違いにより、リモートでデータを読み取るときに I/O がボトルネックされる可能性があります。 Time-to-first-byte: リモートストレージからファイルの最初のバイトを読み取るには、ローカルストレージよりも大きさのオーダーが長くなります。 Read throughput: リモートストレージは通常、大規模な総帯域幅を提供しますが、単一のファイルの読み込みは、この帯域幅のわずかな割合しか利用できません。 さらに、原始バイトがメモリにロードされると、データを deserialize し/または decrypt することも必要になる場合があります。 このオーバーヘッドは、データがローカルまたはリモートに保管されているかどうかに関係なく存在しますが、データが効果的にプレフェッチされていない場合、リモートケースでは悪化する可能性があります。 プロトコル さまざまなデータ抽出の影響を軽減するために、 変換は、データロードステップを並列化し、他のデータセット(データファイルリーダーなど)のコンテンツを交差させることができます。 argument, while the level of parallelism can be specified by the argument. similar to the 変換、The 変換支援 , which will delegate the decision on what level of parallelism to use to the ランタイム tf.data.Dataset.interleave cycle_length num_parallel_calls prefetch interleave tf.data.AUTOTUNE tf.data セクシーインターレイブ The default arguments of the 変換により、2 つのデータセットから単一のサンプルを連続的に交差させる。 tf.data.Dataset.interleave benchmark( tf.data.Dataset.range(2) .interleave(lambda _: ArtificialDataset()) ) Execution time: 0.4770545540004605 このデータ実行タイムプラットフォームは、データ実行の行動を示すことを可能にします。 変換は、利用可能な2つのデータセットからサンプルを交換して採取しますが、ここではパフォーマンスの改善はありません。 interleave パラレルインターレイヴ さて、今は、The Use argument of the これにより、複数のデータセットを並行してロードし、ファイルを開くのを待つ時間を短縮します。 num_parallel_calls interleave benchmark( tf.data.Dataset.range(2) .interleave( lambda _: ArtificialDataset(), num_parallel_calls=tf.data.AUTOTUNE ) ) Execution time: 0.37743708600009995 今回、データ実行タイムスケジュールが示すように、2つのデータセットの読み込みが並列化され、グローバルデータ処理時間を短縮します。 パラレルデータ変換 データを準備する際には、入力要素を前処理する必要がある場合があります。 API 提供 変換は、入力データセットの各要素にユーザー定義の関数を適用します。 入力要素が相互に独立しているため、前処理は複数のCPUコアに並列化することができます。 そして 変換、The 変換は、The パラレル化のレベルを定義する。 tf.data tf.data.Dataset.map prefetch interleave map num_parallel_calls 最適な値を選択する方法 for the argument depends on your hardware, characteristics of your training data (such as its size and shape), the cost of your map function, and what other processing is happening on the CPU at the same time. A simple heuristic is to use the number of available CPU cores. However, as for the CPU at the same time. argument depends on your hardware, characteristics of your training data (such as its size and shape), the cost of your map function, and what other processing is happening on the CPU at the same time. A simple heuristic is to use the number of available CPU cores. そして 変換、The 変換支援 どの程度の平行性を使用するかを決定する権限を委任する。 ランタイム num_parallel_calls prefetch interleave map tf.data.AUTOTUNE tf.data def mapped_function(s): # Do some hard pre-processing tf.py_function(lambda: time.sleep(0.03), [], ()) return s Sequential Mappingについて 始まりは、the use of the ベースラインの例として並列性のない変換。 map benchmark( ArtificialDataset() .map(mapped_function) ) Execution time: 0.49222556600034295 as for the , here, as the plot shows, the times spent for opening, reading, pre-processing (mapping) and training steps sum together for a single iteration. ここで、プロットが示すように、開封、読書、プレプロセス(マッピング)およびトレーニングステップに費やされた時間は、単一のイーテレーションのために合計されます。 天才的なアプローチ パラレルマップ 現在、同じプレプロセッサ機能を使用しますが、複数のサンプルに並行して適用します。 benchmark( ArtificialDataset() .map( mapped_function, num_parallel_calls=tf.data.AUTOTUNE ) ) Execution time: 0.36392719900049997 データプラットフォームが示しているように、プレプロセッサのステップは重なり、単一のイテレーションの全体的な時間を短縮します。 キャッシュ THE 変換は、メモリまたはローカルストレージでデータセットをキャッシュすることができます. This will save some operations (such as file opening and data reading) from being executed during each epoch. tf.data.Dataset.cache benchmark( ArtificialDataset() .map( # Apply time consuming operations before cache mapped_function ).cache( ), 5 ) Execution time: 0.3864543270001377 ここでは、データ実行時間のスケジュールは、データセットをキャッシュするときに、データ実行前の変換を表示します。 1 つのエピソード(ファイルの開閉やデータの読み込みなど)は、最初のエピソードの間にのみ実行されます。 変換 cache cache ユーザ定義の機能が移行した場合 コストは高く、適用は 改造後の データセットがメモリまたはローカルストレージに収容できる限り、変換します. If the user-defined function increases the space required to store the data set beyond the cache capacity, either apply it after the リソースの使用を減らすために、トレーニング作業の前にデータを事前処理することを検討します。 map cache map cache ベクター化マッピング ユーザー定義の関数を呼び出し、 transformation has overhead related to scheduling and executing the user-defined function. Vectorize the user-defined function (that is, have it operate over a batch of inputs at once) and apply the user-defined function. ユーザで定義された関数をベクター化(すなわち、一度に一連の入力で動作させること) 変換 THE 変換 map batch 前 map この良い実践を示すために、あなたの人工データセットは適切ではありません。 スケジュールの遅延は約10マイクロ秒(10e-6秒)であり、スケジュールで使用される数十ミリ秒よりもはるかに少ないです。 その結果、その影響は見えにくい。 ArtificialDataset この例では、ベースを使います。 機能し、トレーニングループをその最も単純な形に簡素化します。 tf.data.Dataset.range fast_dataset = tf.data.Dataset.range(10000) def fast_benchmark(dataset, num_epochs=2): start_time = time.perf_counter() for _ in tf.data.Dataset.range(num_epochs): for _ in dataset: pass tf.print("Execution time:", time.perf_counter() - start_time) def increment(x): return x+1 スカラーマップ fast_benchmark( fast_dataset # Apply function one item at a time .map(increment) # Batch .batch(256) ) Execution time: 0.23993100699954084 上記のスロットは、スカラーマッピング方法を使用して何が起こっているか(サンプルが少ない)を示しています。それは、マッピング関数が各サンプルに適用されていることを示しています。この関数は非常に速いが、時間のパフォーマンスに影響を与えるいくつかのオーバーヘッドを持っています。 ベクター化マッピング fast_benchmark( fast_dataset .batch(256) # Apply function on a batch of items # The tf.Tensor.__add__ method already handle batches .map(increment) ) Execution time: 0.04984995199993136 今回、マッピードされた関数は一度呼び出され、サンプルのバッチに適用されます. As the data execution time plot shows, while the function could take more time to execute, the overhead appears only once, improving the overall time performance. データの実行時間スケジュールが示すように、この関数は実行するのにより多くの時間がかかる場合があります。 記憶の足跡を減らす いくつかの変革を含む、 で、 そして、 , 要素の内部バッファを維持します. ユーザ定義の関数が 変換は要素のサイズを変更し、それから地図の変換の順序とバッファ要素の変換がメモリの使用に影響を与えます。一般的に、パフォーマンスのために異なる順序が望ましくない限り、メモリの足跡を下げる順序を選択します。 interleave prefetch shuffle map パーティカルコンピュータCaching Partial Computations データセットをキャッシュすることをお勧めします。 この変換によってデータがメモリに適合するには大きすぎる場合を除き、マッピングされた関数を2つの部分に分けることができる場合に妥協が達成できます:時間消費の一部とメモリ消費の一部です。 map dataset.map(time_consuming_mapping).cache().map(memory_consuming_mapping) このようにして、時間がかかる部分は最初の時代にのみ実行され、あまりにも多くのキャッシュスペースを使用しないようにします。 最初はTensorFlowのウェブサイトに掲載され、この記事はここに新しいタイトルの下に表示され、CC BY 4.0でライセンスを受けています。 最初はTensorFlowのウェブサイトに掲載され、この記事はここに新しいタイトルの下に表示され、CC BY 4.0でライセンスを受けています。 TensorFlowについて TensorFlowについて