機械学習の最も人気のある言語として定義されたランダム性

コンテンツ概要 セットアップ tf.random.Generator クラス 独立したランダムナンバーストリームの作成 tf.function との相互作用 配布戦略との相互作用 発電機の節約 無国籍RNG アルゴリズム 将軍 XLAデバイス TensorFlow は、仮想ランダム数生成器(RNG)のセットを提供します。 This document describes how you can control the random number generators, and how these generators interact with other tensorflow sub-systems. このドキュメントでは、ランダムナンバー・ジェネレーターをどのように制御し、これらのジェネレーターが他のテンサーフローサブシステムとどのように相互作用するかを説明します。 tf.random 注: ランダム 番号は TensorFlow バージョンごとに一致する保証はありません。 ランダム数は TensorFlow バージョン間で一貫する保証はありません。 Note: バージョン 互換性 バージョン 互換性 TensorFlowは、ランダムナンバー生成プロセスを制御するための2つのアプローチを提供しています。 tf.random.Generator オブジェクトの明示的な使用により、各オブジェクトは、各番号生成後に変更される状態(tf.Variable)を保持します。 tf.random.stateless_uniform. Calling these functions with the same arguments (which include the seed) and on the same device will always produce the same results. これらの関数を同じアルゴリズム(種子を含む)で呼び出すと、同じデバイスで常に同じ結果が得られます。 警告: tf.random.uniform および tf.random.normal などの TF 1.x の古い RNG はまだ削減されていませんが、強く抑制されています。 TF 1.x からの古い RNGs は、 そして 未だに抑圧されていないが、強く抑圧されている。 Warning: tf.random.uniform tf.random.normal セットアップ import tensorflow as tf # Creates some virtual devices (cpu:0, cpu:1, etc.) for using distribution strategy physical_devices = tf.config.list_physical_devices("CPU") tf.config.experimental.set_virtual_device_configuration( physical_devices[0], [ tf.config.experimental.VirtualDeviceConfiguration(), tf.config.experimental.VirtualDeviceConfiguration(), tf.config.experimental.VirtualDeviceConfiguration() ]) 2024-08-15 01:43:41.157432: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 01:43:41.178819: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 01:43:41.185039: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723686223.758551 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.762466 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.765643 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.769228 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.780976 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.784469 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.787369 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.790779 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.794250 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.797851 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.800627 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.804177 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 THE クラス tf.random.Generator tf.random. ジェネレーター THE クラスは、各 RNG 呼び出しが異なる結果を生成するようにする場合に使用されます。 毎回、ランダムナンバーが生成されるたびに更新されます。 すべての施設が楽しめます♪ 簡単なチェックポイント、自動コントロール依存性、およびトレードセキュリティなど。 tf.random.Generator tf.Variable tf.Variable tf.Variable You can get a クラスまたは呼び出しのオブジェクトを手動で作成すること デフォルトグローバルジェネレーターを取得するには: tf.random.Generator tf.random.get_global_generator() g1 = tf.random.Generator.from_seed(1) print(g1.normal(shape=[2, 3])) g2 = tf.random.get_global_generator() print(g2.normal(shape=[2, 3])) I0000 00:00:1723686225.040869 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.043016 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.045041 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.047115 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.049184 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.051188 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.053162 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.055160 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.057105 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.059113 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.061029 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 tf.Tensor( [[ 0.43842277 -0.53439844 -0.07710262] [ 1.5658045 -0.1012345 -0.2744976 ]], shape=(2, 3), dtype=float32) tf.Tensor( [[ 1.3061213 0.6299361 0.52625704] [ 1.3733886 0.29277426 -0.7945693 ]], shape=(2, 3), dtype=float32) I0000 00:00:1723686225.063243 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.101904 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.103956 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.105919 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.107957 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.109922 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.111909 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.113815 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.115823 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.117783 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.120279 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.122678 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.125117 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 ジェネレーターのオブジェクトを作成する方法は複数あります 最も簡単なのは , as shown above, that creates a generator from a seed. A seed is any non-negative integer. これは、種子から生成器を作成します。 また、オプションの論点も RNGアルゴリズムは、このジェネレーターが使用するものです。 Generator.from_seed from_seed alg g1 = tf.random.Generator.from_seed(1, alg='philox') print(g1.normal(shape=[2, 3])) tf.Tensor( [[ 0.43842277 -0.53439844 -0.07710262] [ 1.5658045 -0.1012345 -0.2744976 ]], shape=(2, 3), dtype=float32) 見る The 詳細については、下のセクションでご説明します。 アルゴリズム 発電機を作る別の方法は、 このように作成されたジェネレーターは、例えば時間やOSに依存して、非決定的な状態から始まります。 Generator.from_non_deterministic_state g = tf.random.Generator.from_non_deterministic_state() print(g.normal(shape=[2, 3])) tf.Tensor( [[ 0.9104948 -0.23143363 -0.09841432] [-0.91448975 0.1579936 1.3923475 ]], shape=(2, 3), dtype=float32) ジェネレーターを作成する他の方法は、例えば、このガイドでカバーされていない明示的な状態からである。 使用時 グローバルジェネレーターを取得するには、デバイスの配置に気をつけなければなりません。グローバルジェネレーターは(非決定的な状態から)最初に作成されます。 呼び出しが行われ、その呼び出し時にデフォルトデバイスに配置されますので、たとえば、呼び出した最初のサイトが 内 A 範囲内では、グローバルジェネレーターがGPUに配置され、CPUからグローバルジェネレーターを使用すると、GPUからCPUへのコピーが発生します。 tf.random.get_global_generator tf.random.get_global_generator tf.random.get_global_generator tf.device("gpu") また、機能があります。 グローバルジェネレーターを別のジェネレーターオブジェクトに置き換えるために、この機能は、古いグローバルジェネレーターがキャプチャされた可能性があるため、慎重に使用する必要があります。 (弱い参照として)、それを置き換えることでゴミが収集され、 グローバルジェネレーターをリセットするより良い方法は、以下のような「リセット」機能の1つを使用することです。 新しいジェネレーターオブジェクトを作成しない tf.random.set_global_generator tf.function tf.function Generator.reset_from_seed g = tf.random.Generator.from_seed(1) print(g.normal([])) print(g.normal([])) g.reset_from_seed(1) print(g.normal([])) tf.Tensor(0.43842277, shape=(), dtype=float32) tf.Tensor(1.6272374, shape=(), dtype=float32) tf.Tensor(0.43842277, shape=(), dtype=float32) 独立したランダムナンバーストリームの作成 多くのアプリケーションでは、複数の独立したランダム・ナンバー・ストリームが必要であり、統計的に検出可能な関連性を持たないという意味で独立しています。 互いに独立していることを保証する複数の発電機を作成する(すなわち、独立したストリームを生成する)。 Generator.split g = tf.random.Generator.from_seed(1) print(g.normal([])) new_gs = g.split(3) for new_g in new_gs: print(new_g.normal([])) print(g.normal([])) tf.Tensor(0.43842277, shape=(), dtype=float32) tf.Tensor(2.536413, shape=(), dtype=float32) tf.Tensor(0.33186463, shape=(), dtype=float32) tf.Tensor(-0.07144657, shape=(), dtype=float32) tf.Tensor(-0.79253083, shape=(), dtype=float32) 呼ばれる発電機の状態を変更します( 上記の例では、RNGの方法として、 また、新規発電機は、新規発電機( )はまた、古いものから独立することを保証する( ( ) split g normal new_gs g 新しいジェネレーターのスワウニングは、あなたが使用するジェネレーターが他の計算と同一のデバイスにあることを確認したい場合にも役に立ち、クロスデバイスコピーの過剰なコピーを避けるために。 with tf.device("cpu"): # change "cpu" to the device you want g = tf.random.get_global_generator().split(1)[0] print(g.normal([])) # use of g won't cause cross-device copy, unlike the global generator tf.Tensor(-0.66787744, shape=(), dtype=float32) 注: 理論的には、from_seed のようなコンクリュータを使用して新しいジェネレーターを得るためにここで分割するのではなく、新しいジェネレーターがグローバルジェネレーターから独立しているという保証を失います。 注: 理論的には、from_seed のようなコンクリュータを使用して新しいジェネレーターを得るためにここで分割するのではなく、新しいジェネレーターがグローバルジェネレーターから独立しているという保証を失います。 繰り返し分割して、呼び出すことができます。 split generators. There are no limits (barring integer overflow) on the depth of recursions. リクルシアの深さには限界はありません。 split インタラクション with tf.function 同じルールに従って、 用いられる場合 これには、3つの側面が含まれています。 tf.random.Generator tf.Variable tf.function 外部の発電機を作る TF機能 TF機能 外部から作られた発電機を使うことができます。 tf.function g = tf.random.Generator.from_seed(1) @tf.function def foo(): return g.normal([]) print(foo()) tf.Tensor(0.43842277, shape=(), dtype=float32) ユーザは、関数が呼び出されたときに、ジェネレーターオブジェクトがまだ生きていることを確認する必要があります(ゴミが収集されていない)。 内部の発電機を作る tf.function TF機能 A 内部の発電機の作成 機能の最初の走行時にしか起こらない。 tf.function g = None @tf.function def foo(): global g if g is None: g = tf.random.Generator.from_seed(1) return g.normal([]) print(foo()) print(foo()) tf.Tensor(0.43842277, shape=(), dtype=float32) tf.Tensor(1.6272374, shape=(), dtype=float32) 発電機を論拠として渡す tf.function TF機能 A を論争として用いる場合 , different generator objects will cause retracement of the . tf.function tf.function num_traces = 0 @tf.function def foo(g): global num_traces num_traces += 1 return g.normal([]) foo(tf.random.Generator.from_seed(1)) foo(tf.random.Generator.from_seed(2)) print(num_traces) 2 注意:このリトレーション行動は、 : tf.Variable num_traces = 0 @tf.function def foo(v): global num_traces num_traces += 1 return v.read_value() foo(tf.Variable(1)) foo(tf.Variable(2)) print(num_traces) 1 配布戦略との相互作用 という2つの方法がありますが、 配布戦略との相互作用 Generator ディストリビューション戦略以外のジェネレーターの作成 戦略範囲外でジェネレーターを作成する場合、ジェネレーターへのすべてのレプリカのアクセスはシリアル化され、したがって、レプリカは異なるランダム数を取得します。 g = tf.random.Generator.from_seed(1) strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): def f(): print(g.normal([])) results = strat.run(f) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. tf.Tensor(0.43842274, shape=(), dtype=float32) tf.Tensor(1.6272374, shape=(), dtype=float32) この使用には、発電機のデバイスがレプリカとは異なるため、パフォーマンスの問題がある可能性があります。 ディストリビューション戦略内のジェネレーターの作成 戦略範囲内でジェネレーターを作成する場合、それぞれのレプリカは、異なる独立したランダム数ストリームを取得します。 strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): g = tf.random.Generator.from_seed(1) print(strat.run(lambda: g.normal([]))) print(strat.run(lambda: g.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor(-0.87930447, shape=(), dtype=float32), 1: tf.Tensor(0.020661574, shape=(), dtype=float32) } WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } 注: 現在、tf.random.Generator では、異なるレプリカが同じ(異なる)ストリーム(技術的には難しい)になるようにするオプションを提供していません。 注: 現在、tf.random.Generator では、異なるレプリカが同じ(異なる)ストリーム(技術的には難しい)になるようにするオプションを提供していません。 発電機が種子化された場合(たとえば、 ), ランダム数は種子によって決定されるが、異なる複製物が異なる、関連性のない数を獲得するにもかかわらず. One can think of a random number generated on a replica as a hash of the replica ID and a "primary" random number that is common to all replicas. Therefore, the whole system is still deterministic. したがって, the whole system is still deterministic. Generator.from_seed 内側も作ることができます。 : tf.random.Generator Strategy.run strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): def f(): g = tf.random.Generator.from_seed(1) a = g.normal([]) b = g.normal([]) return tf.stack([a, b]) print(strat.run(f)) print(strat.run(f)) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor([-0.87930447 -1.5822568 ], shape=(2,), dtype=float32), 1: tf.Tensor([0.02066157 0.77539235], shape=(2,), dtype=float32) } WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor([-0.87930447 -1.5822568 ], shape=(2,), dtype=float32), 1: tf.Tensor([0.02066157 0.77539235], shape=(2,), dtype=float32) } もはや通ることをお勧めしない。 という論点として なぜなら 一般的に、論点は、発電機ではなく、テンサーであることを期待します。 tf.random.Generator Strategy.run Strategy.run 発電機の節約 一般的に、節約または連続化のために、あなたは処理することができます a 同じように、あなたはAを扱うでしょう。 あるいはA (あるいはそのサブクラス) TF には、2 つのメカニズムが存在します: そして . tf.random.Generator tf.Variable tf.Module チェックポイント 保存モデル チェックポイント 発電機は、自由に保存し、使用して復元することができます。 復元ポイントからのランダムナンバーストリームは、保存ポイントからのものと同じになります。 tf.train.Checkpoint filename = "./checkpoint" g = tf.random.Generator.from_seed(1) cp = tf.train.Checkpoint(generator=g) print(g.normal([])) tf.Tensor(0.43842277, shape=(), dtype=float32) cp.write(filename) print("RNG stream from saving point:") print(g.normal([])) print(g.normal([])) RNG stream from saving point: tf.Tensor(1.6272374, shape=(), dtype=float32) tf.Tensor(1.6307176, shape=(), dtype=float32) cp.restore(filename) print("RNG stream from restoring point:") print(g.normal([])) print(g.normal([])) RNG stream from restoring point: tf.Tensor(1.6272374, shape=(), dtype=float32) tf.Tensor(1.6307176, shape=(), dtype=float32) また、配布戦略内で保存および復元することもできます。 filename = "./checkpoint" strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): g = tf.random.Generator.from_seed(1) cp = tf.train.Checkpoint(my_generator=g) print(strat.run(lambda: g.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') PerReplica:{ 0: tf.Tensor(-0.87930447, shape=(), dtype=float32), 1: tf.Tensor(0.020661574, shape=(), dtype=float32) } with strat.scope(): cp.write(filename) print("RNG stream from saving point:") print(strat.run(lambda: g.normal([]))) print(strat.run(lambda: g.normal([]))) RNG stream from saving point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32) } with strat.scope(): cp.restore(filename) print("RNG stream from restoring point:") print(strat.run(lambda: g.normal([]))) print(strat.run(lambda: g.normal([]))) RNG stream from restoring point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32) } レプリカが保存する前に RNG 通話履歴(たとえば、1 つのレプリカが 1 つの RNG 通話を行い、もう 1 つのレプリカが 2 つの RNG 通話を行い)で異なることを確認する必要があります。 (最初のレプリカの状態だけを保存する) すべてのレプリカを適切に復元することはありません。 tf.train.Checkpoint また、保存されたチェックポイントを異なる複製数で異なる配布戦略に復元することもできます。 戦略で作成されたオブジェクトは、同じ戦略にのみ使用することができ、別の戦略に復元するには、新しい戦略を作成する必要があります。 目標戦略と新たな目標 そのために、この例で示すように、 tf.random.Generator tf.random.Generator tf.train.Checkpoint filename = "./checkpoint" strat1 = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat1.scope(): g1 = tf.random.Generator.from_seed(1) cp1 = tf.train.Checkpoint(my_generator=g1) print(strat1.run(lambda: g1.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') PerReplica:{ 0: tf.Tensor(-0.87930447, shape=(), dtype=float32), 1: tf.Tensor(0.020661574, shape=(), dtype=float32) } with strat1.scope(): cp1.write(filename) print("RNG stream from saving point:") print(strat1.run(lambda: g1.normal([]))) print(strat1.run(lambda: g1.normal([]))) RNG stream from saving point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32) } strat2 = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1", "cpu:2"]) with strat2.scope(): g2 = tf.random.Generator.from_seed(1) cp2 = tf.train.Checkpoint(my_generator=g2) cp2.restore(filename) print("RNG stream from restoring point:") print(strat2.run(lambda: g2.normal([]))) print(strat2.run(lambda: g2.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1', '/job:localhost/replica:0/task:0/device:CPU:2') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1', '/job:localhost/replica:0/task:0/device:CPU:2') RNG stream from restoring point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32), 2: tf.Tensor(0.6851049, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32), 2: tf.Tensor(-0.58519536, shape=(), dtype=float32) } たとえ そして 異なる物体は、 そして , they are linked via the common checkpoint file. 共通チェックポイントファイルを介してリンクされています。 オブジェクト名 戦略間の複製(例えば、 そして この保証は、ジェネレーターが戦略の範囲内で保存され、戦略の範囲外に復元された場合、または逆に、戦略外のデバイスが戦略のいかなるレプリカとも異なるものとして扱われるため、適切に復元されることはありません。 g1 cp1 g2 cp2 filename my_generator cpu:0 cpu:1 保存モデル ジェネレーターは戦略の範囲内で作成することができ、節約は戦略の範囲内でも起こることができる。 tf.random.Generator filename = "./saved_model" class MyModule(tf.Module): def __init__(self): super(MyModule, self).__init__() self.g = tf.random.Generator.from_seed(0) @tf.function def __call__(self): return self.g.normal([]) @tf.function def state(self): return self.g.state strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): m = MyModule() print(strat.run(m)) print("state:", m.state()) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') PerReplica:{ 0: tf.Tensor(-1.4154755, shape=(), dtype=float32), 1: tf.Tensor(-0.11388441, shape=(), dtype=float32) } state: tf.Tensor([256 0 0], shape=(3,), dtype=int64) with strat.scope(): tf.saved_model.save(m, filename) print("RNG stream from saving point:") print(strat.run(m)) print("state:", m.state()) print(strat.run(m)) print("state:", m.state()) INFO:tensorflow:Assets written to: ./saved_model/assets INFO:tensorflow:Assets written to: ./saved_model/assets RNG stream from saving point: PerReplica:{ 0: tf.Tensor(-0.68758255, shape=(), dtype=float32), 1: tf.Tensor(0.8084062, shape=(), dtype=float32) } state: tf.Tensor([512 0 0], shape=(3,), dtype=int64) PerReplica:{ 0: tf.Tensor(-0.27342677, shape=(), dtype=float32), 1: tf.Tensor(-0.53093255, shape=(), dtype=float32) } state: tf.Tensor([768 0 0], shape=(3,), dtype=int64) imported = tf.saved_model.load(filename) print("RNG stream from loading point:") print("state:", imported.state()) print(imported()) print("state:", imported.state()) print(imported()) print("state:", imported.state()) RNG stream from loading point: state: tf.Tensor([256 0 0], shape=(3,), dtype=int64) tf.Tensor(-1.0359411, shape=(), dtype=float32) state: tf.Tensor([512 0 0], shape=(3,), dtype=int64) tf.Tensor(-0.06425078, shape=(), dtype=float32) state: tf.Tensor([768 0 0], shape=(3,), dtype=int64) SavedModel containing をロードする すべてのレプリカが同じランダムナンバーストリームを生成するため、配布戦略に入ることは推奨されていません(これは、レプリカIDがSavedModelのグラフに凍結されているためです)。 tf.random.Generator Loading a Distributed (配布戦略内で作成されたジェネレーター) は、上記の例のように、非戦略環境にも警告があります。 RNG 状態は適切に復元されますが、生成されたランダム数は、その戦略における元のジェネレーターとは異なります(また、戦略外のデバイスは、戦略におけるいかなる複製物とも異なります)。 tf.random.Generator 無国籍RNG ステータスレスRNGの使用はシンプルです。それらは純粋な機能であるため、ステータスまたは副作用は含まれていません。 print(tf.random.stateless_normal(shape=[2, 3], seed=[1, 2])) print(tf.random.stateless_normal(shape=[2, 3], seed=[1, 2])) tf.Tensor( [[ 0.5441101 0.20738031 0.07356433] [ 0.04643455 -1.30159 -0.95385665]], shape=(2, 3), dtype=float32) tf.Tensor( [[ 0.5441101 0.20738031 0.07356433] [ 0.04643455 -1.30159 -0.95385665]], shape=(2, 3), dtype=float32) すべての無国籍RNGはAを必要とする。 argument, which must be an integer Tensor of shape. 形状の整数である必要があります。 opの結果は、この種子によって完全に決定される。 seed [2] Stateless RNG で使用される RNG アルゴリズムは、異なるデバイスで動作する同じオプションが異なる出力を生成する可能性があることを意味するデバイス依存性です。 アルゴリズム 将軍 両方 The クラスとThe 機能は、Philoxアルゴリズムをサポートします(Written as または (すべてのデバイスで) tf.random.Generator stateless "philox" tf.random.Algorithm.PHILOX 異なるデバイスは、同じアルゴリズムを使用して同じ状態から始まると同じ整数を生成します。それらはまた「ほぼ同じ」フロートポイント数を生成しますが、デバイスがフロートポイント計算を行う異なる方法(例えば、減量順序)によって引き起こされる小さな数値差がある可能性があります。 XLAデバイス XLA ドライブデバイス(TPU など、XLA が有効な場合の CPU/GPU)では、ThreeFry アルゴリズム (Written as または このアルゴリズムは TPU で速いが、Philox に比べて CPU/GPU で遅い。 "threefry" tf.random.Algorithm.THREEFRY この紙 これらのアルゴリズムについてもっと詳しく 「Parallel Random Numbers: As Easy as 1, 2, 3」 最初はTensorFlowのウェブサイトに掲載され、この記事はここに新しいタイトルの下に表示され、CC BY 4.0でライセンスを受けています。 最初はTensorFlowのウェブサイトに掲載され、この記事はここに新しいタイトルの下に表示され、CC BY 4.0でライセンスを受けています。 TensorFlowについて TensorFlowについて