පරිගණක ඉගෙනීමේ වඩාත් ජනප්රිය භාෂාව අනුව අසාමාන්යත්වය

Content සමාලෝචන ස්ථාපනය tf.random.Generator පන්තිය ස්වාධීන random number streams නිර්මාණය කිරීම tf.function සමඟ සන්නිවේදනය බෙදාහැරීමේ උපාය මාර්ග සමඟ සබඳතා ජෙනරාටර් ඉතිරි කිරීම රාජ් ය RNGs ඇල්ගාටීස් ජෙනරල් XLA උපකරණ TensorFlow සකස් කරන්නේ pseudo-random number generators (RNG) එකකි. මෙම ලේඛනය ඔබ අංකය ජෙනරාටර් පාලනය කළ හැකි ආකාරය, සහ මෙම ජෙනරාටර් අනෙකුත් tensorflow අංග පද්ධති සමඟ සන්නිවේදනය කරන්නේ කෙසේද විස්තර කරයි. tf.random Note: Random numbers are not guaranteed to be consistent across TensorFlow versions. TensorFlow සම්ප් රදායිකයන් තුළ අසාමාන්ය සංඛ් යාව අනුකූල වන බව සහතික කළ නොහැක. Note: පරිවර්තනය Compatibility පරිවර්තනය Compatibility TensorFlow අමුද් රව් ය සංඛ්යාව නිර්මාණය කිරීමේ ක්රියාවලිය පාලනය කිරීම සඳහා ප්රවේශ දෙකක් සපයයි: tf.random.Generator ඔක්කොම ඒ වගේ ඔක්කොම ඔක්කොම තත්වයක් (tf.Variable වලදී) සෑම සංඛ් යා සම්ප් රදායිකයක්ම පසුව වෙනස් කරනු ලැබේ. tf.random.stateless_uniform වැනි සම්පූර්ණයෙන්ම ක්රියාකාරී stateless ආකෘති හරහා මෙම ක්රියාකාරීත්වය භාවිතා කිරීම (මෙම අංගය ඇතුළත් වන) සහ එකම උපාංගය මත සෑම විටම එකම ප්රතිඵල ලබා දෙයි. අනතුරු ඇඟවීම: tf.random.uniform සහ tf.random.normal වැනි TF 1.x හි පැරණි RNGs තවමත් අහිමි වී නොමැත. අනතුරු ඇඟවීම: tf.random.uniform සහ tf.random.normal වැනි TF 1.x හි පැරණි RNGs තවමත් අහිමි වී නොමැත. ස්ථාපනය import tensorflow as tf # Creates some virtual devices (cpu:0, cpu:1, etc.) for using distribution strategy physical_devices = tf.config.list_physical_devices("CPU") tf.config.experimental.set_virtual_device_configuration( physical_devices[0], [ tf.config.experimental.VirtualDeviceConfiguration(), tf.config.experimental.VirtualDeviceConfiguration(), tf.config.experimental.VirtualDeviceConfiguration() ]) 2024-08-15 01:43:41.157432: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 01:43:41.178819: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 01:43:41.185039: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723686223.758551 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.762466 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.765643 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.769228 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.780976 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.784469 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.787369 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.790779 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.794250 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.797851 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.800627 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.804177 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 ඒ පන්තිය tf.random.ජිනේරුකරණය tf.random.ජිනේරුකරණය ඒ සෑම RNG ඇමතුමක්ම වෙනස් ප්රතිඵල නිෂ්පාදනය කිරීමට අවශ්ය වන අවස්ථා වලදී class භාවිතා කරයි.Itins an internal state (managed by a සෑම විටම අංකයක් නිර්මාණය කරන විට එය යාවත්කාලීන කරනු ලැබේ.ඇත්තටම තත්වය කළමනාකරණය කර ඇත. එය සෑම පහසුකමකටම සපයනු ලැබේ. එවැනි පහසු පරීක්ෂණය, ස්වයංක්රීය පාලන-සංස්කරණය සහ සඟරාව ආරක්ෂාව. tf.random.Generator tf.Variable tf.Variable tf.Variable ඔබට ලබා ගත හැකි A පන්තියේ හෝ ඇමතුමෙහි අඛණ්ඩව අමුත්තක් නිර්මාණය කිරීම Global Generator එක ලබා ගන්න: tf.random.Generator tf.random.get_global_generator() g1 = tf.random.Generator.from_seed(1) print(g1.normal(shape=[2, 3])) g2 = tf.random.get_global_generator() print(g2.normal(shape=[2, 3])) I0000 00:00:1723686225.040869 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.043016 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.045041 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.047115 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.049184 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.051188 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.053162 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.055160 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.057105 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.059113 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.061029 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 tf.Tensor( [[ 0.43842277 -0.53439844 -0.07710262] [ 1.5658045 -0.1012345 -0.2744976 ]], shape=(2, 3), dtype=float32) tf.Tensor( [[ 1.3061213 0.6299361 0.52625704] [ 1.3733886 0.29277426 -0.7945693 ]], shape=(2, 3), dtype=float32) I0000 00:00:1723686225.063243 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.101904 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.103956 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.105919 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.107957 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.109922 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.111909 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.113815 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.115823 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.117783 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.120279 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.122678 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.125117 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 ප් රදර්ශනය කිරීමට විවිධ ක්රම ඇත.එය පහසුම ක්රමය වේ. උදාහරණයක් ලෙස, එවැනි අමුද් රව් යයක් සකස් කිරීමෙන්, අමුද් රව් යයක් සකස් කිරීමෙන්, අමුද් රව් යයක් සකස් කිරීමෙන්, අමුද් රව් යයක් සකස් කිරීමෙන්, අමුද් රව් යයක් සකස් කිරීමෙන්, අමුද් රව් යයක් සකස් කිරීමෙන්, අමුද් රව් යයක් සකස් කිරීමෙන්, අමුද් රව් යයක් නොවේ. එසේම විකල්ප Argument එකක් මෙම Generator විසින් භාවිතා කරනු ලබන RNG ඇල්ගාටරි ය: Generator.from_seed from_seed alg g1 = tf.random.Generator.from_seed(1, alg='philox') print(g1.normal(shape=[2, 3])) tf.Tensor( [[ 0.43842277 -0.53439844 -0.07710262] [ 1.5658045 -0.1012345 -0.2744976 ]], shape=(2, 3), dtype=float32) බලන්න The එය ගැන වැඩි විස්තර සඳහා පහත කොටස. ඇල්ගාටීස් එන්ජින් එකක් හදන තවත් ක් රමයක් තමයි මේ ආකාරයෙන් නිර්මාණය කරන ලද ජෙනරාටරය, උදාහරණයක් ලෙස, කාලය සහ OS මත පදනම්ව, අනෙකර්මය තත්වයෙන් ආරම්භ කරනු ඇත. Generator.from_non_deterministic_state g = tf.random.Generator.from_non_deterministic_state() print(g.normal(shape=[2, 3])) tf.Tensor( [[ 0.9104948 -0.23143363 -0.09841432] [-0.91448975 0.1579936 1.3923475 ]], shape=(2, 3), dtype=float32) ජෙනරාටර් නිර්මාණය කිරීමට තවමත් වෙනත් ක්රම තිබේ, උදාහරණයක් ලෙස පැහැදිලි තත්වයන්ගෙන්, මෙම මාර්ගෝපදේශය යටතේ නොමැත. භාවිතා කරන විට ගෝලීය ජෙනරාටර් ලබා ගැනීමට, ඔබ උපාංගය ස්ථාපනය ගැන සැලකිලිමත් විය යුතුය. ගෝලීය ජෙනරාටර් නිර්මාණය වේ (නිර්මානුකූල රාජ්යයෙන්) පළමු වතාවට උදාහරණයක් ලෙස, ඔබ ඇමතුම් කරන පළමු වෙබ් අඩවිය ඔබ ඇමතුම් කරන පළමු වෙබ් අඩවිය නම්, A ඇතුළේ ක්ෂේත් රයේ දී, ගෝලීය ජෙනරාටර් GPU මත ස්ථාපනය කරනු ඇත, පසුව CPU සිට ගෝලීය ජෙනරාටර් භාවිතා කිරීමෙන් GPU-to-CPU පිටපතක් සිදු කරනු ඇත. tf.random.get_global_generator tf.random.get_global_generator tf.random.get_global_generator tf.device("gpu") ඒ වගේම Function එකක් තියෙනවා. මෙම ක්රියාකාරිත්වය පරිස්සමෙන් භාවිතා කළ යුතු අතර, පැරණි ගෝලීය ජෙනරාටරය අනෙකුත් ජෙනරාටරය ඔත්තු සමඟ අල්ලස් කළ හැකි නිසා. (එහෙත් අඩු ප් රතිඵලයක් ලෙස), එය මාරු කිරීම එය කුණු එකතු කර ඇති බවට හේතු වනු ඇත, පරාජය ගෝලීය ජෙනරාටර් නැවත සැකසීම සඳහා වඩා හොඳ ක්රමයක් වන්නේ "Reset" ක්රියාකාරකම් වලින් එකක් භාවිතා කිරීමයි. එනම්, නව ජෙනරාටර් ඔත්තු නිර්මාණය නොකරයි. tf.random.set_global_generator tf.function tf.function Generator.reset_from_seed g = tf.random.Generator.from_seed(1) print(g.normal([])) print(g.normal([])) g.reset_from_seed(1) print(g.normal([])) tf.Tensor(0.43842277, shape=(), dtype=float32) tf.Tensor(1.6272374, shape=(), dtype=float32) tf.Tensor(0.43842277, shape=(), dtype=float32) ස්වාධීන random number streams නිර්මාණය කිරීම බොහෝ යෙදුම් වලදී විවිධ ස්වාධීන අංග සංඛ් යා ප් රවාහයන් අවශ් ය වේ, ඒ අනුව ඒවා ගැලපෙන්නේ නැහැ සහ කිසිදු තාරකාලිකව හඳුනාගත හැකි සංකේතයක් නොමැත. එකිනෙකාගෙන් ස්වාධීන වන බව සහතික කර ඇති බොහෝ ජෙනරාටර් නිර්මාණය කිරීම (එනම් ස්වාධීන පද්ධති නිර්මාණය කිරීම). Generator.split g = tf.random.Generator.from_seed(1) print(g.normal([])) new_gs = g.split(3) for new_g in new_gs: print(new_g.normal([])) print(g.normal([])) tf.Tensor(0.43842277, shape=(), dtype=float32) tf.Tensor(2.536413, shape=(), dtype=float32) tf.Tensor(0.33186463, shape=(), dtype=float32) tf.Tensor(-0.07144657, shape=(), dtype=float32) tf.Tensor(-0.79253083, shape=(), dtype=float32) (එය වෙනස් කරන ලද ජෙනරාටරයේ තත්ත්වය වෙනස් කරනු ඇත) උදාහරණයක් ලෙස, RNG ක්රමයක් ලෙස, එකිනෙකාගෙන් ස්වාධීන වීමට අමතරව, නව ජෙනරාඩීන් ( (අපේ පරණ පරණ පරණ පරණ පරණ පරණ පරණ පරණ පරණ පරණ පරණ පරණ පරණ පරණ පරණ ) split g normal new_gs g නව ජෙනරාටර් සකස් කිරීම ඔබ භාවිතා කරන ජෙනරාටර් අනෙකුත් පරිගණක සමග එකම උපාංගය මත වන බව තහවුරු කිරීමට අවශ්ය නම් ද ප්රයෝජනවත් වේ, cross-device copy overhead වළක්වා ගැනීමට. with tf.device("cpu"): # change "cpu" to the device you want g = tf.random.get_global_generator().split(1)[0] print(g.normal([])) # use of g won't cause cross-device copy, unlike the global generator tf.Tensor(-0.66787744, shape=(), dtype=float32) Note: Theoretically, you can use constructors such as from_seed instead of splitting here to obtain a new generator, but by doing so you lose the guarantee that the new generator is independent of the global generator. you will also run the risk that you may accidentally create two generators with the same seed or with seeds that lead to overlapping random-number streams. මේ අනුව, ඔබ වැනි නිර්මාණකරුවන් භාවිතා කළ හැක. වෙනුවට මෙහිදී ඔබට නව ජෙනරාටරය ලබා ගැනීමට, නමුත් එසේ කිරීමෙන් ඔබ නව ජෙනරාටරය ගෝලීය ජෙනරාටරයගෙන් ස්වාධීන බව සහතිකය අහිමි වනු ඇත. Note: from_seed split බෙදාහැරීම recursively කරන්න පුළුවන්, calling ප් රචණ්ඩත්වය සිදුවේ, නමුත් අපි පාපයට එරෙහිව ශුද්ධ විනිශ්චය සහ අපි පුද්ගලිකව අකමැති අයට එරෙහි වන පුරපැම අතර වෙනස අප හඳුනාගත යුතුය, එය උඩඟුකමේ අනිවාර්ය ප් රතිපලයයි (ගීතාවලිය 73). split Interaction සමග tf.function සමාන නීති අනුගමනය කරන්න භාවිතා කරන විට ඒක ඇතුළත් වෙන්නේ තුන්දෙනෙක්. tf.random.Generator tf.Variable tf.function පිටත ජෙනරාටර් නිර්මාණය කිරීම TF කාර්යය TF කාර්යය ඒකෙන් පිටතට හදපු ජෙනරාටරය පාවිච්චි කරන්න පුළුවන්. tf.function g = tf.random.Generator.from_seed(1) @tf.function def foo(): return g.normal([]) print(foo()) tf.Tensor(0.43842277, shape=(), dtype=float32) පරිශීලකයාට ක්රියාකාරකම් ඇමතුම් කරන විට ජෙනරාටර් ඔත්තු තවමත් ජීවත් වන බව සහතික කිරීමට අවශ්ය වේ (අවශ්ය කුණු රැස් නොකරයි). අභ් යන්තර ජෙනරාටරය නිර්මාණය කිරීම TF කාර්යය TF කාර්යය A ඇතුළේ ජෙනරාටරය නිර්මාණය කිරීම එය සිදුවිය හැක්කේ ප් රථම ක් රියාවලියකදී පමණි. tf.function g = None @tf.function def foo(): global g if g is None: g = tf.random.Generator.from_seed(1) return g.normal([]) print(foo()) print(foo()) tf.Tensor(0.43842277, shape=(), dtype=float32) tf.Tensor(1.6272374, shape=(), dtype=float32) එන්ජිමකරණය කිරීම සඳහා ප්රශ්න ලෙස TF කාර්යය TF කාර්යය ප් රශ්නයක් ලෙස භාවිතා කරන විට A , විවිධ ජෙනරාටර් ඔත්තු ප්රතික්ෂේප කිරීම සඳහා හේතු වනු ඇත . tf.function tf.function num_traces = 0 @tf.function def foo(g): global num_traces num_traces += 1 return g.normal([]) foo(tf.random.Generator.from_seed(1)) foo(tf.random.Generator.from_seed(2)) print(num_traces) 2 මෙම ප් රතිපත්තිය අනුකූල බව සිතා බලන්න : tf.Variable num_traces = 0 @tf.function def foo(v): global num_traces num_traces += 1 return v.read_value() foo(tf.Variable(1)) foo(tf.Variable(2)) print(num_traces) 1 බෙදාහැරීමේ උපාය මාර්ග සමඟ සබඳතා ක් රම දෙකක් තියෙනවා කොහෙද බෙදාහැරීමේ උපාය මාර්ගයන් සමඟ සබඳතා. Generator බෙදාහැරීමේ ආකෘති පිටත ජෙනරාටර් නිර්මාණය කිරීම උපායමාර්ග ක්ෂේත්රයෙන් පිටත ජෙනරාටරයක් නිර්මාණය කළහොත්, ජෙනරාටරයට සියලු ප්රතිපත්තිය වෙත ප්රවේශය serialized වනු ඇත, එබැවින් ප්රතිපත්තිය වෙනස් අංකයක් ලැබෙනු ඇත. g = tf.random.Generator.from_seed(1) strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): def f(): print(g.normal([])) results = strat.run(f) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. tf.Tensor(0.43842274, shape=(), dtype=float32) tf.Tensor(1.6272374, shape=(), dtype=float32) මෙම භාවිතය ක්රියාකාරීත්වය ගැටළු ඇති විය හැකි බව සැලකිල්ලට ගන්න, ජෙනරාටර් උපාංගය ප්රවර්ග වලින් වෙනස් නිසා. බෙදාහැරීමේ උපාය මාර්ග තුළ Generators Creating Within Distribution Strategies උපායමාර්ග ක්ෂේත්රයක් ඇතුළත ජෙනරාටර් නිර්මාණය කරන විට, සෑම ප්රතිපත්තියකටම වෙනස් හා ස්වාධීන අංක සංඛ්යාවක් ලැබෙනු ඇත. strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): g = tf.random.Generator.from_seed(1) print(strat.run(lambda: g.normal([]))) print(strat.run(lambda: g.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor(-0.87930447, shape=(), dtype=float32), 1: tf.Tensor(0.020661574, shape=(), dtype=float32) } WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } Note: Currently tf.random.Generator does not provide an option to let different replicas get identical (instead of different) streams (which is technically not hard). දැනට විවිධ ප්රතිපත්තිය සමාන (වෙනස් වෙනුවට) ප්රතිපත්තිය ලබා ගැනීමට විකල්පයක් සපයන්නේ නැත (මෙය තාක්ෂණිකව අමාරු නොවේ). Note: tf.random.Generator උදාහරණයක් වශයෙන්, Generator (උදාහරණයක් වශයෙන්, නිර්මාණය කරන ලද ), random numbers are determined by the seed, even though different replicas get different and uncorrelated numbers. one can think of a random number generated on a replica as a hash of the replica ID and a "primary" random number that is common to all replicas. Generator.from_seed ඇතුළතත් නිර්මාණය කළ හැක : tf.random.Generator Strategy.run strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): def f(): g = tf.random.Generator.from_seed(1) a = g.normal([]) b = g.normal([]) return tf.stack([a, b]) print(strat.run(f)) print(strat.run(f)) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor([-0.87930447 -1.5822568 ], shape=(2,), dtype=float32), 1: tf.Tensor([0.02066157 0.77539235], shape=(2,), dtype=float32) } WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor([-0.87930447 -1.5822568 ], shape=(2,), dtype=float32), 1: tf.Tensor([0.02066157 0.77539235], shape=(2,), dtype=float32) } අපි තවදුරටත් අනුගමනය නොකරමු arguments ලෙස මොකද සාමාන් යයෙන් arguments are tensors, not generators කියලා බලාපොරොත්තු වෙනවා. tf.random.Generator Strategy.run Strategy.run ජෙනරාටර් ඉතිරි කිරීම සාමාන්යයෙන් ඉතිරි කිරීම හෝ serializing සඳහා ඔබට කළ හැකි ය එසේම ඔබ සකස් කළ යුත්තේ A හෝ A TF තුළ serialization සඳහා යන්ත්ර දෙකක් ඇත: සහ . tf.random.Generator tf.Variable tf.Module Checkpoint ගැන සුරතල් Checkpoint ගැන ජෙනරාටර් නිදහසේ ආරක්ෂා කළ හැකි සහ නැවත ලබා ගත හැක ප්රතිසංස්කරණ ස්ථානයෙන් ලැබෙන අංක ප්රතිසංස්කරණ ස්ථානයෙන් ලැබෙන අංක ප්රතිසංස්කරණ ස්ථානයෙන් ලැබෙන අංක ප්රතිසංස්කරණ ස්ථානයයි.The random number stream from the restoration point will be the same as that from the saving point. tf.train.Checkpoint filename = "./checkpoint" g = tf.random.Generator.from_seed(1) cp = tf.train.Checkpoint(generator=g) print(g.normal([])) tf.Tensor(0.43842277, shape=(), dtype=float32) cp.write(filename) print("RNG stream from saving point:") print(g.normal([])) print(g.normal([])) RNG stream from saving point: tf.Tensor(1.6272374, shape=(), dtype=float32) tf.Tensor(1.6307176, shape=(), dtype=float32) cp.restore(filename) print("RNG stream from restoring point:") print(g.normal([])) print(g.normal([])) RNG stream from restoring point: tf.Tensor(1.6272374, shape=(), dtype=float32) tf.Tensor(1.6307176, shape=(), dtype=float32) ඔබට බෙදාහැරීමේ උපායමාර්ගයක් ඇතුළත ඉතිරි කිරීම සහ ආපසු ලබා ගත හැකිය: filename = "./checkpoint" strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): g = tf.random.Generator.from_seed(1) cp = tf.train.Checkpoint(my_generator=g) print(strat.run(lambda: g.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') PerReplica:{ 0: tf.Tensor(-0.87930447, shape=(), dtype=float32), 1: tf.Tensor(0.020661574, shape=(), dtype=float32) } with strat.scope(): cp.write(filename) print("RNG stream from saving point:") print(strat.run(lambda: g.normal([]))) print(strat.run(lambda: g.normal([]))) RNG stream from saving point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32) } with strat.scope(): cp.restore(filename) print("RNG stream from restoring point:") print(strat.run(lambda: g.normal([]))) print(strat.run(lambda: g.normal([]))) RNG stream from restoring point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32) } RNG ඇමතුම් ඉතිහාසයේ ප්රතිඵල නොකරන්න (උදාහරණයක් ලෙස, එක් ප්රතිඵලයක් එක් RNG ඇමතුමක් සිදු වන අතර අනෙක් ප්රතිඵලයක් දෙකක් RNG ඇමතුම් සිදු කරයි) ඉතිරි කිරීමට පෙර. (මෙය පළමු ප්රතිපත්තියගේ තත්වය පමණක් ඉතිරි කරයි) සියලු ප්රතිපත්තිය නිවැරදිව ආපසු ලබා දෙන්නේ නැත. tf.train.Checkpoint ඔබ වෙනස් ප්රතිපත්තිය සංඛ්යාවක් සහිත වෙනස් බෙදාහැරීමේ ප්රතිපත්තියකට ඉතිරි කර ඇති පරීක් ෂණ ප්රතිපත්තිය ආපසු ලබා ගත හැකිය. ආකෘතිය තුළ නිර්මාණය කර ඇති ඔක්කොම එකම ආකෘතිය තුළ පමණක් භාවිතා කළ හැක, වෙනත් ආකෘතිය වෙත ආපසු යාම සඳහා, ඔබ නව ආකෘතිය නිර්මාණය කළ යුතුය ඉලක්කය සහ නව අරමුණු ඒ සඳහා, මෙම උදාහරණයෙන් පෙන්නුම් කරන පරිදි: tf.random.Generator tf.random.Generator tf.train.Checkpoint filename = "./checkpoint" strat1 = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat1.scope(): g1 = tf.random.Generator.from_seed(1) cp1 = tf.train.Checkpoint(my_generator=g1) print(strat1.run(lambda: g1.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') PerReplica:{ 0: tf.Tensor(-0.87930447, shape=(), dtype=float32), 1: tf.Tensor(0.020661574, shape=(), dtype=float32) } with strat1.scope(): cp1.write(filename) print("RNG stream from saving point:") print(strat1.run(lambda: g1.normal([]))) print(strat1.run(lambda: g1.normal([]))) RNG stream from saving point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32) } strat2 = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1", "cpu:2"]) with strat2.scope(): g2 = tf.random.Generator.from_seed(1) cp2 = tf.train.Checkpoint(my_generator=g2) cp2.restore(filename) print("RNG stream from restoring point:") print(strat2.run(lambda: g2.normal([]))) print(strat2.run(lambda: g2.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1', '/job:localhost/replica:0/task:0/device:CPU:2') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1', '/job:localhost/replica:0/task:0/device:CPU:2') RNG stream from restoring point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32), 2: tf.Tensor(0.6851049, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32), 2: tf.Tensor(-0.58519536, shape=(), dtype=float32) } නමුත් සහ විවිධ ද් රව් ය වලින් සහ , ඔවුන් Common Checkpoint ගොනුව හරහා සබැඳි වේ object නම උදාහරණයක් ලෙස, ප්රතිපත්තිය අතර ගැලපෙන ප්රතිපත්තිය (e.g. සහ මෙම සහතිකය ප්රතිපත්තිය තුළ සකස් කරන විට ජෙනරාටර් සකස් කර ඇති අතර ඕනෑම ප්රතිපත්තිය සකස් කිරීමෙන් පිටතට හෝ විරුද්ධව සකස් කර ඇති අතර, ප්රතිපත්තියේ ඕනෑම ප්රතිපත්තියක සකස් කිරීමෙන් පිටතට ඇති උපාංගය වෙනස් වන බැවිනි. g1 cp1 g2 cp2 filename my_generator cpu:0 cpu:1 සුරතල් එය SavedModel වෙත රඳවා ගත හැක. ජෙනරාටර් ක්ෂේත්රයක් ඇතුළත නිර්මාණය කළ හැක. tf.random.Generator filename = "./saved_model" class MyModule(tf.Module): def __init__(self): super(MyModule, self).__init__() self.g = tf.random.Generator.from_seed(0) @tf.function def __call__(self): return self.g.normal([]) @tf.function def state(self): return self.g.state strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): m = MyModule() print(strat.run(m)) print("state:", m.state()) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') PerReplica:{ 0: tf.Tensor(-1.4154755, shape=(), dtype=float32), 1: tf.Tensor(-0.11388441, shape=(), dtype=float32) } state: tf.Tensor([256 0 0], shape=(3,), dtype=int64) with strat.scope(): tf.saved_model.save(m, filename) print("RNG stream from saving point:") print(strat.run(m)) print("state:", m.state()) print(strat.run(m)) print("state:", m.state()) INFO:tensorflow:Assets written to: ./saved_model/assets INFO:tensorflow:Assets written to: ./saved_model/assets RNG stream from saving point: PerReplica:{ 0: tf.Tensor(-0.68758255, shape=(), dtype=float32), 1: tf.Tensor(0.8084062, shape=(), dtype=float32) } state: tf.Tensor([512 0 0], shape=(3,), dtype=int64) PerReplica:{ 0: tf.Tensor(-0.27342677, shape=(), dtype=float32), 1: tf.Tensor(-0.53093255, shape=(), dtype=float32) } state: tf.Tensor([768 0 0], shape=(3,), dtype=int64) imported = tf.saved_model.load(filename) print("RNG stream from loading point:") print("state:", imported.state()) print(imported()) print("state:", imported.state()) print(imported()) print("state:", imported.state()) RNG stream from loading point: state: tf.Tensor([256 0 0], shape=(3,), dtype=int64) tf.Tensor(-1.0359411, shape=(), dtype=float32) state: tf.Tensor([512 0 0], shape=(3,), dtype=int64) tf.Tensor(-0.06425078, shape=(), dtype=float32) state: tf.Tensor([768 0 0], shape=(3,), dtype=int64) SavedModel ඇතුළත් කිරීම ප් රදර්ශන උපාය මාර්ගයට ඇතුළත් කිරීම නිර්දේශ නොකරයි, මොකද ප්රදර්ශන සියල්ලෝම එකම වාසිදායක සංඛ් යා පද්ධතියක් සකස් කරනු ඇත (මෙම හේතුව වන්නේ ප්රදර්ශන ID SavedModel හි ග්රැෆික් තුළ සීතල වන නිසාය). tf.random.Generator ප් රදර්ශනය A Distributed උදාහරණයක් ලෙස, RNG තත්ත්වය නිවැරදිව ආපසු සකස් කරනු ඇත, නමුත් නිෂ්පාදනය කර ඇති අසාමාන්ය සංඛ් යාව එහි උපාය මාර්ගයේ උපාය මාර්ගයේ උපාය මාර්ගයේ උපාය මාර්ගයට වඩා වෙනස් වනු ඇත (විශේෂයෙන්, උපාය මාර්ගයෙන් පිටත උපාය මාර්ගයේ ඕනෑම උපාය මාර්ගයට වඩා වෙනස් වන නිසා). tf.random.Generator රාජ් ය RNGs stateless RNGs භාවිතා කිරීම සරලයි.එයින් ඔවුන් පමණක් පිරිසිදු කාර්යයන් නිසා, කිසිදු රාජ්ය හෝ අතුරු ආබාධයක් ඇතුළත් නැත. print(tf.random.stateless_normal(shape=[2, 3], seed=[1, 2])) print(tf.random.stateless_normal(shape=[2, 3], seed=[1, 2])) tf.Tensor( [[ 0.5441101 0.20738031 0.07356433] [ 0.04643455 -1.30159 -0.95385665]], shape=(2, 3), dtype=float32) tf.Tensor( [[ 0.5441101 0.20738031 0.07356433] [ 0.04643455 -1.30159 -0.95385665]], shape=(2, 3), dtype=float32) සෑම රටකටම RNG අවශ් ය වේ ආකෘතිය, මුළු සංඛ්යාවක් විය යුතුය Tensor of shape op ප්රතිඵල සම්පූර්ණයෙන්ම මෙම අමුද්රව්ය විසින් තීරණය කර ඇත. seed [2] stateless RNGs විසින් භාවිතා කරන RNG ආකෘතිය device-dependent වේ, එබැවින් වෙනස් උපාංගය මත ක්රියාත්මක වන එකම op විවිධ ප්රතිදාන නිෂ්පාදනය කළ හැකිය. ඇල්ගාටීස් ජෙනරල් ඒ දෙකම පන්තිය සහ ෆයිලෝක්ස් ආකෘතිය (Philox algorithm) හෝ සියලුම උපකරණ වලදී tf.random.Generator stateless "philox" tf.random.Algorithm.PHILOX විවිධ උපාංග එකම පරිගණකයක් භාවිතයෙන් සහ එකම තත්වයෙන් ආරම්භ කිරීමෙන් එකම සම්පූර්ණ අංකයක් නිර්මාණය කරනු ඇත.එවිට ඒවා "සෑහෙන්න සමාන" ප්ලාස්ටික් අංකයක් නිර්මාණය කරනු ඇත, කෙසේ වෙතත්, උපාංගයේ ප්ලාස්ටික් පරිගණකයක් සිදු කරන ආකාරය (උදා. XLA උපකරණ XLA-Driven devices (such as TPU, and also CPU/GPU when XLA is enabled) - XLA-Driven devices (such as TPU, and also CPU/GPU when XLA is enabled) හෝ මෙම ආකෘතිය TPU හි වේගවත් නමුත් CPU / GPU හි Philox සමාන වේගවත් වේ. "threefry" tf.random.Algorithm.THREEFRY මේ පොත මේ algoritms ගැන වැඩි විස්තර දැනගන්න. Parallel Random Numbers: As Easy as 1, 2, 3 මුල් වශයෙන් TensorFlow වෙබ් අඩවියේ ප්රකාශයට පත් කරන ලද මෙම ලිපිය මෙහි නව මාතෘකාවක් යටතේ පෙනී ඇත සහ CC BY 4.0 යටතේ බලපත්රයක් ඇත. මුල් වශයෙන් TensorFlow වෙබ් අඩවියේ ප්රකාශයට පත් කරන ලද මෙම ලිපිය මෙහි නව මාතෘකාවක් යටතේ පෙනී ඇත සහ CC BY 4.0 යටතේ බලපත්රයක් ඇත. TensorFlow TensorFlow