Randomness כפי שמוגדר על ידי הלשון הפופולרית ביותר של למידה מכונה

תוכן תצפית התקנת גנרטור tf.random.generator class יצירת זרמים עצמאיים של מספרים אקראיים אינטראקציה עם tf.function אינטראקציה עם אסטרטגיות הפצה חיסכון גנרטורים RNGs ללא מדינה אלגוריתם גנרל מכשירים XLA TensorFlow מספק קבוצה של גנרטורים של מספרים מזויפים אקראיים (RNG), מסמך זה מתאר כיצד ניתן לשלוט על גנרטורים של מספרים אקראיים, וכיצד גנרטורים אלה אינטראקציה עם תת-מערכות אחרות של זרימת טנס. tf.random הערה: מספרים אקראיים אינם מובטחים להיות עקביים בין גירסאות TensorFlow. הערה: מספרים אקראיים אינם מובטחים להיות עקביים בין גירסאות TensorFlow. גרסה תואמת TensorFlow מספק שתי גישות לשלוט בתהליך יצירת מספרים אקראיים: כל אובייקט כזה שומר על מצב (ב- tf.Variable) שישתנה לאחר כל יצירת מספר. באמצעות הפונקציות אקראיות ללא סטטוס, כגון tf.random.stateless_uniform. Calling these functions with the same arguments (which include the seed) and on the same device will always produce the same results. אזהרה: RNG הישנים מ- TF 1.x כגון tf.random.uniform ו- tf.random.normal עדיין לא נמחקו, אך נמנעים מאוד. RNGs ישנים מ TF 1.x כגון ו הם עדיין לא מנוצלים, אלא מנוצלים מאוד. Warning: tf.random.uniform tf.random.normal התקנת import tensorflow as tf # Creates some virtual devices (cpu:0, cpu:1, etc.) for using distribution strategy physical_devices = tf.config.list_physical_devices("CPU") tf.config.experimental.set_virtual_device_configuration( physical_devices[0], [ tf.config.experimental.VirtualDeviceConfiguration(), tf.config.experimental.VirtualDeviceConfiguration(), tf.config.experimental.VirtualDeviceConfiguration() ]) 2024-08-15 01:43:41.157432: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 01:43:41.178819: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 01:43:41.185039: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723686223.758551 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.762466 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.765643 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.769228 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.780976 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.784469 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.787369 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.790779 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.794250 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.797851 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.800627 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.804177 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 The הכיתה גנרטור Random Generator גנרטור Random Generator The class משמש במקרים שבהם ברצונך שכל שיחת RNG תייצר תוצאות שונות. אובייקט) אשר יעדכן בכל פעם שמספרים אקראיים נוצרים, מכיוון שהמצב נשלט על ידי הוא נהנה מכל המקומות המוצעים על ידי כגון נקודת בקרה קלה, שליטה אוטומטית תלויה ובטיחות חוט. tf.random.Generator tf.Variable tf.Variable tf.Variable אתה יכול לקבל A על ידי יצירה ידנית של אובייקט של הכיתה או השיחה כדי לקבל את הגנרטור הגלובלי כברירת מחדל: tf.random.Generator tf.random.get_global_generator() g1 = tf.random.Generator.from_seed(1) print(g1.normal(shape=[2, 3])) g2 = tf.random.get_global_generator() print(g2.normal(shape=[2, 3])) I0000 00:00:1723686225.040869 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.043016 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.045041 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.047115 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.049184 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.051188 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.053162 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.055160 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.057105 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.059113 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.061029 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 tf.Tensor( [[ 0.43842277 -0.53439844 -0.07710262] [ 1.5658045 -0.1012345 -0.2744976 ]], shape=(2, 3), dtype=float32) tf.Tensor( [[ 1.3061213 0.6299361 0.52625704] [ 1.3733886 0.29277426 -0.7945693 ]], shape=(2, 3), dtype=float32) I0000 00:00:1723686225.063243 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.101904 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.103956 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.105919 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.107957 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.109922 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.111909 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.113815 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.115823 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.117783 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.120279 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.122678 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.125117 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 ישנן דרכים רבות ליצור אובייקט גנרטור. , כפי שמוצג לעיל, זה יוצר גנרטור מן הזרע. יש גם טענות אופציונליות מהו האלגוריתם RNG שישמש הגנרטור הזה: Generator.from_seed from_seed alg g1 = tf.random.Generator.from_seed(1, alg='philox') print(g1.normal(shape=[2, 3])) tf.Tensor( [[ 0.43842277 -0.53439844 -0.07710262] [ 1.5658045 -0.1012345 -0.2744976 ]], shape=(2, 3), dtype=float32) לראות את לחלק התחתון לפרטים נוספים בנושא. אלגוריתם דרך נוספת ליצור גנרטור היא עם גנרטור שנוצר בדרך זו יתחיל ממצב לא-דטרמיניסטי, בהתאם לדוגמה לזמן ולמערכת הפעלה. Generator.from_non_deterministic_state g = tf.random.Generator.from_non_deterministic_state() print(g.normal(shape=[2, 3])) tf.Tensor( [[ 0.9104948 -0.23143363 -0.09841432] [-0.91448975 0.1579936 1.3923475 ]], shape=(2, 3), dtype=float32) יש עדיין דרכים אחרות ליצירת גנרטורים, כגון ממצבים מפורטים, שאינם מכוסים במדריך זה. בעת שימוש כדי לקבל את הגנרטור הגלובלי, אתה צריך להיות זהיר לגבי המיקום של המכשיר. התקשר, והוא ממוקם במכשיר ברירת המחדל בשיחה זו, למשל, אם האתר הראשון שאתה מתקשר אליו בתוך A באזור זה, הגנרטור הגלובלי יושב על ה-GPU, ושימוש בגנרטור הגלובלי מאוחר יותר מה-CPU יוביל להעתיק GPU ל-CPU. tf.random.get_global_generator tf.random.get_global_generator tf.random.get_global_generator tf.device("gpu") יש גם פונקציה כדי להחליף את הגנרטור הגלובלי עם אובייקט גנרטור אחר, יש להשתמש בפונקציה זו בזהירות, מכיוון שהגנרטור הגלובלי הישן עשוי להיות נתפס על ידי (כנקודת התייחסות חלשה), ושינוי זה יגרום לזה להיות זבל נאסף, לשבור את דרך טובה יותר להגדיר מחדש את הגנרטור הגלובלי היא להשתמש באחת הפונקציות "להגדיר מחדש" כגון: , אשר לא יצר אובייקטים גנרטור חדשים. tf.random.set_global_generator tf.function tf.function Generator.reset_from_seed g = tf.random.Generator.from_seed(1) print(g.normal([])) print(g.normal([])) g.reset_from_seed(1) print(g.normal([])) tf.Tensor(0.43842277, shape=(), dtype=float32) tf.Tensor(1.6272374, shape=(), dtype=float32) tf.Tensor(0.43842277, shape=(), dtype=float32) יצירת זרמים עצמאיים של מספרים אקראיים באפליקציות רבות נדרשים זרמים עצמאיים רבים של מספרים אקראיים, עצמאיים במובן שהם לא יעלו על עצמם ולא יהיו להם קשרים נתונים מבחינה סטטיסטית. ליצור גנרטורים מרובים המובטחים להיות עצמאיים אחד מהשני (כלומר ליצור זרמים עצמאיים). Generator.split g = tf.random.Generator.from_seed(1) print(g.normal([])) new_gs = g.split(3) for new_g in new_gs: print(new_g.normal([])) print(g.normal([])) tf.Tensor(0.43842277, shape=(), dtype=float32) tf.Tensor(2.536413, shape=(), dtype=float32) tf.Tensor(0.33186463, shape=(), dtype=float32) tf.Tensor(-0.07144657, shape=(), dtype=float32) tf.Tensor(-0.79253083, shape=(), dtype=float32) יש לשנות את המצב של הגנרטור שבו הוא נקרא ( דוגמה נוספת היא שיטת RNG כגון: מלבד היותו עצמאי אחד מהשני, הגנרטורים החדשים ( ) גם מובטחת להיות עצמאית מן הישן ( ) split g normal new_gs g חיבור גנרטורים חדשים הוא גם שימושי כאשר ברצונך לוודא שהגנרטור שאתה משתמש בו נמצא באותו המכשיר כמו חישובים אחרים, כדי למנוע עיכוב של עותק בין מכשירים. with tf.device("cpu"): # change "cpu" to the device you want g = tf.random.get_global_generator().split(1)[0] print(g.normal([])) # use of g won't cause cross-device copy, unlike the global generator tf.Tensor(-0.66787744, shape=(), dtype=float32) הערה: בתיאוריה, אתה יכול להשתמש בפיתוחים כגון from_seed במקום לחלק כאן כדי לקבל גנרטור חדש, אבל על ידי כך אתה מאבד את ההבטחה כי הגנרטור החדש הוא עצמאי מהגנרטור הגלובלי. הערה: בתיאוריה, אתה יכול להשתמש בפיתוחים כגון from_seed במקום לחלק כאן כדי לקבל גנרטור חדש, אבל על ידי כך אתה מאבד את ההבטחה כי הגנרטור החדש הוא עצמאי מהגנרטור הגלובלי. אתה יכול לעשות חלוקת מחדש, קורא אין גבולות (למנוע זרימה מלאה) על עומק התחדשות. split אינטראקציה עם tf.function נוהגים באותם כללים כמו כאשר משתמשים עם זה כולל שלושה היבטים. tf.random.Generator tf.Variable tf.function יצירת גנרטורים בחוץ תגית: FUNCTION תגית: FUNCTION ניתן להשתמש בגנרטור שנוצר מחוץ לזה. tf.function g = tf.random.Generator.from_seed(1) @tf.function def foo(): return g.normal([]) print(foo()) tf.Tensor(0.43842277, shape=(), dtype=float32) המשתמש צריך לוודא שהאובייקט של הגנרטור עדיין חי (לא אוסף זבל) כאשר הפונקציה נקראת. יצירת גנרטורים בפנים tf.function תגית: FUNCTION יצירת גנרטורים בתוך a זה יכול לקרות רק במהלך הריצה הראשונה של התפקיד. tf.function g = None @tf.function def foo(): global g if g is None: g = tf.random.Generator.from_seed(1) return g.normal([]) print(foo()) print(foo()) tf.Tensor(0.43842277, shape=(), dtype=float32) tf.Tensor(1.6272374, shape=(), dtype=float32) העברת גנרטורים כגורמים ל תגית: FUNCTION תגית: FUNCTION כאשר הוא משמש כעיקרון ל-A , אובייקטים גנרטורים שונים יגרמו לעיכוב של . tf.function tf.function num_traces = 0 @tf.function def foo(g): global num_traces num_traces += 1 return g.normal([]) foo(tf.random.Generator.from_seed(1)) foo(tf.random.Generator.from_seed(2)) print(num_traces) 2 יש לציין כי התנהגות זו תואמת את : tf.Variable num_traces = 0 @tf.function def foo(v): global num_traces num_traces += 1 return v.read_value() foo(tf.Variable(1)) foo(tf.Variable(2)) print(num_traces) 1 אינטראקציה עם אסטרטגיות הפצה ישנן שתי דרכים שבהן אינטראקציה עם אסטרטגיות הפצה. Generator יצירת גנרטורים מחוץ לאסטרטגיות הפצה אם גנרטור נוצר מחוץ לקטגוריות אסטרטגיות, כל הגישה של עותקים לגנרטור תהיה סריאליסטית, ולכן העותקים יקבלו מספרים אקראיים שונים. g = tf.random.Generator.from_seed(1) strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): def f(): print(g.normal([])) results = strat.run(f) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. tf.Tensor(0.43842274, shape=(), dtype=float32) tf.Tensor(1.6272374, shape=(), dtype=float32) שים לב כי שימוש זה עשוי להיות בעיות ביצועים כי המכשיר של הגנרטור שונה מהתמונות. יצירת גנרטורים בתוך אסטרטגיות הפצה אם יוצר נוצר בתוך טווח אסטרטגיה, כל עותק יקבל זרם שונה ועצמאי של מספרים אקראיים. strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): g = tf.random.Generator.from_seed(1) print(strat.run(lambda: g.normal([]))) print(strat.run(lambda: g.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor(-0.87930447, shape=(), dtype=float32), 1: tf.Tensor(0.020661574, shape=(), dtype=float32) } WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } הערה: כרגע tf.random.Generator אינו מספק אפשרות להשאיר עותקים שונים לקבל זרמים זהים (במקום שונים) (זה לא קשה מבחינה טכנית). הערה: כרגע tf.random.Generator אינו מספק אפשרות להשאיר עותקים שונים לקבל זרמים זהים (במקום שונים) (זה לא קשה מבחינה טכנית). אם הגנרטור נזרק (לדוגמה, נוצר על ידי ), מספרים אקראיים נקבעו על ידי הזרעים, גם אם עותקים שונים מקבלים מספרים שונים ולא קשורים. ניתן לחשוב על מספר אקראי שנוצר על עותק כשיש של מזהה העותק ואת מספר אקראי "ראשוני" שהוא משותף לכל העותקים. Generator.from_seed ניתן ליצור גם בפנים : tf.random.Generator Strategy.run strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): def f(): g = tf.random.Generator.from_seed(1) a = g.normal([]) b = g.normal([]) return tf.stack([a, b]) print(strat.run(f)) print(strat.run(f)) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor([-0.87930447 -1.5822568 ], shape=(2,), dtype=float32), 1: tf.Tensor([0.02066157 0.77539235], shape=(2,), dtype=float32) } WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor([-0.87930447 -1.5822568 ], shape=(2,), dtype=float32), 1: tf.Tensor([0.02066157 0.77539235], shape=(2,), dtype=float32) } אנחנו כבר לא ממליצים לעבור כאמור, טענות כי בדרך כלל הוא מצפה שהדברים יהיו טנטורים, לא גנרטורים. tf.random.Generator Strategy.run Strategy.run חיסכון גנרטורים בדרך כלל, כדי לחסוך או לסריליזציה אתה יכול לטפל באותו אופן היית מתמודד עם או A ב TF יש שני מנגנונים לסריליזציה: ו . tf.random.Generator tf.Variable tf.Module בדיקת נקודות שימור מודל בדיקת נקודות גנרטורים ניתן לשמור ולשחזר באופן חופשי באמצעות זרם המספרים האקראי מנקודת ההחזרה יהיה זהה לאלו מנקודת ההצלה. tf.train.Checkpoint filename = "./checkpoint" g = tf.random.Generator.from_seed(1) cp = tf.train.Checkpoint(generator=g) print(g.normal([])) tf.Tensor(0.43842277, shape=(), dtype=float32) cp.write(filename) print("RNG stream from saving point:") print(g.normal([])) print(g.normal([])) RNG stream from saving point: tf.Tensor(1.6272374, shape=(), dtype=float32) tf.Tensor(1.6307176, shape=(), dtype=float32) cp.restore(filename) print("RNG stream from restoring point:") print(g.normal([])) print(g.normal([])) RNG stream from restoring point: tf.Tensor(1.6272374, shape=(), dtype=float32) tf.Tensor(1.6307176, shape=(), dtype=float32) באפשרותך גם לשמור ולהחזיר בתוך אסטרטגיית הפצה: filename = "./checkpoint" strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): g = tf.random.Generator.from_seed(1) cp = tf.train.Checkpoint(my_generator=g) print(strat.run(lambda: g.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') PerReplica:{ 0: tf.Tensor(-0.87930447, shape=(), dtype=float32), 1: tf.Tensor(0.020661574, shape=(), dtype=float32) } with strat.scope(): cp.write(filename) print("RNG stream from saving point:") print(strat.run(lambda: g.normal([]))) print(strat.run(lambda: g.normal([]))) RNG stream from saving point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32) } with strat.scope(): cp.restore(filename) print("RNG stream from restoring point:") print(strat.run(lambda: g.normal([]))) print(strat.run(lambda: g.normal([]))) RNG stream from restoring point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32) } עליך לוודא כי העתקים אינם משתנים בהיסטוריה של שיחות RNG שלהם (לדוגמה, עתקה אחת מבצעת שיחה RNG אחת ואחרת מבצעת שתי שיחות RNG) לפני שמירה. (ששמור רק את המצב של העתקה הראשונה) לא יחזיר כראוי את כל העתקות. tf.train.Checkpoint באפשרותך גם לשחזר נקודת בקרה מאוחסנת לאסטרטגיית הפצה שונה עם מספר עותקים שונה. אובייקט שנוצר באסטרטגיה יכול לשמש באותה אסטרטגיה בלבד, כדי לשחזר אסטרטגיה אחרת, עליך ליצור אסטרטגיה חדשה. אסטרטגיית היעד והיעד החדש כך למשל, כפי שמוצג בדוגמה זו: tf.random.Generator tf.random.Generator tf.train.Checkpoint filename = "./checkpoint" strat1 = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat1.scope(): g1 = tf.random.Generator.from_seed(1) cp1 = tf.train.Checkpoint(my_generator=g1) print(strat1.run(lambda: g1.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') PerReplica:{ 0: tf.Tensor(-0.87930447, shape=(), dtype=float32), 1: tf.Tensor(0.020661574, shape=(), dtype=float32) } with strat1.scope(): cp1.write(filename) print("RNG stream from saving point:") print(strat1.run(lambda: g1.normal([]))) print(strat1.run(lambda: g1.normal([]))) RNG stream from saving point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32) } strat2 = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1", "cpu:2"]) with strat2.scope(): g2 = tf.random.Generator.from_seed(1) cp2 = tf.train.Checkpoint(my_generator=g2) cp2.restore(filename) print("RNG stream from restoring point:") print(strat2.run(lambda: g2.normal([]))) print(strat2.run(lambda: g2.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1', '/job:localhost/replica:0/task:0/device:CPU:2') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1', '/job:localhost/replica:0/task:0/device:CPU:2') RNG stream from restoring point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32), 2: tf.Tensor(0.6851049, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32), 2: tf.Tensor(-0.58519536, shape=(), dtype=float32) } למרות ו ישנם אובייקטים שונים של ו , הם מחוברים דרך קובץ checkpoint משותף שם אובייקט התייחסות בין אסטרטגיות (למשל ו אחריות זו אינה מכסה את המקרה כאשר גנרטור נשמר בטווח אסטרטגיה ומוחזר מחוץ לכל טווח אסטרטגיה או להיפך, כי מכשיר מחוץ לאסטרטגיות מטופל שונה מכל עותק בכל אסטרטגיה. g1 cp1 g2 cp2 filename my_generator cpu:0 cpu:1 שימור מודל ניתן לשמור על SavedModel.הגנרטור ניתן ליצור בתוך טווח אסטרטגיה.החיסכון יכול להתרחש גם בתוך טווח אסטרטגיה. tf.random.Generator filename = "./saved_model" class MyModule(tf.Module): def __init__(self): super(MyModule, self).__init__() self.g = tf.random.Generator.from_seed(0) @tf.function def __call__(self): return self.g.normal([]) @tf.function def state(self): return self.g.state strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): m = MyModule() print(strat.run(m)) print("state:", m.state()) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') PerReplica:{ 0: tf.Tensor(-1.4154755, shape=(), dtype=float32), 1: tf.Tensor(-0.11388441, shape=(), dtype=float32) } state: tf.Tensor([256 0 0], shape=(3,), dtype=int64) with strat.scope(): tf.saved_model.save(m, filename) print("RNG stream from saving point:") print(strat.run(m)) print("state:", m.state()) print(strat.run(m)) print("state:", m.state()) INFO:tensorflow:Assets written to: ./saved_model/assets INFO:tensorflow:Assets written to: ./saved_model/assets RNG stream from saving point: PerReplica:{ 0: tf.Tensor(-0.68758255, shape=(), dtype=float32), 1: tf.Tensor(0.8084062, shape=(), dtype=float32) } state: tf.Tensor([512 0 0], shape=(3,), dtype=int64) PerReplica:{ 0: tf.Tensor(-0.27342677, shape=(), dtype=float32), 1: tf.Tensor(-0.53093255, shape=(), dtype=float32) } state: tf.Tensor([768 0 0], shape=(3,), dtype=int64) imported = tf.saved_model.load(filename) print("RNG stream from loading point:") print("state:", imported.state()) print(imported()) print("state:", imported.state()) print(imported()) print("state:", imported.state()) RNG stream from loading point: state: tf.Tensor([256 0 0], shape=(3,), dtype=int64) tf.Tensor(-1.0359411, shape=(), dtype=float32) state: tf.Tensor([512 0 0], shape=(3,), dtype=int64) tf.Tensor(-0.06425078, shape=(), dtype=float32) state: tf.Tensor([768 0 0], shape=(3,), dtype=int64) להורדה של מודל שמכיל לא מומלץ להיכנס לאסטרטגיית הפצה משום שהרפליקציות יגרמו את אותו זרם מספרים אקראיים (כי זה משום ש- Replica ID מקפיא בתרשים של SavedModel). tf.random.Generator להורדה להורדה להורדה (גנרטור שנוצר בתוך אסטרטגיית הפצה) לסביבה שאינה אסטרטגית, כמו בדוגמה לעיל, יש גם אזהרה. tf.random.Generator RNGs ללא מדינה השימוש RNGs ללא סטטוס הוא פשוט. מכיוון שהם רק פונקציות טהורות, אין מצב או אפקט לוואי מעורב. print(tf.random.stateless_normal(shape=[2, 3], seed=[1, 2])) print(tf.random.stateless_normal(shape=[2, 3], seed=[1, 2])) tf.Tensor( [[ 0.5441101 0.20738031 0.07356433] [ 0.04643455 -1.30159 -0.95385665]], shape=(2, 3), dtype=float32) tf.Tensor( [[ 0.5441101 0.20738031 0.07356433] [ 0.04643455 -1.30159 -0.95385665]], shape=(2, 3), dtype=float32) כל RNG ללא מדינה דורש a ערך, אשר חייב להיות ערך שלם Tensor of form התוצאות של op נקבעו לחלוטין על ידי זרע זה. seed [2] האלגוריתם RNG המשמש על ידי RNGs ללא סטטוס הוא תלוי במכשיר, כלומר אותו op פועל על מכשיר שונה עשוי לייצר פלטים שונים. אלגוריתם גנרל שניהם The הכיתה וה הפונקציות תומכות באלגוריתם של Philox (כתוב כמו או על כל המכשירים. tf.random.Generator stateless "philox" tf.random.Algorithm.PHILOX מכשירים שונים יפיקו את אותם מספרים שלמים, אם ישתמשו באותו אלגוריתם ומתחילים באותו מצב.הם יפיקו גם את "כמעט אותם" מספרים של נקודות פלואט, אם כי ייתכן שיהיו הבדלים מספריים קטנים שנגרמים על ידי דרכים שונות שבהן המכשירים מבצעים את חישוב נקודות פלואט (למשל, סדר הפחתה). מכשירים XLA במכשירים המנוהלים על ידי XLA (כגון TPU, וגם CPU/GPU כאשר XLA מופעל) אלגוריתם ThreeFry (כתוב כ או אלגוריתם זה מהיר על TPU אבל איטי על CPU / GPU לעומת Philox. "threefry" tf.random.Algorithm.THREEFRY נייר זה לפרטים נוספים על אלגוריתמים אלה. "מספרים אקראיים מקבילים: קל כמו 1, 2, 3" פורסם במקור באתר TensorFlow, מאמר זה מופיע כאן תחת כותרת חדשה והוא מורשה תחת CC BY 4.0. פורסם במקור באתר TensorFlow, מאמר זה מופיע כאן תחת כותרת חדשה והוא מורשה תחת CC BY 4.0. TensorFlow TensorFlow