Τυχαία όπως ορίζεται από την πιο δημοφιλής γλώσσα της μηχανικής μάθησης

Περιεχόμενο Επισκόπηση εγκατάσταση Το tf.random.Generator κατηγορία Δημιουργία ανεξάρτητων ροών τυχαίων αριθμών Αλληλεπίδραση με το tf.function Αλληλεπίδραση με τις στρατηγικές διανομής Εξοικονόμηση γεννήσεων Χωρίς RNGs Αλγόριθμοι στρατηγός XLA συσκευές Το TensorFlow παρέχει ένα σύνολο γεννήτριων ψευδοαπαιτούμενων αριθμών (RNGs), Αυτό το έγγραφο περιγράφει πώς μπορείτε να ελέγξετε τις γεννήτριες τυχαίων αριθμών και πώς αυτές οι γεννήτριες αλληλεπιδρούν με άλλα υποσυστήματα tensorflow. tf.random Σημείωση: Οι τυχαίοι αριθμοί δεν είναι εγγυημένοι να είναι συνεπείς σε όλες τις εκδόσεις του TensorFlow. Οι τυχαίοι αριθμοί δεν είναι εγγυημένοι να είναι συνεπείς σε όλες τις εκδόσεις του TensorFlow. Note: Version Compatibility Συμβατότητα εκδόσεων Το TensorFlow παρέχει δύο προσεγγίσεις για τον έλεγχο της διαδικασίας δημιουργίας τυχαίων αριθμών: Κάθε τέτοιο αντικείμενο διατηρεί μια κατάσταση (στο tf.Variable) που θα αλλάζει μετά από κάθε γενιά αριθμών. Η κλήση αυτών των λειτουργιών με τα ίδια επιχειρήματα (τα οποία περιλαμβάνουν τον σπόρο) και στην ίδια συσκευή θα παράγει πάντα τα ίδια αποτελέσματα. Προειδοποίηση: Τα παλιά RNGs από το TF 1.x, όπως το tf.random.uniform και το tf.random.normal, δεν έχουν εξαφανιστεί ακόμα, αλλά αποθαρρύνονται έντονα. Οι παλιές RNGs από το TF 1.x όπως και Δεν έχουν αποθαρρυνθεί, αλλά έχουν αποθαρρυνθεί. Warning: tf.random.uniform tf.random.normal εγκατάσταση import tensorflow as tf # Creates some virtual devices (cpu:0, cpu:1, etc.) for using distribution strategy physical_devices = tf.config.list_physical_devices("CPU") tf.config.experimental.set_virtual_device_configuration( physical_devices[0], [ tf.config.experimental.VirtualDeviceConfiguration(), tf.config.experimental.VirtualDeviceConfiguration(), tf.config.experimental.VirtualDeviceConfiguration() ]) 2024-08-15 01:43:41.157432: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 01:43:41.178819: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 01:43:41.185039: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723686223.758551 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.762466 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.765643 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.769228 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.780976 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.784469 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.787369 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.790779 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.794250 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.797851 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.800627 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686223.804177 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 Η τάξη Tf.Random.Γενέτης Tf.Random.Γενέτης Η Η κλάση χρησιμοποιείται σε περιπτώσεις όπου θέλετε κάθε κλήση RNG να παράγει διαφορετικά αποτελέσματα. αντικείμενο) το οποίο θα ενημερώνεται κάθε φορά που δημιουργούνται τυχαίοι αριθμοί. απολαμβάνει όλες τις εγκαταστάσεις που παρέχονται από όπως η εύκολη σήμανση ελέγχου, η αυτόματη εξάρτηση ελέγχου και η ασφάλεια του νήματος. tf.random.Generator tf.Variable tf.Variable tf.Variable Μπορείτε να πάρετε ένα δημιουργώντας χειροκίνητα ένα αντικείμενο της κατηγορίας ή της κλήσης Για να αποκτήσετε την προεπιλεγμένη γεννήτρια: tf.random.Generator tf.random.get_global_generator() g1 = tf.random.Generator.from_seed(1) print(g1.normal(shape=[2, 3])) g2 = tf.random.get_global_generator() print(g2.normal(shape=[2, 3])) I0000 00:00:1723686225.040869 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.043016 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.045041 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.047115 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.049184 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.051188 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.053162 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.055160 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.057105 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.059113 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.061029 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 tf.Tensor( [[ 0.43842277 -0.53439844 -0.07710262] [ 1.5658045 -0.1012345 -0.2744976 ]], shape=(2, 3), dtype=float32) tf.Tensor( [[ 1.3061213 0.6299361 0.52625704] [ 1.3733886 0.29277426 -0.7945693 ]], shape=(2, 3), dtype=float32) I0000 00:00:1723686225.063243 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.101904 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.103956 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.105919 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.107957 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.109922 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.111909 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.113815 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.115823 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.117783 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.120279 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.122678 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723686225.125117 55391 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 Υπάρχουν πολλοί τρόποι για να δημιουργήσετε ένα αντικείμενο γεννήτριας. , όπως φαίνεται παραπάνω, δημιουργεί έναν γεννήτη από έναν σπόρο. Ένας σπόρος είναι οποιοσδήποτε μη αρνητικός ακέραιος αριθμός. Έχει επίσης ένα προαιρετικό επιχείρημα που είναι ο αλγόριθμος RNG που θα χρησιμοποιηθεί από αυτή τη γεννήτρια: Generator.from_seed from_seed alg g1 = tf.random.Generator.from_seed(1, alg='philox') print(g1.normal(shape=[2, 3])) tf.Tensor( [[ 0.43842277 -0.53439844 -0.07710262] [ 1.5658045 -0.1012345 -0.2744976 ]], shape=(2, 3), dtype=float32) ΔΕΙΤΕ ΤΟ Σελίδα παρακάτω για περισσότερες πληροφορίες. Αλγόριθμοι Ένας άλλος τρόπος για να δημιουργήσετε μια γεννήτρια είναι με Μια γεννήτρια που δημιουργήθηκε με αυτόν τον τρόπο θα ξεκινήσει από μια μη καθοριστική κατάσταση, ανάλογα, για παράδειγμα, με το χρόνο και το λειτουργικό σύστημα. Generator.from_non_deterministic_state g = tf.random.Generator.from_non_deterministic_state() print(g.normal(shape=[2, 3])) tf.Tensor( [[ 0.9104948 -0.23143363 -0.09841432] [-0.91448975 0.1579936 1.3923475 ]], shape=(2, 3), dtype=float32) Υπάρχουν ακόμα άλλοι τρόποι δημιουργίας γεννήτριων, όπως από ρητές καταστάσεις, οι οποίες δεν καλύπτονται από αυτόν τον οδηγό. Όταν χρησιμοποιείτε Για να πάρετε την παγκόσμια γεννήτρια, πρέπει να είστε προσεκτικοί σχετικά με την τοποθέτηση της συσκευής. καλείται και τοποθετείται στην προεπιλεγμένη συσκευή σε αυτήν την κλήση. Έτσι, για παράδειγμα, εάν η πρώτη τοποθεσία που καλείτε Είναι εντός α Η παγκόσμια γεννήτρια θα τοποθετηθεί στην GPU, και χρησιμοποιώντας την παγκόσμια γεννήτρια αργότερα από την CPU θα προκύψει ένα αντίγραφο GPU-to-CPU. tf.random.get_global_generator tf.random.get_global_generator tf.random.get_global_generator tf.device("gpu") Υπάρχει επίσης μια λειτουργία για την αντικατάσταση του παγκόσμιου γεννήτη με άλλο αντικείμενο γεννήτη.Αυτή η λειτουργία θα πρέπει να χρησιμοποιείται με προσοχή, επειδή ο παλιός παγκόσμιος γεννήτης μπορεί να έχει συλληφθεί από ένα (ως αδύναμη αναφορά), και η αντικατάστασή του θα προκαλέσει τη συλλογή απορριμμάτων, σπάζοντας το Ένας καλύτερος τρόπος για να επαναφέρετε την παγκόσμια γεννήτρια είναι να χρησιμοποιήσετε μία από τις λειτουργίες "επαναφοράς", όπως: , η οποία δεν θα δημιουργήσει νέα αντικείμενα γεννήτριας. tf.random.set_global_generator tf.function tf.function Generator.reset_from_seed g = tf.random.Generator.from_seed(1) print(g.normal([])) print(g.normal([])) g.reset_from_seed(1) print(g.normal([])) tf.Tensor(0.43842277, shape=(), dtype=float32) tf.Tensor(1.6272374, shape=(), dtype=float32) tf.Tensor(0.43842277, shape=(), dtype=float32) Δημιουργία ανεξάρτητων ροών τυχαίων αριθμών Σε πολλές εφαρμογές χρειάζονται πολλαπλές ανεξάρτητες ροές τυχαίων αριθμών, ανεξάρτητες με την έννοια ότι δεν θα επικαλύπτονται και δεν θα έχουν στατιστικά ανιχνεύσιμες συσχετίσεις. να δημιουργήσουν πολλαπλές γεννήτριες που εγγυάται ότι είναι ανεξάρτητες η μία από την άλλη (δηλαδή να παράγουν ανεξάρτητα ρεύματα). Generator.split g = tf.random.Generator.from_seed(1) print(g.normal([])) new_gs = g.split(3) for new_g in new_gs: print(new_g.normal([])) print(g.normal([])) tf.Tensor(0.43842277, shape=(), dtype=float32) tf.Tensor(2.536413, shape=(), dtype=float32) tf.Tensor(0.33186463, shape=(), dtype=float32) tf.Tensor(-0.07144657, shape=(), dtype=float32) tf.Tensor(-0.79253083, shape=(), dtype=float32) θα αλλάξει την κατάσταση της γεννήτριας στην οποία καλείται ( στο παραπάνω παράδειγμα), παρόμοια με μια μέθοδο RNG όπως Εκτός από την ανεξαρτησία μεταξύ τους, οι νέες γεννήτριες ( ) είναι επίσης εγγυημένο να είναι ανεξάρτητο από το παλιό ( ) της split g normal new_gs g Η συμπίεση νέων γεννήτριων είναι επίσης χρήσιμη όταν θέλετε να βεβαιωθείτε ότι η γεννήτρια που χρησιμοποιείτε είναι στην ίδια συσκευή με άλλους υπολογισμούς, για να αποφύγετε την υπερφόρτωση του αντιγράφου μεταξύ συσκευών. with tf.device("cpu"): # change "cpu" to the device you want g = tf.random.get_global_generator().split(1)[0] print(g.normal([])) # use of g won't cause cross-device copy, unlike the global generator tf.Tensor(-0.66787744, shape=(), dtype=float32) Σημείωση: Θεωρητικά, μπορείτε να χρησιμοποιήσετε κατασκευαστές όπως from_seed αντί να χωρίσετε εδώ για να πάρετε μια νέα γεννήτρια, αλλά κάνοντας αυτό χάνετε την εγγύηση ότι η νέα γεννήτρια είναι ανεξάρτητη από την παγκόσμια γεννήτρια. Θεωρητικά, μπορείτε να χρησιμοποιήσετε κατασκευαστές όπως Αντί να εδώ για να αποκτήσετε έναν νέο γεννήτη, αλλά κάνοντας αυτό χάνετε την εγγύηση ότι ο νέος γεννήτης είναι ανεξάρτητος από τον παγκόσμιο γεννήτη. θα διακινδυνεύσετε επίσης να δημιουργήσετε κατά λάθος δύο γεννήτριες με τον ίδιο σπόρο ή με σπόρους που οδηγούν σε επικαλυπτόμενες ροές τυχαίων αριθμών. Note: from_seed split Μπορείτε να κάνετε διαίρεση αναδρομικά, καλούμε Δεν υπάρχουν όρια (αποκλείοντας την υπερφόρτωση ακέραιων ποσοτήτων) στο βάθος των επαναλήψεων. split αλληλεπίδραση με tf.function Ακολουθεί τους ίδιους κανόνες όπως Όταν χρησιμοποιείται με Αυτό περιλαμβάνει τρεις πτυχές. tf.random.Generator tf.Variable tf.function Δημιουργία γεννήτριων έξω tf.function TF.Συνεργασία Μπορείτε να χρησιμοποιήσετε μια γεννήτρια που δημιουργήθηκε έξω από αυτό. tf.function g = tf.random.Generator.from_seed(1) @tf.function def foo(): return g.normal([]) print(foo()) tf.Tensor(0.43842277, shape=(), dtype=float32) Ο χρήστης πρέπει να βεβαιωθεί ότι το αντικείμενο της γεννήτριας είναι ακόμα ζωντανό (δεν συλλέγεται σκουπίδια) όταν καλείται η λειτουργία. Δημιουργία γεννήτριων μέσα tf.function TF.Συνεργασία Δημιουργία γεννήτριων στο εσωτερικό ενός μπορεί να συμβεί μόνο κατά την πρώτη εκτέλεση της λειτουργίας. tf.function g = None @tf.function def foo(): global g if g is None: g = tf.random.Generator.from_seed(1) return g.normal([]) print(foo()) print(foo()) tf.Tensor(0.43842277, shape=(), dtype=float32) tf.Tensor(1.6272374, shape=(), dtype=float32) Οι γεννήτριες ως επιχειρήματα TF.Συνεργασία TF.Συνεργασία Όταν χρησιμοποιείται ως επιχείρημα για ένα , διαφορετικά αντικείμενα γεννήτριας θα προκαλέσει την αναδρομή του . tf.function tf.function num_traces = 0 @tf.function def foo(g): global num_traces num_traces += 1 return g.normal([]) foo(tf.random.Generator.from_seed(1)) foo(tf.random.Generator.from_seed(2)) print(num_traces) 2 Σημειώστε ότι η συμπεριφορά αυτή είναι συνεπής με : tf.Variable num_traces = 0 @tf.function def foo(v): global num_traces num_traces += 1 return v.read_value() foo(tf.Variable(1)) foo(tf.Variable(2)) print(num_traces) 1 Αλληλεπίδραση με τις στρατηγικές διανομής Υπάρχουν δύο τρόποι με τους οποίους αλληλεπιδρά με τις στρατηγικές διανομής. Generator Δημιουργία γεννήτριων εκτός των στρατηγικών διανομής Εάν δημιουργηθεί μια γεννήτρια έξω από το πεδίο της στρατηγικής, η πρόσβαση όλων των αντιγράφων στον γεννήτη θα είναι σειριοποιημένη, και ως εκ τούτου οι αντιγράφοι θα λάβουν διαφορετικούς τυχαίους αριθμούς. g = tf.random.Generator.from_seed(1) strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): def f(): print(g.normal([])) results = strat.run(f) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. tf.Tensor(0.43842274, shape=(), dtype=float32) tf.Tensor(1.6272374, shape=(), dtype=float32) Σημειώστε ότι αυτή η χρήση μπορεί να έχει προβλήματα απόδοσης επειδή η συσκευή της γεννήτριας είναι διαφορετική από τα αντίγραφα. Δημιουργία γεννήτριων μέσα σε στρατηγικές διανομής Εάν δημιουργηθεί μια γεννήτρια μέσα σε ένα πεδίο στρατηγικής, κάθε αντίγραφο θα λάβει μια διαφορετική και ανεξάρτητη ροή τυχαίων αριθμών. strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): g = tf.random.Generator.from_seed(1) print(strat.run(lambda: g.normal([]))) print(strat.run(lambda: g.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor(-0.87930447, shape=(), dtype=float32), 1: tf.Tensor(0.020661574, shape=(), dtype=float32) } WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } Σημείωση: Επί του παρόντος, το tf.random.Generator δεν παρέχει μια επιλογή για να αφήσετε διαφορετικά αντίγραφα να πάρουν πανομοιότυπα (αντί για διαφορετικά) ρεύματα (το οποίο δεν είναι τεχνικά δύσκολο). Σήμερα δεν παρέχει μια επιλογή για να αφήσετε διαφορετικά αντίγραφα να πάρουν πανομοιότυπα (αντί για διαφορετικά) ρεύματα (το οποίο δεν είναι τεχνικά δύσκολο). Note: tf.random.Generator Εάν η γεννήτρια είναι σπόρος (π.χ. δημιουργείται από ), οι τυχαίοι αριθμοί καθορίζονται από τον σπόρο, παρόλο που διαφορετικά αντίγραφα παίρνουν διαφορετικούς και μη συσχετισμένους αριθμούς. Μπορεί κανείς να σκεφτεί έναν τυχαίο αριθμό που παράγεται σε ένα αντίγραφο ως ένα hash του αναγνωριστικού αντιγράφου και έναν "πρωτογενή" τυχαίο αριθμό που είναι κοινό σε όλα τα αντίγραφα. Generator.from_seed Μπορεί επίσης να δημιουργηθεί μέσα : tf.random.Generator Strategy.run strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): def f(): g = tf.random.Generator.from_seed(1) a = g.normal([]) b = g.normal([]) return tf.stack([a, b]) print(strat.run(f)) print(strat.run(f)) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor([-0.87930447 -1.5822568 ], shape=(2,), dtype=float32), 1: tf.Tensor([0.02066157 0.77539235], shape=(2,), dtype=float32) } WARNING:tensorflow:Using MirroredStrategy eagerly has significant overhead currently. We will be working on improving this in the future, but for now please wrap `call_for_each_replica` or `experimental_run` or `run` inside a tf.function to get the best performance. PerReplica:{ 0: tf.Tensor([-0.87930447 -1.5822568 ], shape=(2,), dtype=float32), 1: tf.Tensor([0.02066157 0.77539235], shape=(2,), dtype=float32) } Δεν συνιστούμε πλέον να περάσετε Ως επιχειρήματα για Γιατί γενικά αναμένει τα επιχειρήματα να είναι τενόντες, όχι γεννήτριες. tf.random.Generator Strategy.run Strategy.run Εξοικονόμηση γεννήσεων Σε γενικές γραμμές, για αποθήκευση ή σειριοποίηση, μπορείτε να χειριστείτε ένα Με τον ίδιο τρόπο θα χειριζόταν μια Ή α Στην TF υπάρχουν δύο μηχανισμοί για τη σειριοποίηση: και . tf.random.Generator tf.Variable tf.Module Σημείο ελέγχου Μοντέλο σωτηρίας Σημείο ελέγχου Οι γεννήτριες μπορούν να αποθηκευτούν και να αποκατασταθούν ελεύθερα χρησιμοποιώντας Το ρεύμα τυχαίων αριθμών από το σημείο αποκατάστασης θα είναι το ίδιο με αυτό από το σημείο αποθήκευσης. tf.train.Checkpoint filename = "./checkpoint" g = tf.random.Generator.from_seed(1) cp = tf.train.Checkpoint(generator=g) print(g.normal([])) tf.Tensor(0.43842277, shape=(), dtype=float32) cp.write(filename) print("RNG stream from saving point:") print(g.normal([])) print(g.normal([])) RNG stream from saving point: tf.Tensor(1.6272374, shape=(), dtype=float32) tf.Tensor(1.6307176, shape=(), dtype=float32) cp.restore(filename) print("RNG stream from restoring point:") print(g.normal([])) print(g.normal([])) RNG stream from restoring point: tf.Tensor(1.6272374, shape=(), dtype=float32) tf.Tensor(1.6307176, shape=(), dtype=float32) Μπορείτε επίσης να αποθηκεύσετε και να επαναφέρετε μέσα σε μια στρατηγική διανομής: filename = "./checkpoint" strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): g = tf.random.Generator.from_seed(1) cp = tf.train.Checkpoint(my_generator=g) print(strat.run(lambda: g.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') PerReplica:{ 0: tf.Tensor(-0.87930447, shape=(), dtype=float32), 1: tf.Tensor(0.020661574, shape=(), dtype=float32) } with strat.scope(): cp.write(filename) print("RNG stream from saving point:") print(strat.run(lambda: g.normal([]))) print(strat.run(lambda: g.normal([]))) RNG stream from saving point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32) } with strat.scope(): cp.restore(filename) print("RNG stream from restoring point:") print(strat.run(lambda: g.normal([]))) print(strat.run(lambda: g.normal([]))) RNG stream from restoring point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32) } Θα πρέπει να βεβαιωθείτε ότι τα αντίγραφα δεν αποκλίνουν στο ιστορικό κλήσεων RNG (π.χ. ένα αντίγραφο κάνει μία κλήση RNG ενώ ένα άλλο κάνει δύο κλήσεις RNG) πριν από την αποθήκευση. (η οποία αποθηκεύει μόνο την κατάσταση του πρώτου αντιγράφου) δεν θα αποκαταστήσει σωστά όλα τα αντίγραφα. tf.train.Checkpoint Μπορείτε επίσης να επαναφέρετε ένα αποθηκευμένο σημείο ελέγχου σε μια διαφορετική στρατηγική διανομής με διαφορετικό αριθμό αντιγράφων. αντικείμενο που δημιουργήθηκε σε μια στρατηγική μπορεί να χρησιμοποιηθεί μόνο στην ίδια στρατηγική, για να επαναφέρετε σε μια διαφορετική στρατηγική, πρέπει να δημιουργήσετε ένα νέο Στόχος η στρατηγική και η νέα Για το λόγο αυτό, όπως δείχνει το παρακάτω παράδειγμα: tf.random.Generator tf.random.Generator tf.train.Checkpoint filename = "./checkpoint" strat1 = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat1.scope(): g1 = tf.random.Generator.from_seed(1) cp1 = tf.train.Checkpoint(my_generator=g1) print(strat1.run(lambda: g1.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') PerReplica:{ 0: tf.Tensor(-0.87930447, shape=(), dtype=float32), 1: tf.Tensor(0.020661574, shape=(), dtype=float32) } with strat1.scope(): cp1.write(filename) print("RNG stream from saving point:") print(strat1.run(lambda: g1.normal([]))) print(strat1.run(lambda: g1.normal([]))) RNG stream from saving point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32) } strat2 = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1", "cpu:2"]) with strat2.scope(): g2 = tf.random.Generator.from_seed(1) cp2 = tf.train.Checkpoint(my_generator=g2) cp2.restore(filename) print("RNG stream from restoring point:") print(strat2.run(lambda: g2.normal([]))) print(strat2.run(lambda: g2.normal([]))) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1', '/job:localhost/replica:0/task:0/device:CPU:2') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1', '/job:localhost/replica:0/task:0/device:CPU:2') RNG stream from restoring point: PerReplica:{ 0: tf.Tensor(-1.5822568, shape=(), dtype=float32), 1: tf.Tensor(0.77539235, shape=(), dtype=float32), 2: tf.Tensor(0.6851049, shape=(), dtype=float32) } PerReplica:{ 0: tf.Tensor(-0.5039703, shape=(), dtype=float32), 1: tf.Tensor(0.1251838, shape=(), dtype=float32), 2: tf.Tensor(-0.58519536, shape=(), dtype=float32) } Αν και και Είναι διαφορετικά αντικείμενα από και , συνδέονται μέσω του κοινού αρχείου checkpoint Όνομα αντικειμένου Η επικάλυψη αντιγράφων μεταξύ στρατηγικών (π.χ. και Αυτή η εγγύηση δεν καλύπτει την περίπτωση όταν μια γεννήτρια αποθηκεύεται σε ένα πεδίο εφαρμογής στρατηγικής και αποκατασταθεί εκτός οποιουδήποτε πεδίου εφαρμογής στρατηγικής ή αντίστροφα, επειδή μια συσκευή εκτός στρατηγικών αντιμετωπίζεται ως διαφορετική από οποιαδήποτε αντιγραφή σε μια στρατηγική. g1 cp1 g2 cp2 filename my_generator cpu:0 cpu:1 Μοντέλο σωτηρίας μπορεί να αποθηκευτεί σε ένα SavedModel. Η γεννήτρια μπορεί να δημιουργηθεί εντός ενός πεδίου στρατηγικής. Η αποθήκευση μπορεί επίσης να συμβεί εντός ενός πεδίου στρατηγικής. tf.random.Generator filename = "./saved_model" class MyModule(tf.Module): def __init__(self): super(MyModule, self).__init__() self.g = tf.random.Generator.from_seed(0) @tf.function def __call__(self): return self.g.normal([]) @tf.function def state(self): return self.g.state strat = tf.distribute.MirroredStrategy(devices=["cpu:0", "cpu:1"]) with strat.scope(): m = MyModule() print(strat.run(m)) print("state:", m.state()) INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') INFO:tensorflow:Using MirroredStrategy with devices ('/job:localhost/replica:0/task:0/device:CPU:0', '/job:localhost/replica:0/task:0/device:CPU:1') PerReplica:{ 0: tf.Tensor(-1.4154755, shape=(), dtype=float32), 1: tf.Tensor(-0.11388441, shape=(), dtype=float32) } state: tf.Tensor([256 0 0], shape=(3,), dtype=int64) with strat.scope(): tf.saved_model.save(m, filename) print("RNG stream from saving point:") print(strat.run(m)) print("state:", m.state()) print(strat.run(m)) print("state:", m.state()) INFO:tensorflow:Assets written to: ./saved_model/assets INFO:tensorflow:Assets written to: ./saved_model/assets RNG stream from saving point: PerReplica:{ 0: tf.Tensor(-0.68758255, shape=(), dtype=float32), 1: tf.Tensor(0.8084062, shape=(), dtype=float32) } state: tf.Tensor([512 0 0], shape=(3,), dtype=int64) PerReplica:{ 0: tf.Tensor(-0.27342677, shape=(), dtype=float32), 1: tf.Tensor(-0.53093255, shape=(), dtype=float32) } state: tf.Tensor([768 0 0], shape=(3,), dtype=int64) imported = tf.saved_model.load(filename) print("RNG stream from loading point:") print("state:", imported.state()) print(imported()) print("state:", imported.state()) print(imported()) print("state:", imported.state()) RNG stream from loading point: state: tf.Tensor([256 0 0], shape=(3,), dtype=int64) tf.Tensor(-1.0359411, shape=(), dtype=float32) state: tf.Tensor([512 0 0], shape=(3,), dtype=int64) tf.Tensor(-0.06425078, shape=(), dtype=float32) state: tf.Tensor([768 0 0], shape=(3,), dtype=int64) Φόρτωση ενός SavedModel που περιέχει Δεν συνιστάται να εισάγετε μια στρατηγική διανομής, επειδή τα αντίγραφα θα δημιουργήσουν το ίδιο ρεύμα τυχαίων αριθμών (το οποίο συμβαίνει επειδή το αναγνωριστικό αντιγράφου είναι παγωμένο στο διάγραμμα του SavedModel). tf.random.Generator Φόρτωση ενός κατανεμημένου Η κατάσταση RNG θα αποκατασταθεί σωστά, αλλά οι τυχαίοι αριθμοί που θα δημιουργηθούν θα είναι διαφορετικοί από τον αρχικό γεννήτη στη στρατηγική του (και πάλι επειδή μια συσκευή εκτός στρατηγικών αντιμετωπίζεται ως διαφορετική από οποιαδήποτε αντιγραφή σε μια στρατηγική). tf.random.Generator Χωρίς RNGs Η χρήση των RNGs χωρίς κατάσταση είναι απλή. Δεδομένου ότι είναι μόνο καθαρές λειτουργίες, δεν υπάρχει καμία κατάσταση ή παρενέργεια. print(tf.random.stateless_normal(shape=[2, 3], seed=[1, 2])) print(tf.random.stateless_normal(shape=[2, 3], seed=[1, 2])) tf.Tensor( [[ 0.5441101 0.20738031 0.07356433] [ 0.04643455 -1.30159 -0.95385665]], shape=(2, 3), dtype=float32) tf.Tensor( [[ 0.5441101 0.20738031 0.07356433] [ 0.04643455 -1.30159 -0.95385665]], shape=(2, 3), dtype=float32) Κάθε RNG απαιτεί μια όρος, το οποίο πρέπει να είναι ένας πλήρης τενίστας σχήματος Τα αποτελέσματα του op καθορίζονται πλήρως από αυτόν τον σπόρο. seed [2] Ο αλγόριθμος RNG που χρησιμοποιείται από RNGs χωρίς κατάσταση είναι εξαρτημένος από συσκευή, πράγμα που σημαίνει ότι το ίδιο op που τρέχει σε διαφορετική συσκευή μπορεί να παράγει διαφορετικές εξόδους. Αλγόριθμοι στρατηγός Και οι δύο οι Η τάξη και η λειτουργίες υποστηρίζουν τον αλγόριθμο Philox (γραμμένο ως ή σε όλες τις συσκευές. tf.random.Generator stateless "philox" tf.random.Algorithm.PHILOX Διαφορετικές συσκευές θα παράγουν τους ίδιους αριθμούς ακέραιων αριθμών, αν χρησιμοποιούν τον ίδιο αλγόριθμο και ξεκινούν από την ίδια κατάσταση. θα παράγουν επίσης "σχεδόν τους ίδιους" αριθμούς πλωτών σημείων, αν και μπορεί να υπάρχουν μικρές αριθμητικές αποκλίσεις που προκαλούνται από τους διαφορετικούς τρόπους με τους οποίους οι συσκευές εκτελούν τον υπολογισμό πλωτών σημείων (π.χ. σειρά μείωσης). XLA συσκευές Σε συσκευές που τροφοδοτούνται από XLA (όπως TPU, και επίσης CPU/GPU όταν είναι ενεργοποιημένη η XLA), ο αλγόριθμος ThreeFry (γραμμένος ως ή Αυτός ο αλγόριθμος είναι γρήγορος σε TPU αλλά αργός σε CPU / GPU σε σύγκριση με το Philox. "threefry" tf.random.Algorithm.THREEFRY Το χαρτί Για περισσότερες λεπτομέρειες σχετικά με αυτούς τους αλγόριθμους. Παράλληλοι Τυχαίοι Αριθμοί: Τόσο εύκολοι όσο 1, 2, 3 Αρχικά δημοσιευμένο στην ιστοσελίδα TensorFlow, αυτό το άρθρο εμφανίζεται εδώ κάτω από μια νέα επικεφαλίδα και είναι αδειοδοτημένο υπό την άδεια CC BY 4.0. Αρχικά δημοσιευμένο στην ιστοσελίδα TensorFlow, αυτό το άρθρο εμφανίζεται εδώ κάτω από μια νέα επικεφαλίδα και είναι αδειοδοτημένο υπό την άδεια CC BY 4.0. TensorFlow TensorFlow