Perché GradientTape è la caratteristica più sottovalutata in TensorFlow

Contenuto Panoramica Differenziamento automatico e gradienti Impostazione Gradienti informatici Gradient tappe Gradienti rispetto a un modello Controllare ciò che il nastro osserva Risultati intermedi Note sulla performance Gradienti di obiettivi non scalar Controllo del flusso Differenziamento automatico e gradienti è utile per implementare algoritmi di apprendimento automatico come per la formazione delle reti neurali. differenziazione automatica Backpropagazione In questa guida, esplorerai i modi per calcolare i gradienti con TensorFlow, specialmente in esecuzione ansiosa. Impostazione import numpy as np import matplotlib.pyplot as plt import tensorflow as tf 2024-08-15 01:30:07.003169: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 01:30:07.023862: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 01:30:07.029954: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered Gradienti informatici Per differenziare automaticamente, TensorFlow ha bisogno di ricordare quali operazioni si verificano in quale ordine durante la In seguito, durante il TensorFlow attraversa questo elenco di operazioni in ordine inverso per calcolare i gradienti. Avanti Passaggio indietro Gradient tappe TensorFlow fornisce la API per la differenziazione automatica; cioè, calcolando il gradiente di un calcolo rispetto ad alcuni input, di solito s. TensorFlow "registra" le operazioni rilevanti eseguite nel contesto di un TensorFlow quindi utilizza quella striscia per calcolare i gradienti di un calcolo "registrato" utilizzando . tf.GradientTape tf.Variable tf.GradientTape Modalità di differenziazione Ecco un semplice esempio: x = tf.Variable(3.0) with tf.GradientTape() as tape: y = x**2 WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723685409.408818 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.412555 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.416343 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.420087 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.431667 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.435229 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.438777 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.442350 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.445712 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.449141 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.452491 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.456034 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.685265 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.687389 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.689411 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.691490 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.693542 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.695541 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.697441 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.699432 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.701351 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.703333 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.705229 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.707222 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.744994 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.747037 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.749507 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.751538 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.753500 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.755501 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.757421 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.759404 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.761363 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.763858 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.766199 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.768560 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 Una volta registrate alcune operazioni, utilizzare per calcolare il gradiente di qualche obiettivo (spesso una perdita) rispetto a qualche fonte (spesso le variabili del modello): GradientTape.gradient(target, sources) # dy = 2x * dx dy_dx = tape.gradient(y, x) dy_dx.numpy() 6.0 L'esempio di cui sopra utilizza scalari, ma funziona con facilità su qualsiasi tensore: tf.GradientTape w = tf.Variable(tf.random.normal((3, 2)), name='w') b = tf.Variable(tf.zeros(2, dtype=tf.float32), name='b') x = [[1., 2., 3.]] with tf.GradientTape(persistent=True) as tape: y = x @ w + b loss = tf.reduce_mean(y**2) Per ottenere il gradiente di per entrambe le variabili, è possibile passare entrambe come fonti alla Il nastro è flessibile su come vengono passate le fonti e accetterà qualsiasi combinazione di elenchi o dizionari e restituirà il gradiente strutturato nello stesso modo (vedi e) il loss gradient tf.nest [dl_dw, dl_db] = tape.gradient(loss, [w, b]) Il gradiente rispetto a ciascuna fonte ha la forma della fonte: print(w.shape) print(dl_dw.shape) (3, 2) (3, 2) Ecco di nuovo il calcolo del gradiente, questa volta passando un dizionario di variabili: my_vars = { 'w': w, 'b': b } grad = tape.gradient(loss, my_vars) grad['b'] Gradienti rispetto a un modello È comune raccogliere Entro a o una delle sue sottoclasse ( di ) per e . tf.Variables tf.Module layers.Layer keras.Model Il checkpoint esportazione Nella maggior parte dei casi, si desidera calcolare i gradienti rispetto alle variabili addestrabili di un modello. Aggiungi le variabili in Proprietà, è possibile calcolare questi gradienti in poche righe di codice: tf.Module Module.trainable_variables layer = tf.keras.layers.Dense(2, activation='relu') x = tf.constant([[1., 2., 3.]]) with tf.GradientTape() as tape: # Forward pass y = layer(x) loss = tf.reduce_mean(y**2) # Calculate gradients with respect to every trainable variable grad = tape.gradient(loss, layer.trainable_variables) for var, g in zip(layer.trainable_variables, grad): print(f'{var.name}, shape: {g.shape}') kernel, shape: (3, 2) bias, shape: (2,) Controllare ciò che il nastro osserva Il comportamento predefinito è quello di registrare tutte le operazioni dopo l'accesso a un trainable Le ragioni per questo sono: tf.Variable La striscia deve sapere quali operazioni registrare nel passaggio avanti per calcolare i gradienti nel passaggio indietro. Il nastro contiene riferimenti alle uscite intermedie, quindi non si vogliono registrare operazioni inutili. Il caso d'uso più comune consiste nel calcolare il gradiente di una perdita rispetto a tutte le variabili addestrabili di un modello. Per esempio, il seguente non calcola un gradiente perché il non è “visualizzato” per impostazione predefinita, e il Non è addestrabile: tf.Tensor tf.Variable # A trainable variable x0 = tf.Variable(3.0, name='x0') # Not trainable x1 = tf.Variable(3.0, name='x1', trainable=False) # Not a Variable: A variable + tensor returns a tensor. x2 = tf.Variable(2.0, name='x2') + 1.0 # Not a variable x3 = tf.constant(3.0, name='x3') with tf.GradientTape() as tape: y = (x0**2) + (x1**2) + (x2**2) grad = tape.gradient(y, [x0, x1, x2, x3]) for g in grad: print(g) tf.Tensor(6.0, shape=(), dtype=float32) None None None È possibile elencare le variabili osservate dalla striscia utilizzando il Il metodo: GradientTape.watched_variables [var.name for var in tape.watched_variables()] ['x0:0'] Fornisce agli utenti il controllo su ciò che viene o non viene guardato. tf.GradientTape Per registrare gradienti rispetto a Hai bisogno di chiamare : tf.Tensor GradientTape.watch(x) x = tf.constant(3.0) with tf.GradientTape() as tape: tape.watch(x) y = x**2 # dy = 2x * dx dy_dx = tape.gradient(y, x) print(dy_dx.numpy()) 6.0 Al contrario, per disattivare il comportamento predefinito di guardare tutti e set Questo calcolo utilizza due variabili, ma collega solo il gradiente per una delle variabili: tf.Variables watch_accessed_variables=False x0 = tf.Variable(0.0) x1 = tf.Variable(10.0) with tf.GradientTape(watch_accessed_variables=False) as tape: tape.watch(x1) y0 = tf.math.sin(x0) y1 = tf.nn.softplus(x1) y = y0 + y1 ys = tf.reduce_sum(y) da Non è stato chiamato , nessun gradiente è calcolato rispetto a esso: GradientTape.watch x0 # dys/dx1 = exp(x1) / (1 + exp(x1)) = sigmoid(x1) grad = tape.gradient(ys, {'x0': x0, 'x1': x1}) print('dy/dx0:', grad['x0']) print('dy/dx1:', grad['x1'].numpy()) dy/dx0: None dy/dx1: 0.9999546 Risultati intermedi Puoi anche richiedere gradienti della uscita rispetto ai valori intermedi calcolati all'interno della Il contesto. tf.GradientTape x = tf.constant(3.0) with tf.GradientTape() as tape: tape.watch(x) y = x * x z = y * y # Use the tape to compute the gradient of z with respect to the # intermediate value y. # dz_dy = 2 * y and y = x ** 2 = 9 print(tape.gradient(z, y).numpy()) 18.0 Per impostazione predefinita, le risorse detenute da un saranno rilasciati non appena Per calcolare più gradienti sullo stesso calcolo, creare una striscia di gradienti con Ciò consente di effettuare più chiamate al metodo come risorse vengono rilasciate quando l'oggetto della striscia è spazzatura raccolta. ad esempio: GradientTape GradientTape.gradient persistent=True gradient x = tf.constant([1, 3.0]) with tf.GradientTape(persistent=True) as tape: tape.watch(x) y = x * x z = y * y print(tape.gradient(z, x).numpy()) # [4.0, 108.0] (4 * x**3 at x = [1.0, 3.0]) print(tape.gradient(y, x).numpy()) # [2.0, 6.0] (2 * x at x = [1.0, 3.0]) [ 4. 108.] [2. 6.] del tape # Drop the reference to the tape Note sulla performance There is a tiny overhead associated with doing operations inside a gradient tape context. For most eager execution this will not be a noticeable cost, but you should still use tape context around the areas only where it is required. Gradient tapes use memory to store intermediate results, including inputs and outputs, for use during the backwards pass. For efficiency, some ops (like ) don't need to keep their intermediate results and they are pruned during the forward pass. However, if you use on your tape, and your peak memory usage will be higher. ReLU persistent=True nothing is discarded Gradienti di obiettivi non scalar Un gradiente è fondamentalmente un'operazione su uno scalar. x = tf.Variable(2.0) with tf.GradientTape(persistent=True) as tape: y0 = x**2 y1 = 1 / x print(tape.gradient(y0, x).numpy()) print(tape.gradient(y1, x).numpy()) 4.0 -0.25 Quindi, se si chiede il gradiente di più obiettivi, il risultato per ciascuna fonte è: Il gradiente della somma degli obiettivi, o equivalente La somma dei gradienti di ciascun obiettivo. x = tf.Variable(2.0) with tf.GradientTape() as tape: y0 = x**2 y1 = 1 / x print(tape.gradient({'y0': y0, 'y1': y1}, x).numpy()) 3.75 Allo stesso modo, se l'obiettivo (i) non sono scalari il gradiente della somma viene calcolato: x = tf.Variable(2.) with tf.GradientTape() as tape: y = x * [3., 4.] print(tape.gradient(y, x).numpy()) 7.0 Questo rende semplice prendere il gradiente della somma di una raccolta di perdite, o il gradiente della somma di un calcolo di perdite in modo elementare. Se hai bisogno di un gradiente separato per ciascun elemento, fai riferimento a . Jacobiani Per un calcolo elementare, il gradiente della somma dà la derivativa di ciascun elemento rispetto al suo elemento di input, poiché ogni elemento è indipendente: x = tf.linspace(-10.0, 10.0, 200+1) with tf.GradientTape() as tape: tape.watch(x) y = tf.nn.sigmoid(x) dy_dx = tape.gradient(y, x) plt.plot(x, y, label='y') plt.plot(x, dy_dx, label='dy/dx') plt.legend() _ = plt.xlabel('x') Controllo del flusso Poiché una striscia di gradiente registra le operazioni mentre vengono eseguite, il flusso di controllo di Python viene gestito naturalmente (ad esempio, e delle dichiarazioni). if while Qui una variabile diversa viene utilizzata su ogni ramo di un Il gradiente si connette solo alla variabile utilizzata: if x = tf.constant(1.0) v0 = tf.Variable(2.0) v1 = tf.Variable(2.0) with tf.GradientTape(persistent=True) as tape: tape.watch(x) if x > 0.0: result = v0 else: result = v1**2 dv0, dv1 = tape.gradient(result, [v0, v1]) print(dv0) print(dv1) tf.Tensor(1.0, shape=(), dtype=float32) None Basta ricordare che le dichiarazioni di controllo non sono differenziabili, quindi sono invisibili per gli ottimizzatori basati su gradienti. A seconda del valore di Nell'esempio di cui sopra, il nastro o o Il gradiente rispetto alla è sempre . x result = v0 result = v1**2 x None dx = tape.gradient(result, x) print(dx) None Originariamente pubblicato sul sito web di TensorFlow, questo articolo appare qui sotto un nuovo titolo ed è concesso in licenza sotto CC BY 4.0. Originariamente pubblicato sul sito web di TensorFlow, questo articolo appare qui sotto un nuovo titolo ed è concesso in licenza sotto CC BY 4.0. Il TensorFlow Il TensorFlow