ඇයි GradientTape TensorFlow හි වඩාත් underrated විශේෂාංගය

Content සමාලෝචන Automatic Differentiation සහ Gradients ස්ථාපනය පරිගණක gradients Gradient ටැප් Gradients with respect to a model (අදාල ආකෘතිය) ටැප් බලන දේ පාලනය කිරීම මධ් යම ප් රතිඵල Performance ගැන සටහන් Non-scalar ඉලක්ක Flow පාලනය Automatic Differentiation සහ Gradients එවැනි යන්ත්ර ඉගෙනුම් ඇල්ගාටිකාවන් භාවිතා කිරීම සඳහා උපකාරී වේ. Neural Networks පුහුණු කිරීම ස්වයංක්රීය වෙනස් කිරීම Backpropagation මෙම මාර්ගෝපදේශය තුළ, ඔබ TensorFlow සමඟ gradients ගණනය කිරීමට ක්රම සොයා ගනු ඇත, විශේෂයෙන් උනන්දුවෙන් ක්රියාත්මක කිරීම. ස්ථාපනය import numpy as np import matplotlib.pyplot as plt import tensorflow as tf 2024-08-15 01:30:07.003169: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 01:30:07.023862: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 01:30:07.029954: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered පරිගණක gradients ස්වයංක්රීයව වෙනස් කිරීම සඳහා, TensorFlow මොන ක්රියාකාරකම් සිදු වන්නේද යන්න මතක තබා ගත යුතුය. එහෙනම් එහෙනම්, ඒ අතරතුරදී TensorFlow මෙම මෙහෙයුම් ලැයිස්තුව හරහා පරිවර්තනය කරන අතර එය gradients ගණනය කරයි. ඉදිරියට පිටුපස Pass Gradient ටැප් TensorFlow සපයයි ස්වයංක්රීය වෙනස් කිරීම සඳහා API; එනම්, සාමාන්යයෙන් සමහර ආදායම් සම්බන්ධයෙන් පරිගණකයේ උපායම ගණනය කිරීම s. TensorFlow "රැග්ග" ගිණුම් තුළ සිදු කරන අදාළ ක්රියාකාරකම් TensorFlow ඉන්පසු එම වේදිකාව භාවිතා කරන්නේ "සැරැස්වූ" පරිගණකයේ උපාධි ගණනය කිරීම සඳහා ය. . tf.GradientTape tf.Variable tf.GradientTape Reverse Differentiation ක් රමය මෙන්න සරල උදාහරණයක්: x = tf.Variable(3.0) with tf.GradientTape() as tape: y = x**2 WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723685409.408818 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.412555 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.416343 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.420087 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.431667 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.435229 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.438777 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.442350 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.445712 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.449141 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.452491 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685409.456034 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.685265 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.687389 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.689411 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.691490 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.693542 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.695541 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.697441 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.699432 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.701351 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.703333 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.705229 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.707222 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.744994 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.747037 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.749507 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.751538 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.753500 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.755501 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.757421 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.759404 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.761363 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.763858 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.766199 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685410.768560 20970 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 ඔබ සමහර ක්රියාකාරකම් ලියාපදිංචි වූ පසු, භාවිතා කරන්න යම් ඉලක්කයක් (සමහර විට අහිමි වීම) යම් මූලාශ්රය (සමහර විට ආකෘතියේ වෙනස්කම්) සමග ප් රවේශය ගණනය කිරීම සඳහා: GradientTape.gradient(target, sources) # dy = 2x * dx dy_dx = tape.gradient(y, x) dy_dx.numpy() 6.0 ඉහත උදාහරණයේ භාවිතා කරන්නේ scalars, නමුත් ඕනෑම ටෙන්ඩර් මත පහසුවෙන් ක්රියා කරයි: tf.GradientTape w = tf.Variable(tf.random.normal((3, 2)), name='w') b = tf.Variable(tf.zeros(2, dtype=tf.float32), name='b') x = [[1., 2., 3.]] with tf.GradientTape(persistent=True) as tape: y = x @ w + b loss = tf.reduce_mean(y**2) ලබා ගැනීමට Gradient of මේ දෙකේම වෙනස්කම් වලදී, ඔබ ප් රභේද දෙකම වෙත යැවිය හැකිය. ලැයිස්තුවේ හෝ වචනවල ඕනෑම සංකේතයක් පිළිගනු ලබන අතර එම ආකාරයෙන් ව්යුහය වන gradient නැවත ලබා දෙනු ඇත.The tape is flexible about how sources are passed and will accept any nested combination of lists or dictionaries and return the gradient structured the same way (see ) loss gradient tf.nest [dl_dw, dl_db] = tape.gradient(loss, [w, b]) සෑම මූලාශ් රයකටම අදාළ උපාධිය මූලාශ් රයේ හැඩයයි: print(w.shape) print(dl_dw.shape) (3, 2) (3, 2) මෙන්න ආයෙමත් gradient calculation, this time passing a dictionary of variables: my_vars = { 'w': w, 'b': b } grad = tape.gradient(loss, my_vars) grad['b'] Gradients with respect to a model (අදාල ආකෘතිය) රැස්වීම සාමාන් ය වේ A වෙත (එහෙම නැත්නම් එහි සංකේතයන්ගෙන් එකක්) , ) සඳහා සහ . tf.Variables tf.Module layers.Layer keras.Model Checkpoint කිරීම විකිණීම බොහෝ අවස්ථාවලදී, ඔබ ආකෘතියේ පුහුණු කළ හැකි ප්රමාණයන් සම්බන්ධයෙන් gradients ගණනය කිරීමට අවශ්ය වනු ඇත. ඔවුන්ගේ වෙනස්කම් එකතු කරන්න දේපල, ඔබ කේත කිහිපයක් තුළ මෙම gradients ගණනය කළ හැකිය: tf.Module Module.trainable_variables layer = tf.keras.layers.Dense(2, activation='relu') x = tf.constant([[1., 2., 3.]]) with tf.GradientTape() as tape: # Forward pass y = layer(x) loss = tf.reduce_mean(y**2) # Calculate gradients with respect to every trainable variable grad = tape.gradient(loss, layer.trainable_variables) for var, g in zip(layer.trainable_variables, grad): print(f'{var.name}, shape: {g.shape}') kernel, shape: (3, 2) bias, shape: (2,) ටැප් බලන දේ පාලනය කිරීම උදාහරණික හැසිරීම වන්නේ පුහුණු කළ හැකි ක්රියාකාරකම් වෙත ප්රවේශ වීමෙන් පසු සියලු ක්රියාකාරකම් වාර්තා කිරීමයි. මේ සඳහා හේතු වන්නේ: tf.Variable පින්තූරයට අවශ් ය වන්නේ පසුපසින් ගමන් කරන gradients ගණනය කිරීම සඳහා ඉදිරියට ගමන් කිරීමේ ක්රියාකාරකම් වාර්තා කිරීමටය.The tape needs to know which operations to record in the forward pass to calculate the gradients in the backward pass. මැදපෙරදිග ප්රතිඵල සඳහා සබැඳි තබා, එබැවින් ඔබට අවශ්ය නොවන මෙහෙයුම් ලියාපදිංචි කිරීමට අවශ්ය නැත. වඩාත් පොදු භාවිතය වනුයේ, ආකෘතියේ සියලු පුහුණු කළ හැකි ප්රමාණයන් සම්බන්ධයෙන් පරාජය ගණනය කිරීමයි. උදාහරණයක් ලෙස, පහත දැක්වෙන ආකාරයට gradient ගණනය නොකරයි, මොකද එය “අපේ” නොසැලකිලිමත් වන අතර, එය පුහුණු නොකරයි : tf.Tensor tf.Variable # A trainable variable x0 = tf.Variable(3.0, name='x0') # Not trainable x1 = tf.Variable(3.0, name='x1', trainable=False) # Not a Variable: A variable + tensor returns a tensor. x2 = tf.Variable(2.0, name='x2') + 1.0 # Not a variable x3 = tf.constant(3.0, name='x3') with tf.GradientTape() as tape: y = (x0**2) + (x1**2) + (x2**2) grad = tape.gradient(y, [x0, x1, x2, x3]) for g in grad: print(g) tf.Tensor(6.0, shape=(), dtype=float32) None None None ඔබ දකින වෙනස්කම් ලැයිස්තුගත කළ හැක්කේ පින්තූරයට භාවිතා කරන ආකාරයයි. ක් රමය : GradientTape.watched_variables [var.name for var in tape.watched_variables()] ['x0:0'] පරිශීලකයාට බලන හෝ නොසලකා බලන දේ පිළිබඳ පාලනය ලබා දීම සඳහා හවුල් සපයයි. tf.GradientTape A ලැයිස්තුගත කිරීමට Gradients in relation to a ඔබ ඇමතුමක් කළ යුතුය : tf.Tensor GradientTape.watch(x) x = tf.constant(3.0) with tf.GradientTape() as tape: tape.watch(x) y = x**2 # dy = 2x * dx dy_dx = tape.gradient(y, x) print(dy_dx.numpy()) 6.0 ඒ වෙනුවට, සෑම විටම සලකා බලන සංකේත හැසිරීම අවහිර කිරීම සඳහා Set එක මෙම පරිශීලකයන් දෙකක් භාවිතා කරයි, නමුත් පරිශීලකයන්ගෙන් එක් අයෙකු සඳහා පමණක් පරිශීලකයන් සම්බන්ධ කරයි: tf.Variables watch_accessed_variables=False x0 = tf.Variable(0.0) x1 = tf.Variable(10.0) with tf.GradientTape(watch_accessed_variables=False) as tape: tape.watch(x1) y0 = tf.math.sin(x0) y1 = tf.nn.softplus(x1) y = y0 + y1 ys = tf.reduce_sum(y) සිට ආරාධනා නොලැබුනේ , කිසිදු gradient එය සම්බන්ධයෙන් ගණනය කර නැත: GradientTape.watch x0 # dys/dx1 = exp(x1) / (1 + exp(x1)) = sigmoid(x1) grad = tape.gradient(ys, {'x0': x0, 'x1': x1}) print('dy/dx0:', grad['x0']) print('dy/dx1:', grad['x1'].numpy()) dy/dx0: None dy/dx1: 0.9999546 මධ් යම ප් රතිඵල ඔබ ද පර්යේෂණයේ ඇතුළත ගණනය කරන මධ්යම වටිනාකම් සඳහා ප්රතිඵල ප්රතිඵල ඉල්ලන්න පුළුවන් kontext එක tf.GradientTape x = tf.constant(3.0) with tf.GradientTape() as tape: tape.watch(x) y = x * x z = y * y # Use the tape to compute the gradient of z with respect to the # intermediate value y. # dz_dy = 2 * y and y = x ** 2 = 9 print(tape.gradient(z, y).numpy()) 18.0 ප් රචණ්ඩත්වය සිදුවේ, නමුත් අපි පාපයට එරෙහිව ශුද්ධ විනිශ්චය සහ අපි පුද්ගලිකව අකමැති අයට එරෙහි වන පුරපැම අතර වෙනස අප හඳුනාගත යුතුය. ඔවුන් නිදහස් වුණහම ඔවුන් සෑම පරිගණකයකම, එකම පරිගණකය මත විවිධ gradients ගණනය කිරීම සඳහා, gradient tape නිර්මාණය කිරීම මෙය බොහෝ දුරකථන ඇමතුම් වලට ඉඩ දෙයි. ප්රතිපත්ති ප්රතිපත්ති ප්රතිපත්ති ප්රතිපත්ති ප්රතිපත්ති ප්රතිපත්ති ප්රතිපත්ති ප්රතිපත්ති ප්රතිපත්ති ප්රතිපත්ති ප්රතිපත්ති GradientTape GradientTape.gradient persistent=True gradient x = tf.constant([1, 3.0]) with tf.GradientTape(persistent=True) as tape: tape.watch(x) y = x * x z = y * y print(tape.gradient(z, x).numpy()) # [4.0, 108.0] (4 * x**3 at x = [1.0, 3.0]) print(tape.gradient(y, x).numpy()) # [2.0, 6.0] (2 * x at x = [1.0, 3.0]) [ 4. 108.] [2. 6.] del tape # Drop the reference to the tape Performance ගැන සටහන් There is a tiny overhead associated with doing operations inside a gradient tape context. For most eager execution this will not be a noticeable cost, but you should still use tape context around the areas only where it is required. Gradient tapes use memory to store intermediate results, including inputs and outputs, for use during the backwards pass. For efficiency, some ops (like ) don't need to keep their intermediate results and they are pruned during the forward pass. However, if you use on your tape, and your peak memory usage will be higher. ReLU persistent=True nothing is discarded Non-scalar ඉලක්ක Gradient යනු මූලික වශයෙන් scalar මත ක් රියාවලියකි. x = tf.Variable(2.0) with tf.GradientTape(persistent=True) as tape: y0 = x**2 y1 = 1 / x print(tape.gradient(y0, x).numpy()) print(tape.gradient(y1, x).numpy()) 4.0 -0.25 එබැවින්, ඔබ බොහෝ ඉලක්කවල උපාධිය සඳහා ඉල්ලන්නේ නම්, සෑම මූලාශ්රයකටම ප්රතිඵලයක් වන්නේ: ඉලක්ක ප්රමාණය, හෝ සමාන සෑම ඉලක්කයකම gradients ගණන. x = tf.Variable(2.0) with tf.GradientTape() as tape: y0 = x**2 y1 = 1 / x print(tape.gradient({'y0': y0, 'y1': y1}, x).numpy()) 3.75 සමාන වශයෙන්, ඉලක්කය(s) ස්කලල් නොවන නම්, සම්මතයේ ග්රාඩිතය ගණනය කරනු ලැබේ: x = tf.Variable(2.) with tf.GradientTape() as tape: y = x * [3., 4.] print(tape.gradient(y, x).numpy()) 7.0 මෙය අහිමි කිරීම් රැස්වීමේ සංඛ්යාතය හෝ අහිමි කිරීම් ගණනය කිරීමේ සංඛ්යාතය ලබා ගැනීම පහසු කරයි.This makes it simple to take the gradient of the sum of a collection of losses, or the gradient of the sum of an element-wise loss calculation. ඔබට සෑම අංගයක් සඳහාම සුවිශේෂී gradient අවශ් ය නම්, පිවිසෙන්න . ජැකොබන් සමහර අවස්ථාවලදී ඔබ ජැකොබියාන් පරාක් රමණය අතහැර යා හැකියි.අධික ගණනය කිරීම සඳහා, සෑම අමුද් රව් යයක්ම ස්වාධීන වන බැවින් සෑම අමුද් රව් යයකටම සෑම අමුද් රව් යයක්ම සම්බන්ධව සෑම අමුද් රව් යයකටම මූලධර්මය ලබා දෙයි: x = tf.linspace(-10.0, 10.0, 200+1) with tf.GradientTape() as tape: tape.watch(x) y = tf.nn.sigmoid(x) dy_dx = tape.gradient(y, x) plt.plot(x, y, label='y') plt.plot(x, dy_dx, label='dy/dx') plt.legend() _ = plt.xlabel('x') Flow පාලනය මෙම ක්රියාකාරකම් ක්රියාත්මක කරන විට gradient tape ලියාපදිංචි වන නිසා, Python පාලනය ප්රවාහය ස්වාභාවිකව කටයුතු කරයි (උදාහරණයක් ලෙස, සහ ප් රකාශන ) if while මෙහිදී සෑම අංශයකම වෙනස් වෙනස්කම් භාවිතා වේ පරාසය භාවිතා කරන වෙනස්කම් වලට පමණක් සම්බන්ධ වේ: if x = tf.constant(1.0) v0 = tf.Variable(2.0) v1 = tf.Variable(2.0) with tf.GradientTape(persistent=True) as tape: tape.watch(x) if x > 0.0: result = v0 else: result = v1**2 dv0, dv1 = tape.gradient(result, [v0, v1]) print(dv0) print(dv1) tf.Tensor(1.0, shape=(), dtype=float32) None පාලනය ප්රකාශයන් තමන්ටම වෙනස් කළ නොහැකි බව මතක තබා ගන්න, එබැවින් ඔවුන් ප්රවර්ග මත පදනම් optimizers සඳහා නොපෙනෙනු ඇත. වටිනාකම මත පදනම්ව ඉහත උදාහරණයේ දී, ටැප් හෝ ලියාපදිංචි හෝ Gradient එක ගැන සෑම විටම . x result = v0 result = v1**2 x None dx = tape.gradient(result, x) print(dx) None මුල් වශයෙන් TensorFlow වෙබ් අඩවියේ ප්රකාශයට පත් කරන ලද මෙම ලිපිය මෙහි නව මාතෘකාවක් යටතේ පෙනී ඇත සහ CC BY 4.0 යටතේ බලපත්රයක් ඇත. මුල් වශයෙන් TensorFlow වෙබ් අඩවියේ ප්රකාශයට පත් කරන ලද මෙම ලිපිය මෙහි නව මාතෘකාවක් යටතේ පෙනී ඇත සහ CC BY 4.0 යටතේ බලපත්රයක් ඇත. TensorFlow TensorFlow