TensorFlow 2 дээр чист код бичэх зөвлөмжүүд

Бүтээгдэхүүн Overview Үзүүлэлт Баримтлал Idiomatic TensorFlow 2 нь зөвлөмжүүд Хамгийн бага модулийг шифрлэдэг код зарим tf.keras.optimizers-ийн стандарт суралцах хурдыг тохируулах Tf.Modules болон Keras хавтгай хэрэглэнэ. Tf.data.Datasets болон tf.function нь нэгтгэсэн Keras сургалт хоолой ашиглах Түлхүүр үг: Customize training and write your own loop Tf.function нь Python хяналтын дамжуулалтыг ашиглан ашиглах Шинэ загварын метрик болон шатанд Үнэлгээ Tf.Tensors таны зүйлс дотор хадгалаарай Ресурс болон дэлгэрэнгүй унших Overview Энэ гарын авлага нь TensorFlow 2 (TF2) ашиглан ширээний ширээний хамгийн сайн практик жагсаалтыг санал болгож байна. Энэ гарын авлага нь TensorFlow 1 (TF1)-ээс шинэчлэгдсэн хэрэглэгчдэд зориулагдсан. Та өөрийн TF1 код TF2 руу миграцийг талаар дэлгэрэнгүй мэдээлэл авах. migrate гарын авлага Баримтлал Импорт TensorFlow болон бусад түншүүд энэ гарын авлага дахь жишээ нь. import tensorflow as tf import tensorflow_datasets as tfds 2023-10-04 01:22:53.526066: E tensorflow/compiler/xla/stream_executor/cuda/cuda_dnn.cc:9342] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2023-10-04 01:22:53.526110: E tensorflow/compiler/xla/stream_executor/cuda/cuda_fft.cc:609] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2023-10-04 01:22:53.526158: E tensorflow/compiler/xla/stream_executor/cuda/cuda_blas.cc:1518] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered Idiomatic TensorFlow 2 нь зөвлөмжүүд Хамгийн бага модулийг шифрлэдэг код Хамгийн сайн гүйцэтгэлийн хувьд, та хамгийн том компьютерийн блокүүд нь танд боломжийг олгодог. (Багцсан python функц гэж нэрлэдэг өөр өөр декорацийг ашиглахыг хүсэж байгаа бол, өөр өөр декорацийг шаардлагагүй Загвар нь ). Таны хэрэглээний тохиолдолд хамаарна, энэ нь хэд хэдэн сургалтын шатанд, эсвэл тэр ч байтугай таны бүх сургалтын хоолой байж болно. Сургалтын хэрэглээний тохиолдолд энэ нь нэг загварын унадаг хоолой байж болно. tf.function tf.function jit_compile tf.function Загварын түвшинд өөр өөр өөр өөр өөрчилж s tf.keras.optimizer Зарим Keras оптимизаторууд нь TF2-д янз бүрийн суралцах түвшинд байдаг. Хэрэв та өөрийн загваруудтай конвергенцийн үйл явдлын өөрчлөлтийг харж байгаа бол суралцах түвшин шалгаарай. ямар ч өөрчлөлтийг Нөхцөл эсвэл . optimizers.SGD optimizers.Adam optimizers.RMSprop Дараа нь суулгасан суралцах түвшинд өөрчлөгдсөн байна: optimizers.Adagrad нь 0.01 нь 0.001 from to optimizers.Adadelta 1.0 0.001 optimizers.Adamax нь 0.002 нь 0.001 optimizers.Nadam нь 0.002 нь 0.001 Үйлчилгээ S болон Keras давхарга нь өөрчлөн удирдах tf.Module S болон Тавтай морилно уу Нөхцөл өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрчлөн өөрч tf.Module tf.keras.layers.Layer variables trainable_variables Keras layers/models inherit from Энэ нь integrated with , энэ нь шууд Checkout, эсвэл экспортын боломжийг олгодог SavedModels from Keras Objects. Та Keras ашиглах хэрэгтэй биш юм API to take advantage of these integrations. tf.train.Checkpointable @tf.function Model.fit Read the section on Керасын гарын авлага нь Керасын ашиглан холбоотой өөрчлөнүүдийн дор бүтэц цуглуулах талаар сурах болно. Transfer Learning болон Fine-Tuning Бүтээгдэхүүн S болон tf.data.Dataset tf.function Нөхцөл Бүтээгдэхүүн ( ) predefined datasets татаж авах хэрэгсэл агуулдаг Objects. Энэ жишээ нь, та MNIST өгөгдлийн цуглуулах : TensorFlow өгөгдлийн багц tfds tf.data.Dataset tfds datasets, info = tfds.load(name='mnist', with_info=True, as_supervised=True) mnist_train, mnist_test = datasets['train'], datasets['test'] 2023-10-04 01:22:57.406511: W tensorflow/core/common_runtime/gpu/gpu_device.cc:2211] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform. Skipping registering GPU devices... Дараа нь сургалт хийхын тулд өгөгдлийг бэлтгэх: Бүх зураг өөрчилж. Shuffle the order of the examples. Хувилагч зураг, эмблемүүд цуглуулах. BUFFER_SIZE = 10 # Use a much larger value for real code BATCH_SIZE = 64 NUM_EPOCHS = 5 def scale(image, label): image = tf.cast(image, tf.float32) image /= 255 return image, label Жишээ нь, өгөгдлийн бүтэц нь зөвхөн 5 бааз дамжуулахын тулд хуваалцах: train_data = mnist_train.map(scale).shuffle(BUFFER_SIZE).batch(BATCH_SIZE) test_data = mnist_test.map(scale).batch(BATCH_SIZE) STEPS_PER_EPOCH = 5 train_data = train_data.take(STEPS_PER_EPOCH) test_data = test_data.take(STEPS_PER_EPOCH) image_batch, label_batch = next(iter(train_data)) 2023-10-04 01:22:58.048011: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. Өнгөрсөн Python итертацийг ашиглана уу. Үнэндээ, хамгийн сайн арга замыг дискээс сургалтын өгөгдлийг дамжуулах юм. , болон бусад Python iterables гэх мэт үйл ажиллагаа явуулж болно. Та өгөгдлийн цуврал async prefetching / streaming функцийг бүрэн ашиглаж болно. , Энэ нь Python итеррацийг AutoGraph ашиглан эквивалент график операцийг өөрчилж байна. tf.data.Dataset Iterables (Итераторууд биш) tf.function @tf.function def train(model, dataset, optimizer): for x, y in dataset: with tf.GradientTape() as tape: # training=True is only needed if there are layers with different # behavior during training versus inference (e.g. Dropout). prediction = model(x, training=True) loss = loss_fn(prediction, y) gradients = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(zip(gradients, model.trainable_variables)) If you use the Keras API, Та өгөгдлийн багц итеррацийг туршиж байх ёстой. Model.fit model.compile(optimizer=optimizer, loss=loss_fn) model.fit(dataset) Use Keras training loops Хэрэв та таны сургалтын үйл явц нь бага түвшин хяналтанд шаардлагагүй бол, Keras-ийг ашиглах Нөхцөл Үнэгүй Эдгээр арга замыг санал болгож байна. Эдгээр арга замыг хэрэглээн (загварын, функц, дор-классирован) байлгах нь загварыг сургах нь нэгтгэсэн интерфэйс санал болгож байна. fit evaluate predict Эдгээр арга хэрэгсэлүүдийн боломжууд нь: Тэд Numpy Array, Python генератор, tf.data.Datasets дэмждэг. Тэд нормализацид ашиглаж, идэвхжүүлэх алдаа нь автомат. Тэд tf.distribute-ийг дэмждэг бөгөөд сургалтын код нь харьцангуй конфигурацийг хамаарна. Тэд гуравдагч гэж нэрлэдэг гэж дэмждэг, метрик. They support callbacks like , and custom callbacks. tf.keras.callbacks.TensorBoard They are performant, automatically using TensorFlow graphs. Энд нь сургалтын загвар ашиглан a . For details on how this works, check out the . Dataset tutorials model = tf.keras.Sequential([ tf.keras.layers.Conv2D(32, 3, activation='relu', kernel_regularizer=tf.keras.regularizers.l2(0.02), input_shape=(28, 28, 1)), tf.keras.layers.MaxPooling2D(), tf.keras.layers.Flatten(), tf.keras.layers.Dropout(0.1), tf.keras.layers.Dense(64, activation='relu'), tf.keras.layers.BatchNormalization(), tf.keras.layers.Dense(10) ]) # Model is the full model w/o custom layers model.compile(optimizer='adam', loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['accuracy']) model.fit(train_data, epochs=NUM_EPOCHS) loss, acc = model.evaluate(test_data) print("Loss {}, Accuracy {}".format(loss, acc)) Epoch 1/5 5/5 [==============================] - 2s 44ms/step - loss: 1.6644 - accuracy: 0.4906 Epoch 2/5 2023-10-04 01:22:59.569439: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. 5/5 [==============================] - 0s 9ms/step - loss: 0.5173 - accuracy: 0.9062 Epoch 3/5 2023-10-04 01:23:00.062308: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. 5/5 [==============================] - 0s 9ms/step - loss: 0.3418 - accuracy: 0.9469 Epoch 4/5 2023-10-04 01:23:00.384057: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. 5/5 [==============================] - 0s 8ms/step - loss: 0.2707 - accuracy: 0.9781 Epoch 5/5 2023-10-04 01:23:00.766486: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. 5/5 [==============================] - 0s 8ms/step - loss: 0.2195 - accuracy: 0.9812 2023-10-04 01:23:01.120149: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. 5/5 [==============================] - 0s 4ms/step - loss: 1.6036 - accuracy: 0.6250 Loss 1.6036441326141357, Accuracy 0.625 2023-10-04 01:23:01.572685: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. Түлхүүр үг: Customize training and write your own loop Хэрэв Keras загварууд таныг ажиллаж байгаа боловч таны сургалтын шатанд, эсвэл гадна сургалтын хоолойд илүү гүнзгий, хяналт хэрэгтэй бол өөрийн сургалтын хоолой, эсвэл ч байтугай бүх сургалтын хоолойг гүйцэтгэх боломжтой. Дэлгэрэнгүй Бүтээгдэхүүн fit Та бас олон зүйлс ашиглаж болно a . tf.keras.callbacks.Callback Энэ арга хэрэгсэл нь олон ашигтай байдаг , but gives you control of the train step and even the outer loop. mentioned previously Стандарт сургалтын хоорондын хувьд гурван арга зам байдаг: Iterate over a Python generator or to get batches of examples. tf.data.Dataset Tf.GradientTape gradients цуглуулахын тулд ашиглах. Use one of the to apply weight updates to the model's variables. tf.keras.optimizers Татаж авах: Өргөтгөсөн давхарга болон загварыг зочилж арга хэрэгсэл нь үргэлж сургалтын аргумент агуулдаг.Always include a training argument on the call method of subclassed layers and models. Судалгааны аргумент тохирсон загварууд нь зөв гэж нэрлэдэг. Хэрэглээний дагуу, загварын өөрчлөнүүд нь загварыг өгөгдлийн цуврал дээр ажиллуулах хүртэл байдаггүй байж болох юм. Та загваруудын хувьд нормализацийн ачаалал гэх мэт зүйлсийг мануал хандах хэрэгтэй. Хязгаарлагдмал Initializer-ийг ажиллуулах, эсвэл мануаль хяналтын түлхүүр нэмэх шаардлагатай биш юм. Автомат хяналтын түншүүд, өөрчилсөн Initialization нь таны хувьд үүсгэх болно. tf.function model = tf.keras.Sequential([ tf.keras.layers.Conv2D(32, 3, activation='relu', kernel_regularizer=tf.keras.regularizers.l2(0.02), input_shape=(28, 28, 1)), tf.keras.layers.MaxPooling2D(), tf.keras.layers.Flatten(), tf.keras.layers.Dropout(0.1), tf.keras.layers.Dense(64, activation='relu'), tf.keras.layers.BatchNormalization(), tf.keras.layers.Dense(10) ]) optimizer = tf.keras.optimizers.Adam(0.001) loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True) @tf.function def train_step(inputs, labels): with tf.GradientTape() as tape: predictions = model(inputs, training=True) regularization_loss=tf.math.add_n(model.losses) pred_loss=loss_fn(labels, predictions) total_loss=pred_loss + regularization_loss gradients = tape.gradient(total_loss, model.trainable_variables) optimizer.apply_gradients(zip(gradients, model.trainable_variables)) for epoch in range(NUM_EPOCHS): for inputs, labels in train_data: train_step(inputs, labels) print("Finished epoch", epoch) 2023-10-04 01:23:02.652222: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. Finished epoch 0 2023-10-04 01:23:02.957452: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. Finished epoch 1 2023-10-04 01:23:03.632425: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. Finished epoch 2 2023-10-04 01:23:03.877866: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. Finished epoch 3 Finished epoch 4 2023-10-04 01:23:04.197488: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. Зөвлөгөө with Python control flow tf.function provides a way to convert data-dependent control flow into graph-mode equivalents like and . tf.function tf.cond tf.while_loop Бүтээгдэхүүний талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи. wraps an RNN cell, allowing you to either statically or dynamically unroll the recurrence. As an example, you could reimplement dynamic unroll as follows. tf.keras.layers.RNN class DynamicRNN(tf.keras.Model): def __init__(self, rnn_cell): super(DynamicRNN, self).__init__(self) self.cell = rnn_cell @tf.function(input_signature=[tf.TensorSpec(dtype=tf.float32, shape=[None, None, 3])]) def call(self, input_data): # [batch, time, features] -> [time, batch, features] input_data = tf.transpose(input_data, [1, 0, 2]) timesteps = tf.shape(input_data)[0] batch_size = tf.shape(input_data)[1] outputs = tf.TensorArray(tf.float32, timesteps) state = self.cell.get_initial_state(batch_size = batch_size, dtype=tf.float32) for i in tf.range(timesteps): output, state = self.cell(input_data[i], state) outputs = outputs.write(i, output) return tf.transpose(outputs.stack(), [1, 0, 2]), state lstm_cell = tf.keras.layers.LSTMCell(units = 13) my_rnn = DynamicRNN(lstm_cell) outputs, state = my_rnn(tf.random.normal(shape=[10,20,3])) print(outputs.shape) (10, 20, 13) Read the Дэлгэрэнгүй мэдээллийг гарын авлага. tf.function Шинэ загварын метрик болон шатанд Metrics and losses are both objects that work eagerly and in s. tf.function A loss object is callable, and expects ( Нөхцөл ) as arguments: y_true y_pred cce = tf.keras.losses.CategoricalCrossentropy(from_logits=True) cce([[1, 0]], [[-1.0,3.0]]).numpy() 4.01815 Use metrics to collect and display data You can use to aggregate data and to log summaries and redirect it to a writer using a context manager. The summaries are emitted directly to the writer which means that you must provide the Callsite дээр үнэ цэнэтэй. tf.metrics tf.summary step summary_writer = tf.summary.create_file_writer('/tmp/summaries') with summary_writer.as_default(): tf.summary.scalar('loss', 0.1, step=42) Үйлчилгээ Бүтээгдэхүүний талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи. method (such as ). Clear акумулируулсан үнэ нь . tf.metrics result Mean.result Model.reset_states def train(model, optimizer, dataset, log_freq=10): avg_loss = tf.keras.metrics.Mean(name='loss', dtype=tf.float32) for images, labels in dataset: loss = train_step(model, optimizer, images, labels) avg_loss.update_state(loss) if tf.equal(optimizer.iterations % log_freq, 0): tf.summary.scalar('loss', avg_loss.result(), step=optimizer.iterations) avg_loss.reset_states() def test(model, test_x, test_y, step_num): # training=False is only needed if there are layers with different # behavior during training versus inference (e.g. Dropout). loss = loss_fn(model(test_x, training=False), test_y) tf.summary.scalar('loss', loss, step=step_num) train_summary_writer = tf.summary.create_file_writer('/tmp/summaries/train') test_summary_writer = tf.summary.create_file_writer('/tmp/summaries/test') with train_summary_writer.as_default(): train(model, optimizer, dataset) with test_summary_writer.as_default(): test(model, test_x, test_y, optimizer.iterations) TensorBoard-ийг нийтлэл дөрвөлжин каталогд харуулна уу.Visualize the generated summaries by pointing to the summary log directory: tensorboard --logdir /tmp/summaries ашиглах API нь TensorBoard-д визуализацийг зориулсан самбар өгөгдлийг бичдэг. Дэлгэрэнгүй мэдээллийг үзнэ үү guide. tf.summary tf.summary # Create the metrics loss_metric = tf.keras.metrics.Mean(name='train_loss') accuracy_metric = tf.keras.metrics.SparseCategoricalAccuracy(name='train_accuracy') @tf.function def train_step(inputs, labels): with tf.GradientTape() as tape: predictions = model(inputs, training=True) regularization_loss=tf.math.add_n(model.losses) pred_loss=loss_fn(labels, predictions) total_loss=pred_loss + regularization_loss gradients = tape.gradient(total_loss, model.trainable_variables) optimizer.apply_gradients(zip(gradients, model.trainable_variables)) # Update the metrics loss_metric.update_state(total_loss) accuracy_metric.update_state(labels, predictions) for epoch in range(NUM_EPOCHS): # Reset the metrics loss_metric.reset_states() accuracy_metric.reset_states() for inputs, labels in train_data: train_step(inputs, labels) # Get the metric results mean_loss=loss_metric.result() mean_accuracy = accuracy_metric.result() print('Epoch: ', epoch) print(' loss: {:.3f}'.format(mean_loss)) print(' accuracy: {:.3f}'.format(mean_accuracy)) 2023-10-04 01:23:05.220607: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. Epoch: 0 loss: 0.176 accuracy: 0.994 2023-10-04 01:23:05.554495: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. Epoch: 1 loss: 0.153 accuracy: 0.991 2023-10-04 01:23:06.043597: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. Epoch: 2 loss: 0.134 accuracy: 0.994 2023-10-04 01:23:06.297768: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. Epoch: 3 loss: 0.108 accuracy: 1.000 Epoch: 4 loss: 0.095 accuracy: 1.000 2023-10-04 01:23:06.678292: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. Метрикийн нэр Keras models are consistent about handling metric names. When you pass a string in the list of metrics, that string is used as the metric's Эдгээр нэрүүд нь историйн объектонд харуулж байна , and in the logs passed to . is set to the string you passed in the metric list. . . нь метрикийн жагсаалттай. Үнэгүй name model.fit keras.callbacks model.compile( optimizer = tf.keras.optimizers.Adam(0.001), loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics = ['acc', 'accuracy', tf.keras.metrics.SparseCategoricalAccuracy(name="my_accuracy")]) history = model.fit(train_data) 5/5 [==============================] - 1s 9ms/step - loss: 0.1077 - acc: 0.9937 - accuracy: 0.9937 - my_accuracy: 0.9937 2023-10-04 01:23:07.849601: W tensorflow/core/kernels/data/cache_dataset_ops.cc:854] The calling iterator did not fully read the dataset being cached. In order to avoid unexpected truncation of the dataset, the partially cached contents of the dataset will be discarded. This can happen if you have an input pipeline similar to `dataset.cache().take(k).repeat()`. You should use `dataset.take(k).cache().repeat()` instead. history.history.keys() dict_keys(['loss', 'acc', 'accuracy', 'my_accuracy']) Үнэлгээ Ажлын гүйцэтгэлийн ашиглан ширээ, өгөгдлийн төрөл, түвшин шалгана уу. Зарим API-ийг, гэх мэт Нөхцөл , гэх мэт график гүйцэтгэл, дамжуулалтыг ашиглах зорилготой байна. Debugging үед Эдгээр кодыг ашиглахыг хүсч байна. tf.function tf.keras tf.config.run_functions_eagerly(True) Жишээ нь: @tf.function def f(x): if x > 0: import pdb pdb.set_trace() x = x + 1 return x tf.config.run_functions_eagerly(True) f(tf.constant(1)) >>> f() -> x = x + 1 (Pdb) l 6 @tf.function 7 def f(x): 8 if x > 0: 9 import pdb 10 pdb.set_trace() 11 -> x = x + 1 12 return x 13 14 tf.config.run_functions_eagerly(True) 15 f(tf.constant(1)) [EOF] Энэ нь Keras загварууд болон бусад API-ийн дотор ажилладаг бөгөөд энэ нь алдартай гүйцэтгэл дэмждэг: class CustomModel(tf.keras.models.Model): @tf.function def call(self, input_data): if tf.reduce_mean(input_data) > 0: return input_data else: import pdb pdb.set_trace() return input_data // 2 tf.config.run_functions_eagerly(True) model = CustomModel() model(tf.constant([-2, -4])) >>> call() -> return input_data // 2 (Pdb) l 10 if tf.reduce_mean(input_data) > 0: 11 return input_data 12 else: 13 import pdb 14 pdb.set_trace() 15 -> return input_data // 2 16 17 18 tf.config.run_functions_eagerly(True) 19 model = CustomModel() 20 model(tf.constant([-2, -4])) Notes: methods such as , , and execute as with under the hood. tf.keras.Model fit evaluate predict graphs tf.function tf.keras.Model.compile-ийг ашиглах үед run_eagerly = True-ийг tf.function-д багцуулахын тулд Model logic-ийг суулгахын тулд тохируулах. Use to enable the debug mode for . Read the for more details. tf.data.experimental.enable_debug_mode tf.data API docs Do not keep in your objects tf.Tensors Эдгээр tensor объектүүд нь эсвэл а эсвэл насанд хүрэгчдэд зориулсан контекстд, эдгээр насанд хүрэгчдэд өөр хэлбэрээр ажилладаг. s only for intermediate values. tf.function tf.Tensor Захиалга хийх, ашиглах s as they are always usable from both contexts. Read the guide to learn more. tf.Variable tf.Variable Ресурс болон дэлгэрэнгүй унших TF2 гарын авлага, суралцах талаар дэлгэрэнгүй мэдээллийг TF2 ашиглах талаар унших. If you previously used TF1.x, it is highly recommended you migrate your code to TF2. Read the to learn more. migration guides Эхлээд TensorFlow вэбсайт дээр хуваалцах, Энэ нийтлэл нь шинэ нэрээр харуулсан бөгөөд CC BY 4.0-ийн дагуу лицензтай. Apache 2.0 Лиценз дагуу хуваалцах код дээж. Originally published on the website, this article appears here under a new headline and is licensed under CC BY 4.0. Code samples shared under the Apache 2.0 License. TensorFlow TensorFlow TensorFlow