ຄວາມໄວການຝຶກອົບຮົມ TensorFlow ອັດຕະໂນມັດໂດຍ 50% ມີ Tricks TPU ນີ້

ການທົບທວນຄືນ Content ລະຫັດ QR ລະຫັດ QR ການຕິດຕັ້ງເຄື່ອງມື ອັດຕະໂນມັດ Distribution Strategy ປະເພດຂອງ TPUs ຊື່ຫຍໍ້ຂອງ : Keras Model ດາວນ໌ໂຫລດ Dataset ການຝຶກອົບຮົມຮູບແບບໂດຍໃຊ້ Keras High-Level API ຊື່ຫຍໍ້ຂອງ : Train the model using a custom training loop ການປັບປຸງຜົນປະໂຫຍດໂດຍໃຊ້ການເລີ່ມຕົ້ນຫຼາຍໃນ tf.function ຂັ້ນຕອນຕໍ່ໄປ ຄູ່ມືນີ້ສະແດງໃຫ້ເຫັນວິທີການປະຕິບັດການຝຶກອົບຮົມພື້ນຖານກ່ຽວກັບ ແລະ TPU Pods, ການຄຸ້ມຄອງຂອງອຸປະກອນ TPU ການເຊື່ອມຕໍ່ໂດຍອິນເຕີເນັດເຄືອຂ່າຍຄວາມໄວສູງພິເສດ, ມີ ການຝຶກອົບຮົມ Loops ການນໍາໃຊ້ Tensor Processing Unit (TPU) tf.keras TPUs ແມ່ນໂຄງປະກອບການເຊື່ອມໂລຫະທີ່ພັດທະນາໂດຍ Google (ASICs) ທີ່ຖືກນໍາໃຊ້ເພື່ອຄວາມໄວ້ວາງໃຈຂອງ workloads ການຝຶກອົບຮົມເຄື່ອງ. ປະເພດ , ແລະ . ຊື່ຫຍໍ້ຂອງ : Google Colab TPU ການຄົ້ນຄວ້າ Cloud ລະຫັດ QR ລະຫັດ QR ຫຼັງຈາກການເຮັດວຽກນີ້ notebook Colab, ໃຫ້ແນ່ໃຈວ່າ accelerator hardware ຂອງທ່ານແມ່ນ TPU ໂດຍການຄວບຄຸມ settings notebook ຂອງທ່ານ: ລະຫັດ QR ລະຫັດ QR ລະຫັດ QR . Runtime Change runtime type Hardware accelerator TPU ການອັບໂຫລດບັນຊີລາຍລະອຽດທີ່ຕ້ອງການ, ລວມທັງ TensorFlow Datasets: import tensorflow as tf import os import tensorflow_datasets as tfds 2023-06-09 12:13:32.486552: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Could not find TensorRT ການເລີ່ມຕົ້ນ TPU TPUs ແມ່ນປະເພດ ຜູ້ເຮັດວຽກ, ທີ່ແຕກຕ່າງກັນຈາກການປິ່ນປົວທາງອີເມວທີ່ເຮັດວຽກຂອງຜູ້ໃຊ້ Python. ດັ່ງນັ້ນ, ທ່ານຈໍາເປັນຕ້ອງເຮັດວຽກ initialization ຫຼາຍທີ່ຈະເຊື່ອມຕໍ່ກັບ cluster distant ແລະ initialize TPUs. ຂໍຂອບໃຈວ່າ ຄໍາຖາມ ຖ້າຫາກວ່າທ່ານກໍາລັງໃຊ້ລະຫັດຂອງທ່ານໃນ Google Compute Engine (GCE), ທ່ານຕ້ອງຂຽນໃນຊື່ຂອງ Cloud TPU ຂອງທ່ານ. ລະຫັດ QR tpu tf.distribute.cluster_resolver.TPUClusterResolver ຊື່ຫຍໍ້ຂອງ : TPU Initialization code must be at the beginning of your program ລະຫັດການເລີ່ມຕົ້ນຂອງ TPU ຈະມີຢູ່ໃນເລີ່ມຕົ້ນຂອງໂຄງການຂອງທ່ານ. Note: resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu='') tf.config.experimental_connect_to_cluster(resolver) # This is the TPU initialization code that has to be at the beginning. tf.tpu.experimental.initialize_tpu_system(resolver) print("All devices: ", tf.config.list_logical_devices('TPU')) INFO:tensorflow:Deallocate tpu buffers before initializing tpu system. 2023-06-09 12:13:34.011755: E tensorflow/compiler/xla/stream_executor/cuda/cuda_driver.cc:266] failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected INFO:tensorflow:Deallocate tpu buffers before initializing tpu system. INFO:tensorflow:Initializing the TPU system: grpc://10.25.167.66:8470 INFO:tensorflow:Initializing the TPU system: grpc://10.25.167.66:8470 INFO:tensorflow:Finished initializing TPU system. INFO:tensorflow:Finished initializing TPU system. All devices: [LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:0', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:1', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:2', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:3', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:4', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:5', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:6', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:7', device_type='TPU')] ການຕິດຕັ້ງເຄື່ອງມື ຫຼັງຈາກ TPU ແມ່ນ initialized, ທ່ານສາມາດນໍາໃຊ້ການຕິດຕັ້ງອຸປະກອນ manual ເພື່ອຕິດຕັ້ງການຄອມພິວເຕີໃນອຸປະກອນ TPU ຫນຶ່ງ: a = tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]]) b = tf.constant([[1.0, 2.0], [3.0, 4.0], [5.0, 6.0]]) with tf.device('/TPU:0'): c = tf.matmul(a, b) print("c device: ", c.device) print(c) c device: /job:worker/replica:0/task:0/device:TPU:0 tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32) ອັດຕະໂນມັດ Distribution Strategy ວິທີການຈັດການຮູບແບບຂອງທ່ານໃນຫຼາຍໆ TPUs (ເຊັ່ນດຽວກັນກັບຫຼາຍໆ GPUs ຫຼືຫຼາຍໆເຄື່ອງ), TensorFlow ສະຫນັບສະຫນູນ API. You can replace your distribution strategy and the model will run on any given (TPU) device. ຊອກຫາຂໍ້ມູນເພີ່ມເຕີມໃນ ຄູ່ມື tf.distribute.Strategy ການຝຶກອົບຮົມທີ່ມີ TensorFlow ການນໍາໃຊ້ ການຝຶກອົບຮົມ TPUs ສະຫນັບສະຫນູນການຝຶກອົບຮົມການຝຶກອົບຮົມ synchronous distributed. TPUs ສະຫນັບສະຫນູນການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມ . tf.distribute.TPUStrategy TPUStrategy ການສະແດງໃຫ້ເຫັນນີ້, ສ້າງ a ຄວາມຄິດເຫັນທີ່: tf.distribute.TPUStrategy strategy = tf.distribute.TPUStrategy(resolver) INFO:tensorflow:Found TPU system: INFO:tensorflow:Found TPU system: INFO:tensorflow:*** Num TPU Cores: 8 INFO:tensorflow:*** Num TPU Cores: 8 INFO:tensorflow:*** Num TPU Workers: 1 INFO:tensorflow:*** Num TPU Workers: 1 INFO:tensorflow:*** Num TPU Cores Per Worker: 8 INFO:tensorflow:*** Num TPU Cores Per Worker: 8 INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:localhost/replica:0/task:0/device:CPU:0, CPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:localhost/replica:0/task:0/device:CPU:0, CPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:CPU:0, CPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:CPU:0, CPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:0, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:0, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:1, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:1, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:2, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:2, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:3, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:3, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:4, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:4, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:5, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:5, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:6, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:6, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:7, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:7, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU_SYSTEM:0, TPU_SYSTEM, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU_SYSTEM:0, TPU_SYSTEM, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:XLA_CPU:0, XLA_CPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:XLA_CPU:0, XLA_CPU, 0, 0) ການຄາດຄະເນດິນດີຕ້ອນຮັບການຄາດຄະເນດິນດີຕ້ອນຮັບ API. ຫຼັງຈາກນີ້ແມ່ນຕົວຢ່າງທີ່ສະແດງໃຫ້ເຫັນວ່າທຸກ core ຂອງພວກເຮົາມີການເຂົ້າລະຫັດທີ່ແຕກຕ່າງກັນ ແລະປະຕິບັດການ multiplication matrix ກ່ຽວກັບທຸກ core ອັດຕະໂນມັດ. outputs ຈະເປັນຄຸນນະພາບຈາກທັງຫມົດ replicas. Strategy.run (a, b) @tf.function def matmul_fn(x, y): z = tf.matmul(x, y) return z z = strategy.run(matmul_fn, args=(a, b)) print(z) PerReplica:{ 0: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 1: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 2: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 3: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 4: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 5: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 6: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 7: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32) } ປະເພດຂອງ TPUs ຫຼັງຈາກການກວດສອບຄວາມຄິດສ້າງສັນພື້ນຖານ, ກະລຸນາກວດສອບຕົວຢ່າງທີ່ແຕກຕ່າງກັນ. ສ່ວນນີ້ demonstrates how to use the distribution strategy— ການຝຶກອົບຮົມ Keras ໃນ Cloud TPU. tf.distribute.TPUStrategy ຊື່ຫຍໍ້ຂອງ : Keras Model ຫນ້າທໍາອິດ / Definitions of a ໂມເລກຸນ Keras ສໍາລັບການຄັດເລືອກຮູບພາບໃນ MNIST Dataset. ມັນບໍ່ແຕກຕ່າງກັນກັບສິ່ງທີ່ທ່ານຈະນໍາໃຊ້ໃນເວລາທີ່ທ່ານໄດ້ຝຶກອົບຮົມກ່ຽວກັບ CPU ຫຼື GPUs. ກະລຸນາຮູ້ວ່າການສ້າງຮູບແບບ Keras ຕ້ອງການຢູ່ໃນ , ດັ່ງນັ້ນ variables ສາມາດໄດ້ຮັບການສ້າງຕັ້ງຂຶ້ນໃນແຕ່ລະອຽດອຸປະກອນ TPU. ສ່ວນອື່ນໆຂອງລະຫັດບໍ່ຈໍາເປັນຕ້ອງຢູ່ໃນ ລະຫັດ QR Sequential Strategy.scope Strategy def create_model(): return tf.keras.Sequential( [tf.keras.layers.Conv2D(256, 3, activation='relu', input_shape=(28, 28, 1)), tf.keras.layers.Conv2D(256, 3, activation='relu'), tf.keras.layers.Flatten(), tf.keras.layers.Dense(256, activation='relu'), tf.keras.layers.Dense(128, activation='relu'), tf.keras.layers.Dense(10)]) ດາວນ໌ໂຫລດ Dataset ການນໍາໃຊ້ປະສິດທິພາບຂອງ API ແມ່ນສໍາຄັນໃນເວລາທີ່ໃຊ້ Cloud TPU. ທ່ານສາມາດຊອກຫາຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບການປະຕິບັດຂອງ dataset ໃນ . tf.data.Dataset ການນໍາໃຊ້ Input Pipeline Performance ຖ້າຫາກວ່າທ່ານກໍາລັງໃຊ້ , ທ່ານຈໍາເປັນຕ້ອງອັບໂຫລດເອກະສານຂໍ້ມູນທັງຫມົດທີ່ຖືກອ່ານໂດຍ TensorFlow ປະເພດ ຖ້າຫາກວ່າທ່ານກໍາລັງໃຊ້ , ທ່ານສາມາດເກັບຂໍ້ມູນທີ່ທ່ານຕ້ອງການ. ສໍາລັບຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບ TPU Nodes ແລະ TPU VMs, ກະລຸນາເບິ່ງ ຂໍ້ມູນ ຊື່ຫຍໍ້ຂອງ : TPU Dataset ດາວໂຫລດ Google Cloud Storage (GCS) ຊື່ຫຍໍ້ຂອງ : VMs ລະບົບ TPU Architecture ໃນກໍລະນີຫຼາຍທີ່ສຸດຂອງການນໍາໃຊ້, ມັນຖືກນໍາສະເຫນີໃຫ້ການປ່ຽນແປງຂໍ້ມູນຂອງທ່ານໃນ format ແລະນໍາໃຊ້ a ດາວນ໌ໂຫລດ The ສໍາລັບຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບວິທີການເຮັດວຽກນີ້. ມັນບໍ່ແມ່ນຄວາມຕ້ອງການທີ່ເຂັ້ມແຂງແລະທ່ານສາມາດນໍາໃຊ້ຜູ້ອ່ານ dataset ອື່ນໆ, ເຊັ່ນ: ປະເພດ . TFRecord tf.data.TFRecordDataset TFRecord ແລະ tf.Example tutorials tf.data.FixedLengthRecordDataset tf.data.TextLineDataset ທ່ານສາມາດດາວໂຫລດຊຸດຂໍ້ມູນຂະຫນາດນ້ອຍທັງຫມົດໃນອຸປະກອນ . tf.data.Dataset.cache ຖ້າຫາກວ່າ format data ທີ່ຖືກນໍາໃຊ້, ມັນຖືກນໍາໃຊ້ຢ່າງກວ້າງຂວາງເພື່ອນໍາໃຊ້ເອກະສານຂະຫນາດໃຫຍ່ໃນລະດັບ 100MB. ນີ້ເປັນສິ່ງທີ່ສໍາຄັນຢ່າງກວ້າງຂວາງໃນສະຖານທີ່ເຄືອຂ່າຍນີ້, ໃນຂະນະທີ່ overhead of opening a file is significantly higher. ວິທີການນໍາໃຊ້ Tensorflow Datasets ໂມເລກຸນທີ່ຈະໄດ້ຮັບຕົວຢ່າງຂອງການຝຶກອົບຮົມ MNIST ແລະຂໍ້ມູນການທົດສອບ. ກະລຸນາຮູ້ວ່າ ການນໍາໃຊ້ໂຄສະນາທີ່ຖືກນໍາໃຊ້ໃນ bucket GCS public. If you don’t specify this, the TPU will not be able to access the downloaded data. tfds.load try_gcs def get_dataset(batch_size, is_training=True): split = 'train' if is_training else 'test' dataset, info = tfds.load(name='mnist', split=split, with_info=True, as_supervised=True, try_gcs=True) # Normalize the input data. def scale(image, label): image = tf.cast(image, tf.float32) image /= 255.0 return image, label dataset = dataset.map(scale) # Only shuffle and repeat the dataset in training. The advantage of having an # infinite dataset for training is to avoid the potential last partial batch # in each epoch, so that you don't need to think about scaling the gradients # based on the actual batch size. if is_training: dataset = dataset.shuffle(10000) dataset = dataset.repeat() dataset = dataset.batch(batch_size) return dataset ການຝຶກອົບຮົມຮູບແບບໂດຍໃຊ້ Keras High-Level API ທ່ານສາມາດຝຶກອົບຮົມຮູບແບບຂອງທ່ານທີ່ມີ Keras ແລະ APIs. There is nothing TPU-specific in this step — you write the code as if you were using multiple GPUs and a ໃນຖານະເປັນ ທ່ານສາມາດຊອກຫາຂໍ້ມູນເພີ່ມເຕີມໃນ ດາວໂຫລດ tutorial Model.fit Model.compile MirroredStrategy TPUStrategy ການຝຶກອົບຮົມທີ່ມີ Keras with strategy.scope(): model = create_model() model.compile(optimizer='adam', loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['sparse_categorical_accuracy']) batch_size = 200 steps_per_epoch = 60000 // batch_size validation_steps = 10000 // batch_size train_dataset = get_dataset(batch_size, is_training=True) test_dataset = get_dataset(batch_size, is_training=False) model.fit(train_dataset, epochs=5, steps_per_epoch=steps_per_epoch, validation_data=test_dataset, validation_steps=validation_steps) Epoch 1/5 300/300 [==============================] - 17s 32ms/step - loss: 0.1235 - sparse_categorical_accuracy: 0.9620 - val_loss: 0.0462 - val_sparse_categorical_accuracy: 0.9856 Epoch 2/5 300/300 [==============================] - 7s 24ms/step - loss: 0.0333 - sparse_categorical_accuracy: 0.9894 - val_loss: 0.0401 - val_sparse_categorical_accuracy: 0.9878 Epoch 3/5 300/300 [==============================] - 7s 24ms/step - loss: 0.0186 - sparse_categorical_accuracy: 0.9938 - val_loss: 0.0352 - val_sparse_categorical_accuracy: 0.9900 Epoch 4/5 300/300 [==============================] - 7s 25ms/step - loss: 0.0127 - sparse_categorical_accuracy: 0.9957 - val_loss: 0.0482 - val_sparse_categorical_accuracy: 0.9879 Epoch 5/5 300/300 [==============================] - 7s 24ms/step - loss: 0.0111 - sparse_categorical_accuracy: 0.9962 - val_loss: 0.0448 - val_sparse_categorical_accuracy: 0.9894 ເພື່ອຫຼຸດຜ່ອນການ overhead Python ແລະເລີ່ມຕົ້ນການເຮັດວຽກຂອງ TPU ຂອງທ່ານ, ກະລຸນາຂ້າງລຸ່ມນີ້ ຄວາມຄິດເຫັນທີ່ Keras ໃນປະເພດນີ້, ມັນເພີ່ມການຂົນສົ່ງໂດຍປະມານ 50%: steps_per_execution Model.compile with strategy.scope(): model = create_model() model.compile(optimizer='adam', # Anything between 2 and `steps_per_epoch` could help here. steps_per_execution = 50, loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['sparse_categorical_accuracy']) model.fit(train_dataset, epochs=5, steps_per_epoch=steps_per_epoch, validation_data=test_dataset, validation_steps=validation_steps) Epoch 1/5 300/300 [==============================] - 14s 45ms/step - loss: 0.1306 - sparse_categorical_accuracy: 0.9591 - val_loss: 0.0420 - val_sparse_categorical_accuracy: 0.9863 Epoch 2/5 300/300 [==============================] - 3s 10ms/step - loss: 0.0333 - sparse_categorical_accuracy: 0.9900 - val_loss: 0.0502 - val_sparse_categorical_accuracy: 0.9846 Epoch 3/5 300/300 [==============================] - 3s 10ms/step - loss: 0.0193 - sparse_categorical_accuracy: 0.9936 - val_loss: 0.0406 - val_sparse_categorical_accuracy: 0.9879 Epoch 4/5 300/300 [==============================] - 3s 10ms/step - loss: 0.0135 - sparse_categorical_accuracy: 0.9955 - val_loss: 0.0416 - val_sparse_categorical_accuracy: 0.9882 Epoch 5/5 300/300 [==============================] - 3s 10ms/step - loss: 0.0110 - sparse_categorical_accuracy: 0.9962 - val_loss: 0.0463 - val_sparse_categorical_accuracy: 0.9882 ຊື່ຫຍໍ້ຂອງ : Train the model using a custom training loop ທ່ານຍັງສາມາດສ້າງແລະຝຶກອົບຮົມຮູບແບບຂອງທ່ານໂດຍໃຊ້ ແລະ APIs ອັດຕະໂນມັດ. ທ່ານສາມາດນໍາໃຊ້ API ເພື່ອສົ່ງເສີມ ໃນຖານະເປັນບໍລິສັດຂອງພວກເຮົາ, ພວກເຮົາມີຄວາມເປັນສ່ວນບຸກຄົນ, ຜູ້ຊ່ຽວຊານໃນການຄົ້ນຄວ້າແລະການຄົ້ນຄວ້າຂອງພວກເຮົາ. ແມ່ນຂະຫນາດ batch per replica ໃນຂະນະທີ່ຂະຫນາດ batch ໃນທົ່ວໂລກ. ເພື່ອຊອກຫາຂໍ້ມູນເພີ່ມເຕີມ, ດາວນ໌ໂຫລດ ດາວໂຫລດ tutorial tf.function tf.distribute Strategy.experimental_distribute_datasets_from_function tf.data.Dataset Dataset ການຝຶກອົບຮົມ Custom tf.distribute.Strategy ຫນ້າທໍາອິດ, ສ້າງຮູບແບບ, datasets ແລະ ລະຫັດ QR tf.function # Create the model, optimizer and metrics inside the `tf.distribute.Strategy` # scope, so that the variables can be mirrored on each device. with strategy.scope(): model = create_model() optimizer = tf.keras.optimizers.Adam() training_loss = tf.keras.metrics.Mean('training_loss', dtype=tf.float32) training_accuracy = tf.keras.metrics.SparseCategoricalAccuracy( 'training_accuracy', dtype=tf.float32) # Calculate per replica batch size, and distribute the `tf.data.Dataset`s # on each TPU worker. per_replica_batch_size = batch_size // strategy.num_replicas_in_sync train_dataset = strategy.experimental_distribute_datasets_from_function( lambda _: get_dataset(per_replica_batch_size, is_training=True)) @tf.function def train_step(iterator): """The step function for one training step.""" def step_fn(inputs): """The computation to run on each TPU device.""" images, labels = inputs with tf.GradientTape() as tape: logits = model(images, training=True) loss = tf.keras.losses.sparse_categorical_crossentropy( labels, logits, from_logits=True) loss = tf.nn.compute_average_loss(loss, global_batch_size=batch_size) grads = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(list(zip(grads, model.trainable_variables))) training_loss.update_state(loss * strategy.num_replicas_in_sync) training_accuracy.update_state(labels, logits) strategy.run(step_fn, args=(next(iterator),)) WARNING:tensorflow:From /tmpfs/tmp/ipykernel_9094/1509474074.py:14: StrategyBase.experimental_distribute_datasets_from_function (from tensorflow.python.distribute.distribute_lib) is deprecated and will be removed in a future version. Instructions for updating: rename to distribute_datasets_from_function WARNING:tensorflow:From /tmpfs/tmp/ipykernel_9094/1509474074.py:14: StrategyBase.experimental_distribute_datasets_from_function (from tensorflow.python.distribute.distribute_lib) is deprecated and will be removed in a future version. Instructions for updating: rename to distribute_datasets_from_function ຫຼັງຈາກນັ້ນ, ດໍາເນີນການ loop ການຝຶກອົບຮົມ: steps_per_eval = 10000 // batch_size train_iterator = iter(train_dataset) for epoch in range(5): print('Epoch: {}/5'.format(epoch)) for step in range(steps_per_epoch): train_step(train_iterator) print('Current step: {}, training loss: {}, accuracy: {}%'.format( optimizer.iterations.numpy(), round(float(training_loss.result()), 4), round(float(training_accuracy.result()) * 100, 2))) training_loss.reset_states() training_accuracy.reset_states() Epoch: 0/5 Current step: 300, training loss: 0.1465, accuracy: 95.4% Epoch: 1/5 Current step: 600, training loss: 0.035, accuracy: 98.94% Epoch: 2/5 Current step: 900, training loss: 0.0197, accuracy: 99.39% Epoch: 3/5 Current step: 1200, training loss: 0.0126, accuracy: 99.59% Epoch: 4/5 Current step: 1500, training loss: 0.0109, accuracy: 99.64% ການປັບປຸງຜົນປະໂຫຍດໂດຍຜ່ານການເລີ່ມຕົ້ນຫຼາຍໃນ tf.function ທ່ານສາມາດປັບປຸງຜົນປະໂຫຍດໂດຍໃຊ້ການປະຕິບັດການຫຼາຍກ່ວາຫນຶ່ງ ມັນໄດ້ຖືກປັບປຸງໂດຍການເຊື່ອມຕໍ່ກັບ ຊື່ຫຍໍ້ຂອງ : A ຫນ້າທໍາອິດ , ແລະ AutoGraph ເຮັດໃຫ້ມັນເປັນ a ກ່ຽວກັບຜູ້ເຮັດວຽກ TPU. ທ່ານສາມາດອ່ານເພີ່ມເຕີມກ່ຽວກັບ S ໃນ ຄູ່ມື tf.function Strategy.run tf.range tf.function tf.while_loop tf.function ການປະຕິບັດທີ່ດີກວ່າກັບ tf.function ຫຼັງຈາກການປັບປຸງຄຸນນະພາບຂອງການເຮັດວຽກ, ມີການຕັດສິນໃຈກັບການນໍາໃຊ້ methode ນີ້ compared to running a single step inside a ດາວນ໌ໂຫລດ Multiple Steps in A ແມ່ນບໍ່ມີປະສິດທິພາບ – ທ່ານບໍ່ສາມາດເຮັດວຽກຢ່າງວ່ອງໄວຫຼືລະຫັດ Python ຄຸນນະສົມບັດໃນລະຫັດ. tf.function tf.function @tf.function def train_multiple_steps(iterator, steps): """The step function for one training step.""" def step_fn(inputs): """The computation to run on each TPU device.""" images, labels = inputs with tf.GradientTape() as tape: logits = model(images, training=True) loss = tf.keras.losses.sparse_categorical_crossentropy( labels, logits, from_logits=True) loss = tf.nn.compute_average_loss(loss, global_batch_size=batch_size) grads = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(list(zip(grads, model.trainable_variables))) training_loss.update_state(loss * strategy.num_replicas_in_sync) training_accuracy.update_state(labels, logits) for _ in tf.range(steps): strategy.run(step_fn, args=(next(iterator),)) # Convert `steps_per_epoch` to `tf.Tensor` so the `tf.function` won't get # retraced if the value changes. train_multiple_steps(train_iterator, tf.convert_to_tensor(steps_per_epoch)) print('Current step: {}, training loss: {}, accuracy: {}%'.format( optimizer.iterations.numpy(), round(float(training_loss.result()), 4), round(float(training_accuracy.result()) * 100, 2))) Current step: 1800, training loss: 0.009, accuracy: 99.72% ຂັ້ນຕອນຕໍ່ໄປ ເພື່ອຊອກຫາຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບ Cloud TPUs ແລະວິທີການນໍາໃຊ້ມັນ: ຫນ້າທໍາອິດຂອງ Google Cloud TPU : Google Cloud TPU documentation, which includes: Google Cloud TPU documentation : An overview of working with Cloud TPUs. Introduction to Cloud TPU : Quickstart introductions to working with Cloud TPU VMs using TensorFlow and other main machine learning frameworks. Cloud TPU quickstarts ຊື່ຫຍໍ້ຂອງ : Google Cloud TPU Colab Notebooks: End-to-end training examples ຄູ່ມືການປະສິດທິພາບຂອງ Google Cloud TPU: ການປັບປຸງການປະສິດທິພາບຂອງ Cloud TPU ໂດຍການປິ່ນປົວຄໍາຮ້ອງສະຫມັກຂອງທ່ານ Cloud TPU Configuration Parameters ການຝຶກອົບຮົມທີ່ມີ TensorFlow: ວິທີການນໍາໃຊ້ສະຖານທີ່ການຝຶກອົບຮົມ - ລວມທັງ tf.distribute.TPUStrategy - ມີຕົວຢ່າງທີ່ສະແດງໃຫ້ເຫັນວິທີການທີ່ດີທີ່ສຸດ. ການເຊື່ອມຕໍ່ TPU: TensorFlow ມີການສະຫນັບສະຫນູນຜູ້ຊ່ຽວຊານສໍາລັບການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ການເຊື່ອມ TPU Research Cloud (TRC): TRC ສະຫນັບສະຫນູນຜູ້ຊ່ຽວຊານໃນການນໍາໃຊ້ການເຂົ້າເຖິງ cluster ຂອງຫຼາຍກ່ວາ 1,000 ອຸປະກອນ Cloud TPU. ຫນ້າທໍາອິດທີ່ຜ່ານມາໃນເວັບໄຊທ໌ TensorFlow, ເອກະສານນີ້ສະແດງໃຫ້ເຫັນຢູ່ໃນເວັບໄຊທ໌ນີ້ພາຍໃຕ້ຊື່ໃຫມ່ແລະໄດ້ຮັບອະນຸຍາດໂດຍ CC BY 4.0. ຫນ້າທໍາອິດທີ່ຜ່ານມາໃນເວັບໄຊທ໌ TensorFlow, ເອກະສານນີ້ສະແດງໃຫ້ເຫັນຢູ່ໃນເວັບໄຊທ໌ນີ້ພາຍໃຕ້ຊື່ໃຫມ່ແລະໄດ້ຮັບອະນຸຍາດໂດຍ CC BY 4.0. ປະເພດ TensorFlow ປະເພດ TensorFlow