გააუმჯობესეთ TensorFlow სასწავლო სიჩქარე 50% ამ TPU Tricks

Content მიმოხილვა კონტაქტი TPU დაწყება » მობილური მოწყობილობები Distribution სტრატეგიები კონფიგურაცია TPUs Keras მოდელი ჩამოტვირთვა Dataset ტრენინგი მოდელი გამოყენებით Keras მაღალი დონე API Train the model გამოყენებით custom training loop გააუმჯობესება შესრულება მრავალფეროვანი ნაბიჯებში tf.function- ში შემდეგი ნაბიჯები ეს მიმოხილვა განიხილავს, თუ როგორ უნდა გააკეთოთ ძირითადი სასწავლო და TPU Pods, კომპლექტი TPU მოწყობილობები, რომელიც დაკავშირებულია სპეციალური მაღალი სიჩქარით ქსელის ინტერფეისი, ერთად კლასიკური სასწავლო loops. Tensor Processing Units (TPU) - ტენზერის დამუშავების ერთეული tf.keras TPUs არის Google- ის საბაჟო განვითარებული განაცხადის კონკრეტული ინტეგრირებული circuits (ASICs) გამოიყენება გააუმჯობესოს machine learning workloads. ისინი ხელმისაწვდომია The და . Google კოლექცია TPU კვლევის Cloud Cloud TPU კონტაქტი სანამ ამ Colab ნომერი იყენებთ, დარწმუნდით, რომ თქვენი hardware accelerator არის TPU მიერ შეამოწმეთ თქვენი ნომერი კონფიგურაცია: » » » . Runtime Change runtime type Hardware accelerator TPU ზოგიერთი საჭირო ბიბლიოთეკები, მათ შორის TensorFlow მონაცემთა კომპლექტი: import tensorflow as tf import os import tensorflow_datasets as tfds 2023-06-09 12:13:32.486552: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Could not find TensorRT TPU დაწყება TPUs ჩვეულებრივ ფუნქციონირება, რომელიც განსხვავდება ადგილობრივი პროცესს, რომელიც იძლევა მომხმარებლის Python პროგრამა. ასე რომ, თქვენ უნდა გააკეთოთ ზოგიერთი ინტიმურიზაციის მუშაობა, რათა დაუკავშირდეთ remote cluster და ინტიმურიზაცია TPUs. შეამოწმეთ, რომ დოკუმენტი ეს არის სპეციალური მისამართი მხოლოდ Colab. თუ თქვენ გაქვთ თქვენი კოდი Google Compute Engine (GCE), თქვენ უნდა გადაიხადოს სახელი თქვენი Cloud TPU. Cloud TPU tpu tf.distribute.cluster_resolver.TPUClusterResolver შეტყობინება: TPU- ის კოდი უნდა იყოს პროგრამის დასაწყისში. TPU კოდი უნდა იყოს თქვენი პროგრამის დაიწყება. Note: resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu='') tf.config.experimental_connect_to_cluster(resolver) # This is the TPU initialization code that has to be at the beginning. tf.tpu.experimental.initialize_tpu_system(resolver) print("All devices: ", tf.config.list_logical_devices('TPU')) INFO:tensorflow:Deallocate tpu buffers before initializing tpu system. 2023-06-09 12:13:34.011755: E tensorflow/compiler/xla/stream_executor/cuda/cuda_driver.cc:266] failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected INFO:tensorflow:Deallocate tpu buffers before initializing tpu system. INFO:tensorflow:Initializing the TPU system: grpc://10.25.167.66:8470 INFO:tensorflow:Initializing the TPU system: grpc://10.25.167.66:8470 INFO:tensorflow:Finished initializing TPU system. INFO:tensorflow:Finished initializing TPU system. All devices: [LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:0', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:1', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:2', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:3', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:4', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:5', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:6', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:7', device_type='TPU')] მობილური მოწყობილობები მას შემდეგ, რაც TPU- ს დაწყებულია, შეგიძლიათ გამოიყენოთ მექანიკური მოწყობილობების ადგილმდებარეობა, რათა დააყენოთ კომპიუტერას ერთ TPU მოწყობილობზე: a = tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]]) b = tf.constant([[1.0, 2.0], [3.0, 4.0], [5.0, 6.0]]) with tf.device('/TPU:0'): c = tf.matmul(a, b) print("c device: ", c.device) print(c) c device: /job:worker/replica:0/task:0/device:TPU:0 tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32) Distribution სტრატეგიები ჩვეულებრივ, თქვენი მოდელი აწარმოებს მრავალჯერადი TPU- ში მონაცემთა პარამეტრების გზით. თქვენი მოდელი მრავალჯერადი TPU- ში (ჩვეულებრივ, მრავალჯერადი GPU- ში ან მრავალჯერადი მანქანებში) გაფართოებას TensorFlow გთავაზობთ API. თქვენ შეგიძლიათ შეცვალოთ თქვენი გადაზიდვის სტრატეგიას და მოდელი გამოიყენება ნებისმიერ მონაცემთა (TPU) მოწყობილობზე. გაიგეთ მეტი მიმოხილვა tf.distribute.Strategy გაფართოებული ტრენინგი TensorFlow გამოყენება TPUs უზრუნველყოფს საკუთარი განახლება ეფექტური all-reduce და სხვა კოლექციური ოპერაციები მრავალფეროვანი TPU kernels, რომლებიც გამოიყენება . tf.distribute.TPUStrategy TPUStrategy იმისათვის, რომ გააკეთოთ ეს, შექმნა a კონტაქტი : tf.distribute.TPUStrategy strategy = tf.distribute.TPUStrategy(resolver) INFO:tensorflow:Found TPU system: INFO:tensorflow:Found TPU system: INFO:tensorflow:*** Num TPU Cores: 8 INFO:tensorflow:*** Num TPU Cores: 8 INFO:tensorflow:*** Num TPU Workers: 1 INFO:tensorflow:*** Num TPU Workers: 1 INFO:tensorflow:*** Num TPU Cores Per Worker: 8 INFO:tensorflow:*** Num TPU Cores Per Worker: 8 INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:localhost/replica:0/task:0/device:CPU:0, CPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:localhost/replica:0/task:0/device:CPU:0, CPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:CPU:0, CPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:CPU:0, CPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:0, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:0, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:1, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:1, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:2, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:2, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:3, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:3, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:4, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:4, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:5, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:5, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:6, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:6, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:7, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:7, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU_SYSTEM:0, TPU_SYSTEM, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU_SYSTEM:0, TPU_SYSTEM, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:XLA_CPU:0, XLA_CPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:XLA_CPU:0, XLA_CPU, 0, 0) თუ გსურთ რეპლიკაცია, რათა ეს შეიძლება გამოიყენოს ყველა TPU კერვებში, შეგიძლიათ გადაცემთ იგი API. ქვემოთ არის მაგალითია, რომელიც აჩვენებს, რომ ყველა კურსი მიიღებენ იგივე ინტენსიები როგორც წაიკითხე მეტი, ჩვენ შეგვიძლია გამოიყენოთ ყველა მონაცემთა მონაცემთა მონაცემები. Strategy.run (a, b) @tf.function def matmul_fn(x, y): z = tf.matmul(x, y) return z z = strategy.run(matmul_fn, args=(a, b)) print(z) PerReplica:{ 0: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 1: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 2: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 3: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 4: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 5: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 6: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 7: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32) } კონფიგურაცია TPUs მას შემდეგ, რაც ძირითადი კონცეფციები შეიცვალა, განიხილეთ უფრო კონკრეტული მაგალითს. ამ ნაწილში განიხილება, თუ როგორ უნდა გამოიყენოთ გადაზიდვის სტრატეგია - Keras- ის მოდელი Cloud TPU- ში აწარმოებს. tf.distribute.TPUStrategy Keras მოდელი დასაწყისი: Definitions of a Keras მოდელი სურათების classification on the MNIST dataset. ეს არ განსხვავდება ის, რაც თქვენ გამოიყენოთ, თუ თქვენ გაქვთ სასწავლო CPUs ან GPUs. შეამოწმეთ, რომ Keras მოდელი შექმნა უნდა იყოს შიდა , ასე რომ ცვლილებები შეიძლება შექმნილია თითოეული TPU მოწყობილობა. სხვა ნაწილები კოდი არ უნდა იყოს შიდა ფართო Sequential Strategy.scope Strategy def create_model(): return tf.keras.Sequential( [tf.keras.layers.Conv2D(256, 3, activation='relu', input_shape=(28, 28, 1)), tf.keras.layers.Conv2D(256, 3, activation='relu'), tf.keras.layers.Flatten(), tf.keras.layers.Dense(256, activation='relu'), tf.keras.layers.Dense(128, activation='relu'), tf.keras.layers.Dense(10)]) ჩამოტვირთვა Dataset ეფექტური გამოყენება API მნიშვნელოვანია Cloud TPU- ის გამოყენებით. თქვენ შეგიძლიათ გაიგოთ მეტი მონაცემთა კომპლექტი შესრულების შესახებ . tf.data.Dataset Input Pipeline Performance Guide-ის მიმოხილვა თუ თქვენ გამოიყენებთ , თქვენ უნდა შეინახოთ ყველა მონაცემთა ფაილი, რომელიც წაიკითხა TensorFlow და თუ თქვენ გამოიყენებთ ჩვენ შეგვიძლია დაგვიკავშირდეთ, თუ როგორ უნდა გააკეთოთ TPU Nodes და TPU VMs, გთხოვთ დაგვიკავშირდეთ. დოკუმენტაცია TPU ნომრები Dataset Google Cloud Storage (GCS) გაფართოება TPU VMs TPU სისტემის არქიტექტურა ყველაზე გამოყენების შემთხვევაში, რეკომენდირებულია თქვენი მონაცემების კონვერტაცია format და გამოიყენოთ a წაიკითხეთ ეს. შეამოწმეთ ეს არ არის მკაცრი მოთხოვნა და თქვენ შეგიძლიათ გამოიყენოთ სხვა მონაცემთა კომპლექტი წერილები, როგორიცაა ან . TFRecord tf.data.TFRecordDataset TFRecord და tf.Example სასწავლო tf.data.FixedLengthRecordDataset tf.data.TextLineDataset თქვენ შეგიძლიათ დატვირთოთ მთელი მცირე მონაცემთა კომპლექტი მეშვეობით . tf.data.Dataset.cache მიუხედავად იმისა, რომ გამოიყენება მონაცემთა ფორმატში, ეს არის ძლიერი რეკომენდირებულია, რომ თქვენ გამოიყენოთ დიდი ფაილი დაახლოებით 100MB. ეს განსაკუთრებით მნიშვნელოვანია ამ ქსელის კონფიგურაციაში, რადგან ფაილი გახსნის სიჩქარე უფრო მაღალია. როგორც ჩანს ქვემოთ კოდი, თქვენ უნდა გამოიყენოთ Tensorflow მონაცემთა კომპლექტი MNIST- ის სასწავლო და ტესტი მონაცემების კუპის მიღების მოდული. შეამოწმეთ, რომ მას შეუძლია გამოიყენოთ რეპუტაცია, რომელიც ხელმისაწვდომია GCS კაბინაში. თუ თქვენ არ აჩვენებთ ეს, TPU- ს არ შეუძლიათ ხელმისაწვდომია ჩამოტვირთული მონაცემები. tfds.load try_gcs def get_dataset(batch_size, is_training=True): split = 'train' if is_training else 'test' dataset, info = tfds.load(name='mnist', split=split, with_info=True, as_supervised=True, try_gcs=True) # Normalize the input data. def scale(image, label): image = tf.cast(image, tf.float32) image /= 255.0 return image, label dataset = dataset.map(scale) # Only shuffle and repeat the dataset in training. The advantage of having an # infinite dataset for training is to avoid the potential last partial batch # in each epoch, so that you don't need to think about scaling the gradients # based on the actual batch size. if is_training: dataset = dataset.shuffle(10000) dataset = dataset.repeat() dataset = dataset.batch(batch_size) return dataset ტრენინგი მოდელი გამოყენებით Keras მაღალი დონე API თქვენ შეგიძლიათ Train თქვენი მოდელი Keras და არ არის არაფერი TPU-specific ამ ნაბიჯში – თქვენ წაიკითხე კოდი, როგორც თუ თქვენ გამოიყენებთ მრავალჯერადი GPUs და მდებარეობა The თქვენ შეგიძლიათ გაიგოთ უფრო მეტი in the TUTORIAL არ არის. Model.fit Model.compile MirroredStrategy TPUStrategy Distributed სასწავლო ერთად Keras with strategy.scope(): model = create_model() model.compile(optimizer='adam', loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['sparse_categorical_accuracy']) batch_size = 200 steps_per_epoch = 60000 // batch_size validation_steps = 10000 // batch_size train_dataset = get_dataset(batch_size, is_training=True) test_dataset = get_dataset(batch_size, is_training=False) model.fit(train_dataset, epochs=5, steps_per_epoch=steps_per_epoch, validation_data=test_dataset, validation_steps=validation_steps) Epoch 1/5 300/300 [==============================] - 17s 32ms/step - loss: 0.1235 - sparse_categorical_accuracy: 0.9620 - val_loss: 0.0462 - val_sparse_categorical_accuracy: 0.9856 Epoch 2/5 300/300 [==============================] - 7s 24ms/step - loss: 0.0333 - sparse_categorical_accuracy: 0.9894 - val_loss: 0.0401 - val_sparse_categorical_accuracy: 0.9878 Epoch 3/5 300/300 [==============================] - 7s 24ms/step - loss: 0.0186 - sparse_categorical_accuracy: 0.9938 - val_loss: 0.0352 - val_sparse_categorical_accuracy: 0.9900 Epoch 4/5 300/300 [==============================] - 7s 25ms/step - loss: 0.0127 - sparse_categorical_accuracy: 0.9957 - val_loss: 0.0482 - val_sparse_categorical_accuracy: 0.9879 Epoch 5/5 300/300 [==============================] - 7s 24ms/step - loss: 0.0111 - sparse_categorical_accuracy: 0.9962 - val_loss: 0.0448 - val_sparse_categorical_accuracy: 0.9894 შეამციროს Python overhead და მაქსიმალური შესრულება თქვენი TPU, გადაიხადოს კონტაქტი Keras ამ მაგალითად, ეს გაზრდის გადამცემი დაახლოებით 50%: steps_per_execution Model.compile with strategy.scope(): model = create_model() model.compile(optimizer='adam', # Anything between 2 and `steps_per_epoch` could help here. steps_per_execution = 50, loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['sparse_categorical_accuracy']) model.fit(train_dataset, epochs=5, steps_per_epoch=steps_per_epoch, validation_data=test_dataset, validation_steps=validation_steps) Epoch 1/5 300/300 [==============================] - 14s 45ms/step - loss: 0.1306 - sparse_categorical_accuracy: 0.9591 - val_loss: 0.0420 - val_sparse_categorical_accuracy: 0.9863 Epoch 2/5 300/300 [==============================] - 3s 10ms/step - loss: 0.0333 - sparse_categorical_accuracy: 0.9900 - val_loss: 0.0502 - val_sparse_categorical_accuracy: 0.9846 Epoch 3/5 300/300 [==============================] - 3s 10ms/step - loss: 0.0193 - sparse_categorical_accuracy: 0.9936 - val_loss: 0.0406 - val_sparse_categorical_accuracy: 0.9879 Epoch 4/5 300/300 [==============================] - 3s 10ms/step - loss: 0.0135 - sparse_categorical_accuracy: 0.9955 - val_loss: 0.0416 - val_sparse_categorical_accuracy: 0.9882 Epoch 5/5 300/300 [==============================] - 3s 10ms/step - loss: 0.0110 - sparse_categorical_accuracy: 0.9962 - val_loss: 0.0463 - val_sparse_categorical_accuracy: 0.9882 Train the model გამოყენებით custom training loop თქვენ ასევე შეგიძლიათ შექმნათ და ტრენინგი თქვენი მოდელი გამოყენებით და APIs პირდაპირი. თქვენ შეგიძლიათ გამოიყენოთ API გაყიდვა მას შემდეგ, რაც მონაცემთა კომპლექტი ფუნქციონირებულია, შეამოწმეთ, რომ ქვემოთ შემდეგი მაგალითად, ბარიის ზომა შევიდა რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა. TUTORIAL არ არის. tf.function tf.distribute Strategy.experimental_distribute_datasets_from_function tf.data.Dataset Dataset Custom სასწავლო ერთად tf.distribute.Strategy პირველი, შექმნა მოდელი, მონაცემთა კომპლექტი და S და: tf.function # Create the model, optimizer and metrics inside the `tf.distribute.Strategy` # scope, so that the variables can be mirrored on each device. with strategy.scope(): model = create_model() optimizer = tf.keras.optimizers.Adam() training_loss = tf.keras.metrics.Mean('training_loss', dtype=tf.float32) training_accuracy = tf.keras.metrics.SparseCategoricalAccuracy( 'training_accuracy', dtype=tf.float32) # Calculate per replica batch size, and distribute the `tf.data.Dataset`s # on each TPU worker. per_replica_batch_size = batch_size // strategy.num_replicas_in_sync train_dataset = strategy.experimental_distribute_datasets_from_function( lambda _: get_dataset(per_replica_batch_size, is_training=True)) @tf.function def train_step(iterator): """The step function for one training step.""" def step_fn(inputs): """The computation to run on each TPU device.""" images, labels = inputs with tf.GradientTape() as tape: logits = model(images, training=True) loss = tf.keras.losses.sparse_categorical_crossentropy( labels, logits, from_logits=True) loss = tf.nn.compute_average_loss(loss, global_batch_size=batch_size) grads = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(list(zip(grads, model.trainable_variables))) training_loss.update_state(loss * strategy.num_replicas_in_sync) training_accuracy.update_state(labels, logits) strategy.run(step_fn, args=(next(iterator),)) WARNING:tensorflow:From /tmpfs/tmp/ipykernel_9094/1509474074.py:14: StrategyBase.experimental_distribute_datasets_from_function (from tensorflow.python.distribute.distribute_lib) is deprecated and will be removed in a future version. Instructions for updating: rename to distribute_datasets_from_function WARNING:tensorflow:From /tmpfs/tmp/ipykernel_9094/1509474074.py:14: StrategyBase.experimental_distribute_datasets_from_function (from tensorflow.python.distribute.distribute_lib) is deprecated and will be removed in a future version. Instructions for updating: rename to distribute_datasets_from_function შემდეგ დაიწყეთ სასწავლო loop: steps_per_eval = 10000 // batch_size train_iterator = iter(train_dataset) for epoch in range(5): print('Epoch: {}/5'.format(epoch)) for step in range(steps_per_epoch): train_step(train_iterator) print('Current step: {}, training loss: {}, accuracy: {}%'.format( optimizer.iterations.numpy(), round(float(training_loss.result()), 4), round(float(training_accuracy.result()) * 100, 2))) training_loss.reset_states() training_accuracy.reset_states() Epoch: 0/5 Current step: 300, training loss: 0.1465, accuracy: 95.4% Epoch: 1/5 Current step: 600, training loss: 0.035, accuracy: 98.94% Epoch: 2/5 Current step: 900, training loss: 0.0197, accuracy: 99.39% Epoch: 3/5 Current step: 1200, training loss: 0.0126, accuracy: 99.59% Epoch: 4/5 Current step: 1500, training loss: 0.0109, accuracy: 99.64% გააუმჯობესება შესრულება მრავალფეროვანი ნაბიჯები შიდა tf.function თქვენ შეგიძლიათ გააუმჯობესოთ ეფექტურობის გაუმჯობესებას მრავალფეროვანი ნაბიჯების გაკეთებით a ეს შესაძლებელია შეფუთვა ტელეფონი A შიდა , და AutoGraph გადაიხადოს იგი a TPU მუშაობის შესახებ. თქვენ შეგიძლიათ გაიგოთ მეტი S და მიმოხილვა tf.function Strategy.run tf.range tf.function tf.while_loop tf.function უკეთესი შესრულება tf.function მიუხედავად იმისა, რომ გაუმჯობესებული ეფექტურობა, არსებობს კომფორტები ამ მეთოდის შედარებით გაკეთება ერთი ნაბიჯი შიში მრავალფეროვანი ნაბიჯები a არ არის ნაკლებად მოქნილი - თქვენ არ შეგიძლიათ გაქირავოთ რამ უარყოფითი ან უარყოფითი Python კოდი ნაბიჯებში. tf.function tf.function @tf.function def train_multiple_steps(iterator, steps): """The step function for one training step.""" def step_fn(inputs): """The computation to run on each TPU device.""" images, labels = inputs with tf.GradientTape() as tape: logits = model(images, training=True) loss = tf.keras.losses.sparse_categorical_crossentropy( labels, logits, from_logits=True) loss = tf.nn.compute_average_loss(loss, global_batch_size=batch_size) grads = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(list(zip(grads, model.trainable_variables))) training_loss.update_state(loss * strategy.num_replicas_in_sync) training_accuracy.update_state(labels, logits) for _ in tf.range(steps): strategy.run(step_fn, args=(next(iterator),)) # Convert `steps_per_epoch` to `tf.Tensor` so the `tf.function` won't get # retraced if the value changes. train_multiple_steps(train_iterator, tf.convert_to_tensor(steps_per_epoch)) print('Current step: {}, training loss: {}, accuracy: {}%'.format( optimizer.iterations.numpy(), round(float(training_loss.result()), 4), round(float(training_accuracy.result()) * 100, 2))) Current step: 1800, training loss: 0.009, accuracy: 99.72% შემდეგი ნაბიჯები გაიგოთ მეტი Cloud TPUs და როგორ გამოიყენოთ მათ: Google Cloud TPU: Google Cloud TPU მთავარი გვერდი. : Google Cloud TPU documentation, which includes: Google Cloud TPU documentation : An overview of working with Cloud TPUs. Introduction to Cloud TPU : Quickstart introductions to working with Cloud TPU VMs using TensorFlow and other main machine learning frameworks. Cloud TPU quickstarts Google Cloud TPU Colab Notebooks: End-to-end სასწავლო მაგალითები. Google Cloud TPU შესრულების მიმოხილვა: Cloud TPU შესრულების გაუმჯობესება Cloud TPU კონფიგურაციის პარამეტრები თქვენი განაცხადისათვის Distributed training with TensorFlow: How to use distribution strategies – მათ შორის tf.distribute.TPUStrategy – მაგალითები, რომლებიც აჩვენებენ საუკეთესო პრაქტიკებს. TPU შეფუთვა: TensorFlow მოიცავს სპეციალიზებული მხარდაჭერა სასწავლო შეფუთვა TPUs via tf.tpu.experimental.embedding. გარდა ამისა, TensorFlow Recommenders აქვს tfrs.layers.embedding.TPUEmbedding. შეფუთვა უზრუნველყოფს ეფექტური და ფართო რეპუტაცია, მოკლე და ურთიერთობები ფუნქციების შორის. TensorFlow- ის TPU-specific შეფუთვა მხარდაჭერა საშუალებას გაძლევთ შეფუთვა, რომელიც უფრო დიდია, ვიდრე მექანიზმი ერთი TPU მოწყობილობა, და გამოიყენოთ sparse და ragged შეფუთვა TPUs. TPU Research Cloud (TRC): TRC საშუალებას გაძლევთ მკვლევარებს მიიღოს ხელმისაწვდომობა მეტი 1,000 Cloud TPU მოწყობილობებისთვის. დასაწყისი გამოქვეყნდა TensorFlow ვებ-გვერდზე, ამ სტატიაში გამოქვეყნდა ახალი სატელევიზიო და ლიცენზია CC BY 4.0. კოდი ნიმუშები გამოქვეყნდა Apache 2.0 ლიცენზია. დასაწყისი გამოქვეყნდა TensorFlow ვებ-გვერდზე, ამ სტატიაში გამოქვეყნდა ახალი სატელევიზიო და ლიცენზია CC BY 4.0. კოდი ნიმუშები გამოქვეყნდა Apache 2.0 ლიცენზია. TensorFlow TensorFlow