TensorFlow Eğitimi Hızını Bu TPU Triklerle %50 Artırın

içerik genel bakış setup TPU Başlangıç » Manuel aygıt yerleştirme dağıtım stratejileri TPU Sınıflandırması Keras modelini belirleyin Dataset yükleyin Keras yüksek düzey API'leri kullanarak modeli eğit Özel bir eğitim döngüsü kullanarak modeli eğit Tf.function içindeki çoklu adımlarla performans geliştirme Sonraki adımlar Bu kılavuz, temel eğitimin nasıl yapılacağını gösterir ve TPU Pods, özel yüksek hızlı ağ arayüzleri ile bağlantılı TPU cihazlarının bir koleksiyonu, Üst düzey eğitmenler. Tensor İşleme Birimi (TPU) tf.keras TPU'lar, makine öğrenimi iş yüklerini hızlandırmak için kullanılan Google'ın özelleştirilmiş uygulamalı entegre devre (ASIC)'leridir. Ve o ve . Google Kolab TPU Araştırma Bulut Bulut TPU setup Bu Colab dizüstü bilgisayarını çalıştırmadan önce, dizüstü bilgisayar ayarlarını kontrol ederek donanım hızlayıcınızın bir TPU olduğundan emin olun: > Hakkında > Hakkında > Hakkında . Runtime Change runtime type Hardware accelerator TPU TensorFlow Datasets dahil olmak üzere bazı gerekli kitaplıkları ithal edin: import tensorflow as tf import os import tensorflow_datasets as tfds 2023-06-09 12:13:32.486552: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Could not find TensorRT TPU Başlangıç TPU’lar tipik olarak Kullanıcının Python programını çalıştıran yerel süreçten farklı olan işçiler, böylece uzaktan kümesine bağlanmak ve TPU'ları başlatmak için bazı başlangıç çalışmaları yapmanız gerekir. argümanı Eğer kodunuzu Google Compute Engine (GCE) üzerinde çalıştırıyorsanız, bunun yerine bulut TPU adınızı geçmelisiniz. Bulut TPU tpu tf.distribute.cluster_resolver.TPUClusterResolver Not: TPU başlangıç kodu programınızın başında olmalıdır. Not: TPU başlangıç kodu programınızın başında olmalıdır. resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu='') tf.config.experimental_connect_to_cluster(resolver) # This is the TPU initialization code that has to be at the beginning. tf.tpu.experimental.initialize_tpu_system(resolver) print("All devices: ", tf.config.list_logical_devices('TPU')) INFO:tensorflow:Deallocate tpu buffers before initializing tpu system. 2023-06-09 12:13:34.011755: E tensorflow/compiler/xla/stream_executor/cuda/cuda_driver.cc:266] failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected INFO:tensorflow:Deallocate tpu buffers before initializing tpu system. INFO:tensorflow:Initializing the TPU system: grpc://10.25.167.66:8470 INFO:tensorflow:Initializing the TPU system: grpc://10.25.167.66:8470 INFO:tensorflow:Finished initializing TPU system. INFO:tensorflow:Finished initializing TPU system. All devices: [LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:0', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:1', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:2', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:3', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:4', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:5', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:6', device_type='TPU'), LogicalDevice(name='/job:worker/replica:0/task:0/device:TPU:7', device_type='TPU')] Manuel aygıt yerleştirme TPU başlatıldıktan sonra, hesaplamayı tek bir TPU aygıtına yerleştirmek için manuel aygıt konumu kullanabilirsiniz: a = tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]]) b = tf.constant([[1.0, 2.0], [3.0, 4.0], [5.0, 6.0]]) with tf.device('/TPU:0'): c = tf.matmul(a, b) print("c device: ", c.device) print(c) c device: /job:worker/replica:0/task:0/device:TPU:0 tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32) dağıtım stratejileri Genellikle modelinizi birden fazla TPU'ya paralel olarak çalıştırırsınız. modelinizi birden fazla TPU'ya (veya birden fazla GPU'ya veya birden fazla makineye) dağıtmak için TensorFlow, API. Dağıtım stratejinizi değiştirebilirsiniz ve model herhangi bir belirli (TPU) cihazda çalışacaktır. Bir rehber. tf.distribute.Strategy TensorFlow ile dağıtılmış eğitim kullanarak opsiyon, senkron dağıtılmış eğitim uygular. TPU'lar, çeşitli TPU çekirdeklerinde etkin tüm azaltma ve diğer toplu operasyonların kendi uygulanmasını sağlar. . tf.distribute.TPUStrategy TPUStrategy Bunu göstermek için, bir Objektör : tf.distribute.TPUStrategy strategy = tf.distribute.TPUStrategy(resolver) INFO:tensorflow:Found TPU system: INFO:tensorflow:Found TPU system: INFO:tensorflow:*** Num TPU Cores: 8 INFO:tensorflow:*** Num TPU Cores: 8 INFO:tensorflow:*** Num TPU Workers: 1 INFO:tensorflow:*** Num TPU Workers: 1 INFO:tensorflow:*** Num TPU Cores Per Worker: 8 INFO:tensorflow:*** Num TPU Cores Per Worker: 8 INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:localhost/replica:0/task:0/device:CPU:0, CPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:localhost/replica:0/task:0/device:CPU:0, CPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:CPU:0, CPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:CPU:0, CPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:0, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:0, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:1, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:1, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:2, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:2, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:3, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:3, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:4, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:4, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:5, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:5, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:6, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:6, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:7, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU:7, TPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU_SYSTEM:0, TPU_SYSTEM, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:TPU_SYSTEM:0, TPU_SYSTEM, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:XLA_CPU:0, XLA_CPU, 0, 0) INFO:tensorflow:*** Available Device: _DeviceAttributes(/job:worker/replica:0/task:0/device:XLA_CPU:0, XLA_CPU, 0, 0) Bir hesaplamayı tüm TPU çekirdeklerinde çalıştırabilecek şekilde kopyalamak için, onu API. Aşağıda, tüm çekirdeklerin aynı girişleri aldığını gösteren bir örnek var. Her çekirdekte ayrı ayrı matris çoğaltması yapılır ve çıkışlar tüm repliklere ait değerler olacaktır. Strategy.run (a, b) @tf.function def matmul_fn(x, y): z = tf.matmul(x, y) return z z = strategy.run(matmul_fn, args=(a, b)) print(z) PerReplica:{ 0: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 1: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 2: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 3: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 4: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 5: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 6: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32), 7: tf.Tensor( [[22. 28.] [49. 64.]], shape=(2, 2), dtype=float32) } TPU Sınıflandırması Temel kavramları ele aldıktan sonra, daha spesifik bir örnek düşünün.Bu bölüm dağıtım stratejisini nasıl kullanacağınızı gösterir. • Bir Keras modeli bulut TPU üzerinde eğitmek. tf.distribute.TPUStrategy Keras modelini belirleyin A’nın bir tanımıyla başlayalım MNIST veritabanında görüntü sınıflandırması için Keras modeli. CPU'lar veya GPU'lar üzerinde eğitim yapıyorsanız kullandığınızdan farklı değildir. , böylece değişkenler her TPU aygıtında oluşturulabilir. Sokağı Sequential Strategy.scope Strategy def create_model(): return tf.keras.Sequential( [tf.keras.layers.Conv2D(256, 3, activation='relu', input_shape=(28, 28, 1)), tf.keras.layers.Conv2D(256, 3, activation='relu'), tf.keras.layers.Flatten(), tf.keras.layers.Dense(256, activation='relu'), tf.keras.layers.Dense(128, activation='relu'), tf.keras.layers.Dense(10)]) Dataset yükleyin etkili kullanımı için API, bulut TPU'sunu kullanırken çok önemlidir. . tf.data.Dataset Input Pipeline Performans Kılavuzu Eğer kullanıyorsanız , TensorFlow tarafından okunan tüm veri dosyalarını saklamanız gerekir İçinde Eğer kullanıyorsanız İstediğiniz her yerde verileri saklayabilirsiniz. TPU Nodes ve TPU VM'ler hakkında daha fazla bilgi için lütfen Belgelendirme yapın TPU düğmeleri Dataset Google Cloud Storage (GCS) Çözümleri VMs için TPU sistem mimarisi Çoğu kullanım durumunda, verilerinizi Format ve Kullanım A Okumaya devam edin. kontrol edin Bu zor bir gereksinim değildir ve diğer veritabanı okuyucularını, örneğin veya . TFRecord tf.data.TFRecordDataset TFRecord ve tf.Example Tutorial Hakkında Bilgi tf.data.FixedLengthRecordDataset tf.data.TextLineDataset Tüm küçük veri kümelerini hafıza içine yükleyebilirsiniz . tf.data.Dataset.cache Kullanılan veri biçimine bakılmaksızın, 100 MB'lık büyük dosyaları kullanmanızı tavsiye ederiz. Aşağıdaki kodda gösterildiği gibi, Tensorflow veri kümelerini kullanmalısınız. MNIST eğitim ve test verilerinin bir kopyasını almak için modül. bir kopyayı kullanmak için belirtilmiştir ki, bir kamu GCS kafesinde mevcuttur. Bunu belirtmezseniz, TPU indirilmiş verilere erişemeyecektir. tfds.load try_gcs def get_dataset(batch_size, is_training=True): split = 'train' if is_training else 'test' dataset, info = tfds.load(name='mnist', split=split, with_info=True, as_supervised=True, try_gcs=True) # Normalize the input data. def scale(image, label): image = tf.cast(image, tf.float32) image /= 255.0 return image, label dataset = dataset.map(scale) # Only shuffle and repeat the dataset in training. The advantage of having an # infinite dataset for training is to avoid the potential last partial batch # in each epoch, so that you don't need to think about scaling the gradients # based on the actual batch size. if is_training: dataset = dataset.shuffle(10000) dataset = dataset.repeat() dataset = dataset.batch(batch_size) return dataset Keras yüksek düzey API'leri kullanarak modeli eğit Keras ile modelinizi eğitebilirsiniz ve APIs. Bu adımda TPU özel bir şey yok – birden fazla GPU ve bir Bunun yerine de Daha fazlasını öğrenebilirsiniz in the Tutorials Hakkında Model.fit Model.compile MirroredStrategy TPUStrategy Keras ile dağıtılmış eğitim with strategy.scope(): model = create_model() model.compile(optimizer='adam', loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['sparse_categorical_accuracy']) batch_size = 200 steps_per_epoch = 60000 // batch_size validation_steps = 10000 // batch_size train_dataset = get_dataset(batch_size, is_training=True) test_dataset = get_dataset(batch_size, is_training=False) model.fit(train_dataset, epochs=5, steps_per_epoch=steps_per_epoch, validation_data=test_dataset, validation_steps=validation_steps) Epoch 1/5 300/300 [==============================] - 17s 32ms/step - loss: 0.1235 - sparse_categorical_accuracy: 0.9620 - val_loss: 0.0462 - val_sparse_categorical_accuracy: 0.9856 Epoch 2/5 300/300 [==============================] - 7s 24ms/step - loss: 0.0333 - sparse_categorical_accuracy: 0.9894 - val_loss: 0.0401 - val_sparse_categorical_accuracy: 0.9878 Epoch 3/5 300/300 [==============================] - 7s 24ms/step - loss: 0.0186 - sparse_categorical_accuracy: 0.9938 - val_loss: 0.0352 - val_sparse_categorical_accuracy: 0.9900 Epoch 4/5 300/300 [==============================] - 7s 25ms/step - loss: 0.0127 - sparse_categorical_accuracy: 0.9957 - val_loss: 0.0482 - val_sparse_categorical_accuracy: 0.9879 Epoch 5/5 300/300 [==============================] - 7s 24ms/step - loss: 0.0111 - sparse_categorical_accuracy: 0.9962 - val_loss: 0.0448 - val_sparse_categorical_accuracy: 0.9894 Python üstünü azaltmak ve TPU'nun performansını en üst düzeye çıkarmak için, Cevapla Kerem Bu örnekte, yaklaşık %50 oranında artış gösterir: steps_per_execution Model.compile with strategy.scope(): model = create_model() model.compile(optimizer='adam', # Anything between 2 and `steps_per_epoch` could help here. steps_per_execution = 50, loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['sparse_categorical_accuracy']) model.fit(train_dataset, epochs=5, steps_per_epoch=steps_per_epoch, validation_data=test_dataset, validation_steps=validation_steps) Epoch 1/5 300/300 [==============================] - 14s 45ms/step - loss: 0.1306 - sparse_categorical_accuracy: 0.9591 - val_loss: 0.0420 - val_sparse_categorical_accuracy: 0.9863 Epoch 2/5 300/300 [==============================] - 3s 10ms/step - loss: 0.0333 - sparse_categorical_accuracy: 0.9900 - val_loss: 0.0502 - val_sparse_categorical_accuracy: 0.9846 Epoch 3/5 300/300 [==============================] - 3s 10ms/step - loss: 0.0193 - sparse_categorical_accuracy: 0.9936 - val_loss: 0.0406 - val_sparse_categorical_accuracy: 0.9879 Epoch 4/5 300/300 [==============================] - 3s 10ms/step - loss: 0.0135 - sparse_categorical_accuracy: 0.9955 - val_loss: 0.0416 - val_sparse_categorical_accuracy: 0.9882 Epoch 5/5 300/300 [==============================] - 3s 10ms/step - loss: 0.0110 - sparse_categorical_accuracy: 0.9962 - val_loss: 0.0463 - val_sparse_categorical_accuracy: 0.9882 Özel bir eğitim döngüsü kullanarak modeli eğit Ayrıca modelinizi oluşturabilir ve kullanarak eğitebilirsiniz ve Aşağıdaki linkte kullanabilirsiniz.You can use the dağıtmak için ateş Gönderen Konu: Gönderen Konu: Gönderen Konu: Gönderen Konu: Gönderen Konu: Gönderen Konu: Gönderen Konu: Gönderen Konu: Gönderen Konu: Gönderen Konu: Gönderen Konu: Gönderen Konu Küresel grup boyutuna göre kopya başına grup boyutu.Daha fazlasını öğrenmek için, Tutorials Hakkında tf.function tf.distribute Strategy.experimental_distribute_datasets_from_function tf.data.Dataset Dataset Özel eğitim ile tf.distribute.Strategy İlk olarak, model, veritabanı ve s ile : tf.function # Create the model, optimizer and metrics inside the `tf.distribute.Strategy` # scope, so that the variables can be mirrored on each device. with strategy.scope(): model = create_model() optimizer = tf.keras.optimizers.Adam() training_loss = tf.keras.metrics.Mean('training_loss', dtype=tf.float32) training_accuracy = tf.keras.metrics.SparseCategoricalAccuracy( 'training_accuracy', dtype=tf.float32) # Calculate per replica batch size, and distribute the `tf.data.Dataset`s # on each TPU worker. per_replica_batch_size = batch_size // strategy.num_replicas_in_sync train_dataset = strategy.experimental_distribute_datasets_from_function( lambda _: get_dataset(per_replica_batch_size, is_training=True)) @tf.function def train_step(iterator): """The step function for one training step.""" def step_fn(inputs): """The computation to run on each TPU device.""" images, labels = inputs with tf.GradientTape() as tape: logits = model(images, training=True) loss = tf.keras.losses.sparse_categorical_crossentropy( labels, logits, from_logits=True) loss = tf.nn.compute_average_loss(loss, global_batch_size=batch_size) grads = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(list(zip(grads, model.trainable_variables))) training_loss.update_state(loss * strategy.num_replicas_in_sync) training_accuracy.update_state(labels, logits) strategy.run(step_fn, args=(next(iterator),)) WARNING:tensorflow:From /tmpfs/tmp/ipykernel_9094/1509474074.py:14: StrategyBase.experimental_distribute_datasets_from_function (from tensorflow.python.distribute.distribute_lib) is deprecated and will be removed in a future version. Instructions for updating: rename to distribute_datasets_from_function WARNING:tensorflow:From /tmpfs/tmp/ipykernel_9094/1509474074.py:14: StrategyBase.experimental_distribute_datasets_from_function (from tensorflow.python.distribute.distribute_lib) is deprecated and will be removed in a future version. Instructions for updating: rename to distribute_datasets_from_function Ardından antrenman sürecini tamamlayın: steps_per_eval = 10000 // batch_size train_iterator = iter(train_dataset) for epoch in range(5): print('Epoch: {}/5'.format(epoch)) for step in range(steps_per_epoch): train_step(train_iterator) print('Current step: {}, training loss: {}, accuracy: {}%'.format( optimizer.iterations.numpy(), round(float(training_loss.result()), 4), round(float(training_accuracy.result()) * 100, 2))) training_loss.reset_states() training_accuracy.reset_states() Epoch: 0/5 Current step: 300, training loss: 0.1465, accuracy: 95.4% Epoch: 1/5 Current step: 600, training loss: 0.035, accuracy: 98.94% Epoch: 2/5 Current step: 900, training loss: 0.0197, accuracy: 99.39% Epoch: 3/5 Current step: 1200, training loss: 0.0126, accuracy: 99.59% Epoch: 4/5 Current step: 1500, training loss: 0.0109, accuracy: 99.64% Çeşitli adımlarla performans geliştirme tf.function performansını birden fazla adım atarak artırabilirsiniz Bu işlemi yapılarak elde edilen A ile Çağrı içeride , ve AutoGraph onu bir TPU işçisi. hakkında daha fazla bilgi edinin s içinde Bir rehber. tf.function Strategy.run tf.range tf.function tf.while_loop tf.function ile daha iyi performans tf.function Gelişmiş performanslara rağmen, bu yöntemle tek bir adım içinde çalışmakla karşılaştırıldığında kompromisler vardır. a) Birden fazla adım atmak Daha az esnek - adımlar içinde işleri istekli bir şekilde veya istekli Python kodu çalıştıramazsınız. tf.function tf.function @tf.function def train_multiple_steps(iterator, steps): """The step function for one training step.""" def step_fn(inputs): """The computation to run on each TPU device.""" images, labels = inputs with tf.GradientTape() as tape: logits = model(images, training=True) loss = tf.keras.losses.sparse_categorical_crossentropy( labels, logits, from_logits=True) loss = tf.nn.compute_average_loss(loss, global_batch_size=batch_size) grads = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(list(zip(grads, model.trainable_variables))) training_loss.update_state(loss * strategy.num_replicas_in_sync) training_accuracy.update_state(labels, logits) for _ in tf.range(steps): strategy.run(step_fn, args=(next(iterator),)) # Convert `steps_per_epoch` to `tf.Tensor` so the `tf.function` won't get # retraced if the value changes. train_multiple_steps(train_iterator, tf.convert_to_tensor(steps_per_epoch)) print('Current step: {}, training loss: {}, accuracy: {}%'.format( optimizer.iterations.numpy(), round(float(training_loss.result()), 4), round(float(training_accuracy.result()) * 100, 2))) Current step: 1800, training loss: 0.009, accuracy: 99.72% Sonraki adımlar Bulut TPU'ları ve bunları nasıl kullanacağınızı öğrenmek için: Google Cloud TPU: Google Cloud TPU ana sayfası. : Google Cloud TPU documentation, which includes: Google Cloud TPU documentation : An overview of working with Cloud TPUs. Introduction to Cloud TPU : Quickstart introductions to working with Cloud TPU VMs using TensorFlow and other main machine learning frameworks. Cloud TPU quickstarts Google Cloud TPU Colab dizüstü bilgisayarlar: End-to-end eğitim örnekleri. Google Cloud TPU Performans Kılavuzu: Uygulamanız için Cloud TPU yapılandırma parametrelerini ayarlayarak Cloud TPU performansını daha da geliştirin TensorFlow ile dağıtılmış eğitim: dağıtım stratejileri nasıl kullanılır – tf.distribute.TPUStrategy dahil – en iyi uygulamaları gösteren örneklerle. TPU embeddings: TensorFlow, tf.tpu.experimental.embedding aracılığıyla TPU'larda eğitim embeddings için özel destek içerir. Buna ek olarak, TensorFlow Recommenders tfrs.layers.embedding.TPUEmbedding içerir. Embeddings verimli ve yoğun temsiller sağlar, özellikler arasındaki karmaşıklıkları ve ilişkileri yakalar. TensorFlow'un TPU spesifik embedding desteği, tek bir TPU aygıtının belleğinden daha büyük embeddings'leri eğitmenize ve TPU'larda az miktarda ve kırılmış girişler kullanmanıza izin verir. TPU Araştırma Bulutu (TRC): TRC, araştırmacıların 1000'den fazla bulut TPU cihazına erişim için başvurmalarını sağlar. Başlangıçta TensorFlow web sitesinde yayınlanan bu makale burada yeni bir başlık altında görünür ve CC BY 4.0 altında lisanslanmıştır. Başlangıçta TensorFlow web sitesinde yayınlanan bu makale burada yeni bir başlık altında görünür ve CC BY 4.0 altında lisanslanmıştır. TensorFlow Hakkında TensorFlow Hakkında