Anda membazirkan kuasa GPU—Fix TensorFlow Input Pipeline anda hari ini

Gambaran keseluruhan kandungan Gambaran keseluruhan sumber Setup Dataset yang Latihan loop Pendekatan Optimal Pendekatan Naif Prefetching Pengekstrakan data paralel Transformasi Data Parallel Penyimpanan Maklumat vektor Mengurangkan jejak memori Gambaran keseluruhan GPU dan TPU boleh secara radikal mengurangkan masa yang diperlukan untuk melaksanakan satu langkah latihan tunggal.Untuk mencapai prestasi puncak memerlukan paip input yang cekap yang menyampaikan data untuk langkah seterusnya sebelum langkah semasa telah selesai. API membantu membina paip input yang fleksibel dan cekap. dokumen ini menunjukkan bagaimana untuk menggunakan API untuk membina paip input TensorFlow berkinerja tinggi. tf.data tf.data Sebelum anda melanjutkan, semak panduan untuk belajar bagaimana untuk menggunakan daripada api. Pembinaan paip input TensorFlow tf.data sumber Pembinaan paip input TensorFlow tf.data.Dataset API Menganalisis prestasi tf.data dengan TF Profiler Setup import tensorflow as tf import time 2024-08-15 02:29:59.860833: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 02:29:59.882136: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 02:29:59.888640: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered Sepanjang panduan ini, anda akan mengulangi set data dan mengukur prestasi. Membuat benchmarks prestasi yang boleh diulang boleh menjadi sukar. Faktor-faktor yang berbeza yang menjejaskan boleh diulang termasuk: Perkhidmatan CPU semasa trafik rangkaian Mekanisme yang kompleks, seperti cache Untuk mendapatkan benchmark yang boleh diulang, anda akan membina contoh buatan. Dataset yang Bermula dengan mendefinisikan kelas yang diwarisi daripada dipanggil Kumpulan data ini: tf.data.Dataset ArtificialDataset Menghasilkan sampel num_samples (default ialah 3) Tidur untuk beberapa masa sebelum item pertama untuk mensimulasikan membuka fail Tidur untuk beberapa masa sebelum menghasilkan setiap item untuk mensimulasikan data bacaan daripada fail class ArtificialDataset(tf.data.Dataset): def _generator(num_samples): # Opening the file time.sleep(0.03) for sample_idx in range(num_samples): # Reading data (line, record) from the file time.sleep(0.015) yield (sample_idx,) def __new__(cls, num_samples=3): return tf.data.Dataset.from_generator( cls._generator, output_signature = tf.TensorSpec(shape = (1,), dtype = tf.int64), args=(num_samples,) ) Data ini serupa dengan satu, menambah penundaan tetap pada permulaan dan di antara setiap sampel. tf.data.Dataset.range Latihan loop Seterusnya, tulis lingkaran latihan dummy yang mengukur berapa lama yang diperlukan untuk berulang-ulang pada set data. def benchmark(dataset, num_epochs=2): start_time = time.perf_counter() for epoch_num in range(num_epochs): for sample in dataset: # Performing a training step time.sleep(0.01) print("Execution time:", time.perf_counter() - start_time) Optimalkan prestasi Untuk menunjukkan bagaimana prestasi boleh dioptimalkan, anda akan meningkatkan prestasi . ArtificialDataset Pendekatan Naif Mulakan dengan paip naif menggunakan tiada trik, berulang-ulang di atas set data as-is. benchmark(ArtificialDataset()) WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723689002.526086 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.529717 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.533395 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.537215 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.548874 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.552105 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.555507 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.559016 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.562268 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.565421 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.568842 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.572296 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.797478 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.799457 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.801473 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.803565 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.805613 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.807466 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.809382 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.811373 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.813299 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.815122 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.817022 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.819005 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.857728 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.860099 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.862063 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.864094 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.866073 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.867912 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.869940 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.871942 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.873924 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.876256 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.878556 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.880974 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 Execution time: 0.28992818999995507 Di bawah kapak, inilah cara masa eksekusi anda digunakan: Plot menunjukkan bahawa melaksanakan langkah latihan melibatkan: Membuka fail jika belum dibuka Memulakan entri data daripada fail Menggunakan data untuk latihan Walau bagaimanapun, dalam pelaksanaan sinkron yang naif seperti di sini, manakala paip anda sedang mengambil data, model anda sedang duduk kosong. Sebaliknya, manakala model anda sedang latihan, paip input sedang duduk kosong. Seksyen seterusnya membina paip input ini, menggambarkan amalan terbaik untuk reka bentuk paip input TensorFlow yang berkuasa. Prefetching Prefetching meliputi praproses dan model pelaksanaan langkah latihan sementara model menjalankan langkah latihan , paip input sedang membaca data langkah demi langkah Melakukannya mengurangkan masa langkah kepada maksimum (bukan jumlah) latihan dan masa yang diperlukan untuk mengekstrak data. s s+1 yang Api menyediakan transformasi. Ia boleh digunakan untuk memisahkan masa apabila data dihasilkan daripada masa apabila data dikonsumsi. Khususnya, transformasi menggunakan benang latar belakang dan buffer dalaman untuk mencadangkan elemen daripada set data input sebelum masa yang diminta. Bilangan elemen untuk mencadangkan hendaklah sama dengan (atau mungkin lebih besar daripada) bilangan batch yang dikonsumsi oleh satu langkah latihan. Anda boleh menyesuaikan nilai ini secara manual, atau menetapkan ia kepada yang akan mempercepatkan runtime untuk menyesuaikan nilai secara dinamik pada runtime. tf.data tf.data.Dataset.prefetch tf.data.AUTOTUNE tf.data Perhatikan bahawa transformasi prafetch menyediakan faedah pada bila-bila masa terdapat peluang untuk meliputi kerja seorang "pengeluar" dengan kerja seorang "pelanggan". benchmark( ArtificialDataset() .prefetch(tf.data.AUTOTUNE) ) Execution time: 0.282483695999872 Sekarang, seperti pelan masa pelaksanaan data menunjukkan, manakala langkah latihan sedang berjalan untuk sampel 0, paip input sedang membaca data untuk sampel 1, dan sebagainya. Pengekstrakan data paralel Dalam tetapan dunia sebenar, data input mungkin disimpan jauh (contohnya, pada Penyimpanan Google Cloud atau HDFS).Papiluan set data yang berfungsi dengan baik apabila membaca data secara tempatan mungkin menjadi terhalang pada I/O apabila membaca data jauh kerana perbezaan berikut antara penyimpanan tempatan dan jauh: Time-to-first-byte: Membaca byte pertama fail dari storan jauh boleh mengambil pesanan saiz yang lebih lama daripada dari storan tempatan. Read throughput: Walaupun penyimpanan jauh biasanya menawarkan bandwidth agregat yang besar, membaca fail tunggal mungkin hanya boleh menggunakan sebahagian kecil bandwidth ini. Selain itu, sebaik sahaja bajet mentah dimuat naik ke dalam memori, ia juga mungkin perlu untuk deserialize dan / atau mendekripsi data (contohnya. Overhead ini hadir tidak kira sama ada data disimpan secara tempatan atau jauh, tetapi boleh menjadi lebih teruk dalam kes terpencil jika data tidak diprediksi secara berkesan. Protobuf Untuk mengurangkan kesan pelbagai pengeluaran data secara keseluruhan, transformasi boleh digunakan untuk melambatkan langkah muat naik data, meninggalkan antara kandungan set data lain (seperti pembaca fail data). perbezaan, manakala tahap paralelisme boleh ditentukan oleh Perkara yang serupa dengan Pengubahsuaian, yang Transformasi menyokong , yang akan mengehadkan keputusan mengenai tahap paralelisme yang akan digunakan untuk runtime sahaja. tf.data.Dataset.interleave cycle_length num_parallel_calls prefetch interleave tf.data.AUTOTUNE tf.data Sekuensial interleave Argumen-argumen yang tidak jelas daripada transformasi membuatnya interleave sampel tunggal dari dua set data secara berurutan. tf.data.Dataset.interleave benchmark( tf.data.Dataset.range(2) .interleave(lambda _: ArtificialDataset()) ) Execution time: 0.4770545540004605 Rencana masa pelaksanaan data ini membolehkan untuk memaparkan tingkah laku transformasi, mengambil sampel secara alternatif daripada dua set data yang tersedia. Walau bagaimanapun, tiada peningkatan prestasi terlibat di sini. interleave Perbezaan antara Sekarang, gunakanlah Argumen daripada Ini muat turun pelbagai set data secara paralel, mengurangkan masa menunggu fail untuk dibuka. num_parallel_calls interleave benchmark( tf.data.Dataset.range(2) .interleave( lambda _: ArtificialDataset(), num_parallel_calls=tf.data.AUTOTUNE ) ) Execution time: 0.37743708600009995 Kali ini, seperti yang ditunjukkan oleh rancangan masa pelaksanaan data, bacaan kedua-dua set data diselaraskan, mengurangkan masa pemprosesan data global. Transformasi Data Parallel Apabila menyediakan data, elemen input mungkin perlu diproses terlebih dahulu. Api menawarkan transformasi, yang menggunakan fungsi yang ditakrifkan oleh pengguna kepada setiap elemen set data input. Oleh kerana elemen input adalah bebas antara satu sama lain, pra-prosesan boleh diselaraskan di antara beberapa inti CPU. dan Transformasi, yang Transformasi menyediakan untuk menentukan tahap paralelisme. tf.data tf.data.Dataset.map prefetch interleave map num_parallel_calls Memilih nilai terbaik untuk argumen bergantung kepada perkakasan anda, ciri-ciri data latihan anda (seperti saiz dan bentuknya), kos fungsi peta anda, dan apa pemprosesan lain yang berlaku pada CPU pada masa yang sama. dan Pengubahsuaian, yang Transformasi menyokong yang akan memberikan keputusan mengenai tahap paralelisme yang akan digunakan untuk runtime sahaja. num_parallel_calls prefetch interleave map tf.data.AUTOTUNE tf.data def mapped_function(s): # Do some hard pre-processing tf.py_function(lambda: time.sleep(0.03), [], ()) return s Peta yang berurutan Mulakan dengan menggunakan transformasi tanpa paralelisme sebagai contoh asas. map benchmark( ArtificialDataset() .map(mapped_function) ) Execution time: 0.49222556600034295 Mengenai yang , di sini, seperti plot menunjukkan, masa yang dihabiskan untuk membuka, membaca, pra-pemprosesan (mapping) dan latihan langkah menyatukan bersama-sama untuk satu iterasi tunggal. Pendekatan Naif Peta paralel Sekarang, gunakan fungsi pra-pemprosesan yang sama tetapi menerapkannya secara paralel pada beberapa sampel. benchmark( ArtificialDataset() .map( mapped_function, num_parallel_calls=tf.data.AUTOTUNE ) ) Execution time: 0.36392719900049997 Seperti plot data menunjukkan, langkah-langkah pra-pemprosesan meliputi, mengurangkan masa keseluruhan untuk satu iterasi. Penyimpanan yang transformasi boleh cache set data, sama ada dalam memori atau pada storan tempatan. Ini akan menjimatkan beberapa operasi (seperti membuka fail dan membaca data) daripada dijalankan semasa setiap era. tf.data.Dataset.cache benchmark( ArtificialDataset() .map( # Apply time consuming operations before cache mapped_function ).cache( ), 5 ) Execution time: 0.3864543270001377 Di sini, rancangan masa pelaksanaan data menunjukkan bahawa apabila anda memadamkan set data, transformasi sebelum satu (seperti pembukaan fail dan bacaan data) hanya dijalankan semasa era pertama. dalam transformasi. cache cache Jika fungsi yang ditakrifkan oleh pengguna telah dipindahkan ke pengubahsuaian adalah mahal, menggunakan Transformasi selepas transformasi selagi set data yang dihasilkan masih boleh dimasukkan ke dalam memori atau storan tempatan.Jika fungsi yang ditakrifkan oleh pengguna meningkatkan ruang yang diperlukan untuk menyimpan set data melebihi kapasiti cache, gunakan ia selepas Transformasi atau pertimbangkan untuk memproses data anda sebelum kerja latihan anda untuk mengurangkan penggunaan sumber. map cache map cache Maklumat vektor Memanggil fungsi yang didefinisikan oleh pengguna yang telah dipindahkan ke transformasi mempunyai overhead berkaitan dengan jadual dan melaksanakan fungsi yang ditakrifkan oleh pengguna. vektorisasi fungsi yang ditakrifkan oleh pengguna (iaitu, membolehkan ia beroperasi di atas serangkaian input pada satu masa) dan menerapkan fungsi Transformasi yang dalam transformasi. map batch sebelum map Untuk menggambarkan amalan yang baik ini, set data buatan anda tidak sesuai. Keterlambatan jadual adalah kira-kira 10 mikrosekund (10e-6 saat), jauh kurang daripada beribu-ribu milisekund yang digunakan dalam Oleh itu, kesan mereka sukar untuk dilihat. ArtificialDataset Sebagai contoh, gunakan asas berfungsi dan menyederhanakan lingkaran latihan kepada bentuk yang paling mudah. tf.data.Dataset.range fast_dataset = tf.data.Dataset.range(10000) def fast_benchmark(dataset, num_epochs=2): start_time = time.perf_counter() for _ in tf.data.Dataset.range(num_epochs): for _ in dataset: pass tf.print("Execution time:", time.perf_counter() - start_time) def increment(x): return x+1 Peta skala fast_benchmark( fast_dataset # Apply function one item at a time .map(increment) # Batch .batch(256) ) Execution time: 0.23993100699954084 Plot di atas menggambarkan apa yang sedang berlaku (dengan lebih sedikit sampel) menggunakan kaedah peta skalar.Ia menunjukkan bahawa fungsi dipaparkan digunakan untuk setiap sampel.Walaupun fungsi ini sangat cepat, ia mempunyai beberapa overhead yang mempengaruhi prestasi masa. Maklumat vektor fast_benchmark( fast_dataset .batch(256) # Apply function on a batch of items # The tf.Tensor.__add__ method already handle batches .map(increment) ) Execution time: 0.04984995199993136 Kali ini, fungsi dipaparkan dipanggil sekali dan terpakai kepada serangkaian sampel.Sebagai plot masa pelaksanaan data menunjukkan, manakala fungsi boleh mengambil lebih banyak masa untuk menjalankan, overhead muncul hanya sekali, meningkatkan prestasi masa keseluruhan. Mengurangkan jejak memori Terdapat pelbagai transformasi, termasuk daripada dan , mengekalkan buffer dalaman elemen. Jika fungsi yang ditakrifkan oleh pengguna telah dipindahkan ke transformasi mengubah saiz unsur-unsur, kemudian urutan transformasi peta dan transformasi yang unsur-unsur buffer memberi kesan kepada penggunaan memori. Secara amnya, pilih urutan yang menghasilkan kesan memori yang lebih rendah, melainkan urutan yang berbeza adalah diingini untuk prestasi. interleave prefetch shuffle map Caching Komputer Bahagian Adalah disyorkan untuk menyimpan cache data selepas transformasi kecuali jika transformasi ini menjadikan data terlalu besar untuk dimasukkan ke dalam memori. Sebuah kompromi boleh dicapai jika fungsi yang dipaparkan anda boleh dibahagikan kepada dua bahagian: satu memakan masa dan satu memori memakan bahagian. map dataset.map(time_consuming_mapping).cache().map(memory_consuming_mapping) Dengan cara ini, bahagian yang memakan masa hanya dijalankan semasa era pertama, dan anda mengelakkan menggunakan terlalu banyak ruang cache. Awalnya diterbitkan di laman web TensorFlow, artikel ini muncul di sini di bawah tajuk baru dan dilesenkan di bawah CC BY 4.0. Awalnya diterbitkan di laman web TensorFlow, artikel ini muncul di sini di bawah tajuk baru dan dilesenkan di bawah CC BY 4.0. TensorFlow TensorFlow