Estás a perder a enerxía da GPU - Fixar o teu tubo de entrada de TensorFlow hoxe

Contido da visión xeral visión xeral Recursos Instalacións Os datos O curso de formación loop Optimización do enfoque O enfoque inxenuo Prefecturas Extracción de datos paralelos Transformación de datos paralelos Caché Mapa de vectores Redución da pegada da memoria visión xeral As GPUs e TPUs poden reducir radicalmente o tempo necesario para executar un único paso de adestramento. Lograr o rendemento máximo require unha tubería de entrada eficiente que entrega datos para o seguinte paso antes de que o paso actual estea rematado. API axuda a construír tubos de entrada flexibles e eficientes. API para construír tuberías de entrada TensorFlow de alto rendemento. tf.data tf.data Antes de continuar, verifique guía para aprender a usar unha fogueira. Construír tubos de entrada TensorFlow tf.data Recursos Construír tubos de entrada TensorFlow tf.data.Dataset API Páxina Análise do rendemento de tf.data co TF Profiler Instalacións import tensorflow as tf import time 2024-08-15 02:29:59.860833: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 02:29:59.882136: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 02:29:59.888640: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered Ao longo desta guía, repetirás a través dun conxunto de datos e medirás o rendemento. Facer referencias de rendemento reproducibles pode ser difícil. A carga actual da CPU O tráfico de rede mecanismos complexos, como o cache Para obter unha referencia reproducible, vai construír un exemplo artificial. Os datos Comezar por definir unha clase herdada de Chamado Este conxunto de datos: tf.data.Dataset ArtificialDataset Xera mostras num_samples (por defecto é 3) Durme durante algún tempo antes do primeiro elemento para simular a apertura dun ficheiro Durme durante algún tempo antes de producir cada elemento para simular os datos de lectura dun ficheiro class ArtificialDataset(tf.data.Dataset): def _generator(num_samples): # Opening the file time.sleep(0.03) for sample_idx in range(num_samples): # Reading data (line, record) from the file time.sleep(0.015) yield (sample_idx,) def __new__(cls, num_samples=3): return tf.data.Dataset.from_generator( cls._generator, output_signature = tf.TensorSpec(shape = (1,), dtype = tf.int64), args=(num_samples,) ) Estes datos son similares ao unha, engadindo un atraso fixo ao comezo de e entre cada mostra. tf.data.Dataset.range O curso de formación loop A continuación, escriba un ciclo de adestramento que mide canto tempo leva para repetir un conxunto de datos. def benchmark(dataset, num_epochs=2): start_time = time.perf_counter() for epoch_num in range(num_epochs): for sample in dataset: # Performing a training step time.sleep(0.01) print("Execution time:", time.perf_counter() - start_time) Optimización do rendemento Para mostrar como se pode optimizar o rendemento, mellorarás o rendemento do . ArtificialDataset O enfoque inxenuo Comezar cunha pipeline inxenuo usando ningún truco, iterando sobre o conxunto de datos como-é. benchmark(ArtificialDataset()) WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723689002.526086 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.529717 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.533395 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.537215 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.548874 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.552105 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.555507 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.559016 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.562268 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.565421 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.568842 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.572296 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.797478 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.799457 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.801473 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.803565 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.805613 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.807466 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.809382 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.811373 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.813299 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.815122 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.817022 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.819005 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.857728 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.860099 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.862063 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.864094 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.866073 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.867912 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.869940 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.871942 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.873924 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.876256 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.878556 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.880974 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 Execution time: 0.28992818999995507 Baixo o capó, é así como se gastou o seu tempo de execución: A trama mostra que realizar un paso de adestramento implica: Abrir un ficheiro se aínda non se abriu Retirar unha entrada de datos do ficheiro Utilización dos datos para a formación Non obstante, nunha implementación sincrónica inxenuo como aquí, mentres o seu tubo está recollendo os datos, o seu modelo está sentado baleiro. Inversamente, mentres o seu modelo está adestrando, o tubo de entrada está sentado baleiro. As seguintes seccións baséanse neste tubo de entrada, ilustrando as mellores prácticas para deseñar tubos de entrada de TensorFlow de alto rendemento. Prefecturas Prefetching sobrepasa a execución de preprocesamento e modelo dun paso de adestramento mentres o modelo está executando o paso de adestramento , o tubo de entrada está lendo os datos paso a paso Isto reduce o tempo de paso ao máximo (ao contrario da suma) do adestramento e o tempo que leva para extraer os datos. s s+1 A súa O lume proporciona transformación. Pódese usar para desconectar o tempo en que se producen os datos do momento en que se consomen os datos. En particular, a transformación usa un fío de fondo e un tampón interno para prefetchar elementos do conxunto de datos de entrada antes do tempo que se soliciten. O número de elementos a prefetchar debe ser igual (ou posiblemente maior que) ao número de lotes consumidos por un único paso de adestramento. que vai acelerar a Runtime para axustar o valor de xeito dinámico no runtime. tf.data tf.data.Dataset.prefetch tf.data.AUTOTUNE tf.data Ten en conta que a transformación prefetch proporciona beneficios en calquera momento hai unha oportunidade de sobrepor o traballo dun "produtor" co traballo dun "consumidor". benchmark( ArtificialDataset() .prefetch(tf.data.AUTOTUNE) ) Execution time: 0.282483695999872 Agora, como o cronograma de execución de datos mostra, mentres o paso de adestramento está en execución para a mostra 0, o tubo de entrada está a ler os datos para a mostra 1, e así por diante. Extracción de datos paralelos Nunha configuración do mundo real, os datos de entrada poden ser almacenados remotamente (por exemplo, en Google Cloud Storage ou HDFS).Un tubo de conxunto de datos que funciona ben cando os datos son lidos localmente pode quedar bloqueado en I/O cando os datos son lidos remotamente debido ás seguintes diferenzas entre o almacenamento local e remoto: Time-to-first-byte: A lectura do primeiro byte dun ficheiro desde o almacenamento remoto pode levar ordes de magnitude máis longa que desde o almacenamento local. Aínda que o almacenamento remoto normalmente ofrece un gran ancho de banda agregado, a lectura dun ficheiro só pode utilizar unha pequena fracción deste ancho de banda. Ademais, unha vez que os bytes crúas se carguen na memoria, tamén pode ser necesario deserializar e/ou descifrar os datos (por exemplo. Este overhead está presente independentemente de se os datos son almacenados localmente ou remotamente, pero pode ser peor no caso remoto se os datos non son prefetchados efectivamente. Protoboaxe Para mitigar o impacto das diversas extraccións de datos en xeral, o A transformación pode usarse para paralelizar o paso de carga de datos, deixando o contido doutros conxuntos de datos (como lectores de ficheiros de datos). argumentos, mentres que o nivel de paralelismo pode ser especificado polo Argumentos semellantes ao A transformación, o Apoio á transformación , que delegará a decisión sobre que nivel de paralelismo usar para a O Runtime. tf.data.Dataset.interleave cycle_length num_parallel_calls prefetch interleave tf.data.AUTOTUNE tf.data Secuencia intermedia Os argumentos defectuosos da A transformación fai que interleave mostras únicas de dous conxuntos de datos secuencialmente. tf.data.Dataset.interleave benchmark( tf.data.Dataset.range(2) .interleave(lambda _: ArtificialDataset()) ) Execution time: 0.4770545540004605 Este cronograma de execución de datos permite mostrar o comportamento do transformación, recollendo mostras alternativamente dos dous conxuntos de datos dispoñibles. con todo, non hai mellora de rendemento aquí. interleave Paralelos interxeracionais Agora, emprega o O argumento do Isto carga varios conxuntos de datos en paralelo, reducindo o tempo de espera para que os arquivos se abran. num_parallel_calls interleave benchmark( tf.data.Dataset.range(2) .interleave( lambda _: ArtificialDataset(), num_parallel_calls=tf.data.AUTOTUNE ) ) Execution time: 0.37743708600009995 Esta vez, como o cronograma de execución de datos mostra, a lectura dos dous conxuntos de datos é paralelizada, reducindo o tempo global de procesamento de datos. Transformación de datos paralelos Ao preparar os datos, os elementos de entrada poden ter que ser preprocesados. O incendio ofrece transformación, que aplica unha función definida polo usuario a cada elemento do conxunto de datos de entrada. Debido a que os elementos de entrada son independentes uns dos outros, o preprocesamento pode ser paralelizado a través de múltiples núcleos de CPU. e transformacións, o A transformación proporciona argumentos para especificar o nivel de paralelismo. tf.data tf.data.Dataset.map prefetch interleave map num_parallel_calls Elixindo o mellor valor para a argumento depende do seu hardware, características dos seus datos de adestramento (como o seu tamaño e forma), o custo da súa función de mapa, e que outro procesamento está a ocorrer na CPU ao mesmo tempo. e A transformación, o Apoio á transformación que vai delegar a decisión sobre que nivel de paralelismo usar para a O Runtime. num_parallel_calls prefetch interleave map tf.data.AUTOTUNE tf.data def mapped_function(s): # Do some hard pre-processing tf.py_function(lambda: time.sleep(0.03), [], ()) return s Mapeo secuencial Comezar a usar o Transformación sen paralelismo como exemplo de base. map benchmark( ArtificialDataset() .map(mapped_function) ) Execution time: 0.49222556600034295 En canto ao , aquí, como mostra a trama, os tempos gastados en abrir, ler, preprocesar (mapear) e adestrar os pasos suman xuntos para unha única iteración. Unha actitude ingénua Mapa paralelo Agora, use a mesma función de preprocesamento, pero aplícao en paralelo a varias mostras. benchmark( ArtificialDataset() .map( mapped_function, num_parallel_calls=tf.data.AUTOTUNE ) ) Execution time: 0.36392719900049997 Como demostra a trama de datos, os pasos de preprocesamento se sobrepasan, reducindo o tempo total para unha única iteración. Caché A súa A transformación pode cachear un conxunto de datos, xa sexa na memoria ou no almacenamento local. Isto aforrará algunhas operacións (como a apertura de ficheiros e a lectura de datos) de seren executadas durante cada época. tf.data.Dataset.cache benchmark( ArtificialDataset() .map( # Apply time consuming operations before cache mapped_function ).cache( ), 5 ) Execution time: 0.3864543270001377 Aquí, o cronograma de execución de datos mostra que cando se cache un conxunto de datos, as transformacións antes da unha (como a apertura de ficheiros e a lectura de datos) só se executan durante a primeira era. Unha transformación. cache cache Se a función definida polo usuario pasou ao a transformación é caro, aplicar o A transformación despois do transformación mentres o conxunto de datos resultante aínda poida encaixar na memoria ou no almacenamento local. Se a función definida polo usuario aumenta o espazo necesario para almacenar o conxunto de datos máis aló da capacidade de caché, aplica-lo despois do transformación ou considerar pre-procesar os seus datos antes do seu traballo de adestramento para reducir o uso de recursos. map cache map cache Mapa de vectores Invoque unha función definida polo usuario pasada ao A transformación ten relación coa planificación e execución da función definida polo usuario.Vectorizar a función definida polo usuario (é dicir, facela operar sobre un lote de entradas á vez) e aplicar a función definida polo usuario. Transformacións O Unha transformación. map batch Antes map Para ilustrar esta boa práctica, o seu conxunto de datos artificial non é axeitado. O atraso de programación é de arredor de 10 microsegundos (10e-6 segundos), moito menos que as decenas de milisegundos utilizados na Polo tanto, o seu impacto é difícil de ver. ArtificialDataset Para iso, empregamos a base Funciona e simplifica o ciclo de formación á súa forma máis sinxela. tf.data.Dataset.range fast_dataset = tf.data.Dataset.range(10000) def fast_benchmark(dataset, num_epochs=2): start_time = time.perf_counter() for _ in tf.data.Dataset.range(num_epochs): for _ in dataset: pass tf.print("Execution time:", time.perf_counter() - start_time) def increment(x): return x+1 Mapas escalares fast_benchmark( fast_dataset # Apply function one item at a time .map(increment) # Batch .batch(256) ) Execution time: 0.23993100699954084 A trama anterior ilustra o que está a suceder (con menos mostras) usando o método de mapeo escalar. Mostra que a función mapeada aplícase para cada mostra. Cartografía vectorial fast_benchmark( fast_dataset .batch(256) # Apply function on a batch of items # The tf.Tensor.__add__ method already handle batches .map(increment) ) Execution time: 0.04984995199993136 Esta vez, a función mapeada chámase unha vez e aplícase a un lote de mostra.Como o cronograma de execución de datos mostra, mentres que a función pode levar máis tempo para executarse, o overhead só aparece unha vez, mellorando o rendemento xeral do tempo. Redución da pegada da memoria Unha serie de transformacións, incluíndo , , e , manter un buffer interno de elementos. Se a función definida polo usuario pasou á transformación cambia o tamaño dos elementos, a continuación, a orde da transformación do mapa e as transformacións que os elementos tampón afecta o uso de memoria. En xeral, escoller a orde que resulta en menor pegada de memoria, a menos que a orde diferente é desexable para o rendemento. interleave prefetch shuffle map Cache de computacións parciais Recoméndase gardar o conxunto de datos despois do a transformación, agás se esta transformación fai que os datos sexan demasiado grandes para encaixar na memoria.Pódese lograr un compromiso se a función mapeada pode ser dividida en dúas partes: unha que consome tempo e unha que consome memoria. map dataset.map(time_consuming_mapping).cache().map(memory_consuming_mapping) Deste xeito, a parte que consume tempo só se executa durante a primeira época, e evita usar demasiado espazo de caché. Publicado orixinalmente no sitio web de TensorFlow, este artigo aparece aquí baixo un novo título e está licenciado baixo CC BY 4.0. Publicado orixinalmente no sitio web de TensorFlow, este artigo aparece aquí baixo un novo título e está licenciado baixo CC BY 4.0. TensorFlow TensorFlow