Sie verschwenden GPU-Leistung - reparieren Sie Ihre TensorFlow-Eingabepipeline heute

Content Übersicht Übersicht Ressourcen Setup Der Datensatz Die Trainingslücke Optimierter Ansatz Der naive Ansatz Prefetchieren Parallele Datenextraktion Parallele Datentransformation Das Caching Vektorisierung Mapping Reduziert den Gedächtnisfußabdruck Übersicht GPUs und TPUs können die Zeit, die für die Ausführung eines einzelnen Trainingsschritts benötigt wird, drastisch verkürzen.Die Erreichung der Spitzenleistung erfordert eine effiziente Eingabepipeline, die Daten für den nächsten Schritt liefert, bevor der aktuelle Schritt abgeschlossen ist. API hilft, flexible und effiziente Eingabepipelines zu bauen. Dieses Dokument zeigt, wie man die API zum Aufbau hochleistungsfähiger TensorFlow-Eingangsrohrleitungen. tf.data tf.data Bevor Sie weitermachen, überprüfen Sie die Leitfaden, um zu lernen, wie man die Das Feuer. Erstellen von TensorFlow Input Pipelines tf.data Ressourcen Erstellen von TensorFlow Input Pipelines tf.data.Dataset API für Daten Analyse der tf.data-Leistung mit dem TF Profiler Setup import tensorflow as tf import time 2024-08-15 02:29:59.860833: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 02:29:59.882136: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 02:29:59.888640: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered Während dieser Anleitung werden Sie über einen Datensatz iterieren und die Leistung messen. Das Erstellen reproduzierbarer Leistungsbenchmarks kann schwierig sein. Verschiedene Faktoren, die die reproduzierbarkeit beeinflussen, umfassen: Die aktuelle CPU-Ladung Der Netzverkehr Komplexe Mechanismen wie Cache Um einen reproduzierbaren Benchmark zu erhalten, bauen Sie ein künstliches Beispiel auf. Der Datensatz Beginnen Sie mit der Definition einer Klasse, die von aufgerufen Dieser Datensatz: tf.data.Dataset ArtificialDataset Erzeugt num_samples samples (Default ist 3) Schläft einige Zeit vor dem ersten Element, um das Öffnen einer Datei zu simulieren Schläft einige Zeit, bevor jedes Element produziert wird, um Lesedaten aus einer Datei zu simulieren class ArtificialDataset(tf.data.Dataset): def _generator(num_samples): # Opening the file time.sleep(0.03) for sample_idx in range(num_samples): # Reading data (line, record) from the file time.sleep(0.015) yield (sample_idx,) def __new__(cls, num_samples=3): return tf.data.Dataset.from_generator( cls._generator, output_signature = tf.TensorSpec(shape = (1,), dtype = tf.int64), args=(num_samples,) ) Diese Daten sind ähnlich wie die eine, indem eine feste Verzögerung am Anfang und zwischen jeder Probe hinzugefügt wird. tf.data.Dataset.range Die Trainingslücke Als nächstes schreiben Sie eine dummy training loop, die misst, wie lange es dauert, um über einen datensatz zu iterieren. def benchmark(dataset, num_epochs=2): start_time = time.perf_counter() for epoch_num in range(num_epochs): for sample in dataset: # Performing a training step time.sleep(0.01) print("Execution time:", time.perf_counter() - start_time) Leistung optimieren Um zu zeigen, wie die Leistung optimiert werden kann, verbessern Sie die Leistung des . ArtificialDataset Der naive Ansatz Beginnen Sie mit einer naiven Pipeline ohne Tricks und iterieren Sie über den Datensatz as-is. benchmark(ArtificialDataset()) WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723689002.526086 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.529717 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.533395 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.537215 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.548874 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.552105 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.555507 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.559016 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.562268 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.565421 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.568842 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689002.572296 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.797478 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.799457 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.801473 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.803565 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.805613 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.807466 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.809382 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.811373 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.813299 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.815122 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.817022 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.819005 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.857728 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.860099 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.862063 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.864094 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.866073 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.867912 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.869940 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.871942 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.873924 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.876256 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.878556 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723689003.880974 112933 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 Execution time: 0.28992818999995507 Unter dem Hut ist dies, wie Ihre Ausführungszeit verbracht wurde: Die Handlung zeigt, dass die Durchführung eines Trainingsschritts beinhaltet: Öffnen einer Datei, wenn sie noch nicht geöffnet wurde Abrufen eines Dateneingangs aus der Datei Verwendung der Daten für die Ausbildung In einer naiven synchronen Implementierung wie hier, während Ihre Pipeline die Daten abholt, sitzt Ihr Modell leer. Umgekehrt, während Ihr Modell trainiert, sitzt die Eingabepipeline leer. Die folgenden Abschnitte bauen auf dieser Eingabepipeline auf und veranschaulichen bewährte Praktiken für die Gestaltung leistungsstarker TensorFlow-Eingabepipelines. Prefetchieren Prefetching überlappt die Vorverarbeitung und Modellausführung eines Trainingsschritts, während das Modell den Trainingsschritt ausführt , die Eingabepipeline liest die Daten Schritt für Schritt Dies reduziert die Schrittzeit auf das Maximum (im Gegensatz zur Summe) des Trainings und die Zeit, die es braucht, um die Daten zu extrahieren. s s+1 Die Das Feuer bietet die Transformation. Es kann verwendet werden, um die Zeit, in der Daten erzeugt werden, von der Zeit zu trennen, in der Daten verbraucht werden. Insbesondere verwendet die Transformation einen Hintergrunddraht und einen internen Puffer, um Elemente aus dem Eingabedatensatz vor der Zeit, in der sie angefordert werden, vorzuführen. Die Anzahl der Elemente, die vorzuführen sind, sollte gleich sein (oder möglicherweise größer als) die Anzahl der Batches, die durch einen einzelnen Trainingsschritt verbraucht werden. Das wird den schnellen Laufzeit, um den Wert dynamisch in Laufzeit anzupassen. tf.data tf.data.Dataset.prefetch tf.data.AUTOTUNE tf.data Beachten Sie, dass die Prefetch-Transformation jederzeit Vorteile bietet, wenn es die Möglichkeit gibt, die Arbeit eines "Produzenten" mit der Arbeit eines "Verbrauchers" zu überlappen. benchmark( ArtificialDataset() .prefetch(tf.data.AUTOTUNE) ) Execution time: 0.282483695999872 Nun, wie der Zeitplan für die Ausführung von Daten zeigt, während der Schulungsschritt für Probe 0 läuft, liest die Eingabepipeline die Daten für Probe 1 und so weiter. Parallele Datenextraktion In einer Echtzeit-Einstellung können die Eingabedaten aus der Ferne gespeichert werden (z. B. auf Google Cloud Storage oder HDFS).Ein Datensatz-Pipeline, das gut funktioniert, wenn Daten lokal gelesen werden, kann aufgrund der folgenden Unterschiede zwischen lokalen und Remote-Speicher auf I/O gesperrt werden: Time-to-first-Byte: Das Lesen des ersten Bytes einer Datei aus dem Remote-Speicher kann Bestellungen von größerer Größe als aus dem lokalen Speicher dauern. Lesen Durchsatz: Während Remote-Speicher in der Regel große Gesamtbandbreite bietet, kann das Lesen einer einzelnen Datei möglicherweise nur einen kleinen Bruchteil dieser Bandbreite nutzen. Zusätzlich, sobald die Rohbytes in den Speicher geladen werden, kann es auch notwendig sein, die Daten zu deserialisieren und/oder zu entschlüsseln (z.B. Diese Überlastung ist unabhängig davon vorhanden, ob die Daten lokal oder remote gespeichert werden, kann aber im Remote-Fall schlimmer sein, wenn die Daten nicht effektiv vorgefertigt werden. Protobuf Um die Auswirkungen der verschiedenen Datenextraktion im Allgemeinen zu mildern, Die Transformation kann verwendet werden, um den Datenladeschritt parallel zu gestalten, wobei der Inhalt anderer Datensätze (z. B. Datendatei-Leser) miteinander verbunden ist. Argumentation, während der Grad der Parallelität durch die Argumentation: Ähnlich wie die Die Transformation, die Transformation unterstützt , die die Entscheidung darüber delegieren wird, welche Ebene des Parallelismus für die Die Runtime. tf.data.Dataset.interleave cycle_length num_parallel_calls prefetch interleave tf.data.AUTOTUNE tf.data Sequentielle Interleave Die fehlerhaften Argumente der Die Transformation führt dazu, dass einzelne Proben aus zwei Datensätzen sequentiell miteinander verbunden werden. tf.data.Dataset.interleave benchmark( tf.data.Dataset.range(2) .interleave(lambda _: ArtificialDataset()) ) Execution time: 0.4770545540004605 Dieser Zeitplan für die Datenausführung ermöglicht es, das Verhalten der Transformation, das Abholen von Proben alternativ aus den beiden verfügbaren Datensätzen. Allerdings ist hier keine Leistungsverbesserung beteiligt. interleave Parallel zwischen Jetzt benutzen Sie die Argumentation des Dadurch werden mehrere Datensätze parallel geladen, wodurch die Wartezeit für das Öffnen der Dateien verkürzt wird. num_parallel_calls interleave benchmark( tf.data.Dataset.range(2) .interleave( lambda _: ArtificialDataset(), num_parallel_calls=tf.data.AUTOTUNE ) ) Execution time: 0.37743708600009995 Diesmal, wie der Zeitplan für die Ausführung von Daten zeigt, wird die Lesung der beiden Datensätze paralleliert, was die globale Datenverarbeitungszeit verkürzt. Parallele Datentransformation Bei der Vorbereitung der Daten müssen die Eingabeelemente möglicherweise vorverarbeitet werden. Das Feuer bietet die transformation, die eine benutzerdefinierte funktion auf jedes element des eingangsdatensatzes anwendet. da die eingangselemente unabhängig voneinander sind, kann die vorverarbeitung über mehrere CPU-kernen parallelisiert werden. und Die Transformationen, die Die Transformation bietet die Ein Argument, um den Grad der Parallelität zu bestimmen. tf.data tf.data.Dataset.map prefetch interleave map num_parallel_calls Wählen Sie den besten Wert für die Das Argument hängt von Ihrer Hardware, den Merkmalen Ihrer Trainingsdaten (wie etwa ihrer Größe und Form), der Kosten Ihrer Kartefunktion und welcher anderen Verarbeitung auf der CPU gleichzeitig stattfindet. und Die Transformation, die Transformation unterstützt die die Entscheidung darüber delegieren wird, welche Ebene des Parallelismus für die Die Runtime. num_parallel_calls prefetch interleave map tf.data.AUTOTUNE tf.data def mapped_function(s): # Do some hard pre-processing tf.py_function(lambda: time.sleep(0.03), [], ()) return s Sequentielles Mapping Beginnen Sie mit der Verwendung der Transformation ohne Parallelen als Baseline-Beispiel. map benchmark( ArtificialDataset() .map(mapped_function) ) Execution time: 0.49222556600034295 Was die , hier, wie die Handlung zeigt, werden die für Öffnung, Lesen, Vorverarbeitung (Mapping) und Trainingsschritte verbrachten Zeiten für eine einzige Iteration zusammengefasst. Naive Vorgehensweise Parallelkarte Verwenden Sie jetzt die gleiche Vorverarbeitungsfunktion, aber wenden Sie sie parallel auf mehrere Proben an. benchmark( ArtificialDataset() .map( mapped_function, num_parallel_calls=tf.data.AUTOTUNE ) ) Execution time: 0.36392719900049997 Wie die Datenplattform zeigt, überlappen sich die Vorverarbeitungsschritte, wodurch die Gesamtzeit für eine einzelne Iteration reduziert wird. Das Caching Die Die Transformation kann einen Datensatz im Cache speichern, entweder im Speicher oder im lokalen Speicher. Dies spart einige Operationen (wie das Öffnen von Dateien und das Lesen von Daten) aus, die während jeder Epoche ausgeführt werden. tf.data.Dataset.cache benchmark( ArtificialDataset() .map( # Apply time consuming operations before cache mapped_function ).cache( ), 5 ) Execution time: 0.3864543270001377 Hier zeigt der Zeitrahmenplan für die Ausführung von Daten, dass beim Cache eines Datensatzes die Transformationen vor dem Eines (wie das Öffnen von Dateien und das Lesen von Daten) wird nur während der ersten Epoche ausgeführt. Die Transformation. cache cache Wenn die benutzerdefinierte Funktion in die Umwandlung ist teuer, die Anwendung der Die Transformation nach dem Umwandlung, solange der resultierende Datensatz noch in den Speicher oder den lokalen Speicher passen kann. Wenn die benutzerdefinierte Funktion den zur Speicherung des Datensatzes erforderlichen Raum über die Cache-Kapazität hinaus erhöht, Transformation oder Überlegung der Vorverarbeitung Ihrer Daten vor Ihrem Schulungsjob, um die Ressourcennutzung zu reduzieren. map cache map cache Vektorisierung Mapping Aufforderung einer benutzerdefinierten Funktion, die in die Die Transformation hat übergeordnet mit der Planung und Ausführung der benutzerdefinierten Funktion zu tun.Vektorisieren Sie die benutzerdefinierte Funktion (d.h. lassen Sie sie über eine Reihe von Eingängen gleichzeitig arbeiten) und wenden Sie die Transformation Die Die Transformation. map batch Vorher map Um diese gute Praxis zu veranschaulichen, ist Ihr künstlicher Datensatz nicht geeignet. Die Zeitverzögerung beträgt ungefähr 10 Mikrosekunden (10e-6 Sekunden), weit weniger als die Dutzende von Millisekunden, die in der Und so ist seine Wirkung schwer zu sehen. ArtificialDataset Verwenden Sie zum Beispiel die Basis Funktionieren und vereinfachen Sie die Trainingsschleife in ihrer einfachsten Form. tf.data.Dataset.range fast_dataset = tf.data.Dataset.range(10000) def fast_benchmark(dataset, num_epochs=2): start_time = time.perf_counter() for _ in tf.data.Dataset.range(num_epochs): for _ in dataset: pass tf.print("Execution time:", time.perf_counter() - start_time) def increment(x): return x+1 - Scalar Mapping fast_benchmark( fast_dataset # Apply function one item at a time .map(increment) # Batch .batch(256) ) Execution time: 0.23993100699954084 Die obige Handlung illustriert, was passiert (mit weniger Proben) mithilfe der Skalar-Mapping-Methode. Es zeigt, dass die gemappte Funktion für jede Probe angewendet wird. Während diese Funktion sehr schnell ist, hat sie einige Überschüsse, die die Zeitleistung beeinflussen. Vektorisierte Mapping fast_benchmark( fast_dataset .batch(256) # Apply function on a batch of items # The tf.Tensor.__add__ method already handle batches .map(increment) ) Execution time: 0.04984995199993136 Wie der Zeitplan für die Ausführung von Daten zeigt, während die Funktion länger dauern könnte, erscheint die Überschrift nur einmal, wodurch die Gesamtzeitleistung verbessert wird. Reduziert den Gedächtnisfußabdruck Eine Reihe von Transformationen, darunter , der und , einen internen Puffer von Elementen beibehalten. Wenn die benutzerdefinierte Funktion in die Transformation ändert die Größe der Elemente, dann die Reihenfolge der Kartentransformation und die Transformationen, die Pufferelemente beeinflusst die Speicherverwendung. interleave prefetch shuffle map Caching von partiellen Berechnungen Es wird empfohlen, den Datensatz nach der Transformation, es sei denn, diese Transformation macht die Daten zu groß, um in das Gedächtnis zu passen. Ein Kompromiss kann erreicht werden, wenn Ihre gemappte Funktion in zwei Teile aufgeteilt werden kann: einen Zeitverbrauchenden und einen Speicherverbrauchenden Teil. map dataset.map(time_consuming_mapping).cache().map(memory_consuming_mapping) Auf diese Weise wird der zeitaufwendige Teil nur während der ersten Epoche ausgeführt, und Sie vermeiden, zu viel Cache-Raum zu verwenden. Ursprünglich auf der TensorFlow-Website veröffentlicht, erscheint dieser Artikel hier unter einer neuen Überschrift und ist unter CC BY 4.0 lizenziert. Ursprünglich auf der TensorFlow-Website veröffentlicht, erscheint dieser Artikel hier unter einer neuen Überschrift und ist unter CC BY 4.0 lizenziert. TensorFlow TensorFlow