Content Übersicht 
 
 
 
 
 
 
 
 
 
 
 
 
 Leistungsdaten sammeln Profile für APIs Custom Training Loops Profilierung Profiling von Nutzungsfällen Best Practices für optimale Modellleistung Optimierung der Eingabedatenrohrleitung Threading und parallele Ausführung Misstrauisch Verbesserung der Geräteleistung zusätzliche Ressourcen Bekannte Beschränkungen Profiling mehrerer GPUs auf TensorFlow 2.2 und TensorFlow 2.3 Leistungsdaten sammeln Der TensorFlow Profiler sammelt Hostaktivitäten und GPU-Spuren Ihres TensorFlow-Modells.Sie können den Profiler so konfigurieren, dass er Leistungsdaten entweder im programmatischen Modus oder im Sampling-Modus sammelt. Profile für APIs Sie können die folgenden APIs verwenden, um Profile zu erstellen. 
 
 Programmiermodus mit dem TensorBoard Keras Callback (tf.keras.callbacks.TensorBoard) # Profile from batches 10 to 15
tb_callback = tf.keras.callbacks.TensorBoard(log_dir=log_dir,
                                             profile_batch='10, 15')

# Train the model and use the TensorBoard Keras callback to collect
# performance profiling data
model.fit(train_data,
          steps_per_epoch=20,
          epochs=5,
          callbacks=[tb_callback])
 
 
 Programmiermodus mit der tf.profiler Function API tf.profiler.experimental.start('logdir')
# Train the model here
tf.profiler.experimental.stop()
 
 
 Programmiermodus mit dem Kontextmanager with tf.profiler.experimental.Profile('logdir'):
    # Train the model here
    pass
 
 
 Hinweis: Wenn der Profiler zu lange ausgeführt wird, kann er aus dem Gedächtnis herausfallen. Es wird empfohlen, nicht mehr als 10 Schritte auf einmal zu profilieren. Wenn der Profiler zu lange ausgeführt wird, kann er aus dem Gedächtnis herausfallen. Es wird empfohlen, nicht mehr als 10 Schritte auf einmal zu profilieren. Vermeiden Sie das Profilieren der ersten paar Batches, um Ungenauigkeiten aufgrund der Initialisierung zu vermeiden. Note: 
 
 
 
 
 Sampling mode: Perform on-demand profiling by using   to start a gRPC server with your TensorFlow model run. After starting the gRPC server and running your model, you can capture a profile through the   button in the TensorBoard profile plugin. Use the script in the Install profiler section above to launch a TensorBoard instance if it is not already running. tf.profiler.experimental.server.start Capture Profile As an example, # Start a profiler server before your model runs.
tf.profiler.experimental.server.start(6009)
# (Model code goes here).
#  Send a request to the profiler server to collect a trace of your model.
tf.profiler.experimental.client.trace('grpc://localhost:6009',
                                      'gs://your_tb_logdir', 2000)
 Ein Beispiel für das Profilieren von mehreren Mitarbeitern: # E.g., your worker IP addresses are 10.0.0.2, 10.0.0.3, 10.0.0.4, and you
# would like to profile for a duration of 2 seconds.
tf.profiler.experimental.client.trace(
    'grpc://10.0.0.2:8466,grpc://10.0.0.3:8466,grpc://10.0.0.4:8466',
    'gs://your_tb_logdir',
    2000)
 Verwenden Sie die Dialog zu spezifizieren: Capture Profile 
 
 
 
 
 Eine begrenzte Liste von Profil-Dienst-URLs oder TPU-Namen. Die Dauer des Profils. Die Ebene von Gerät, Host und Python Funktion Call Tracking. Wie oft möchten Sie, dass der Profiler das Erfassen von Profilen erneut durchführt, wenn es zunächst nicht gelingt? Custom Training Loops Profilierung Um benutzerdefinierte Trainingsschleifen in Ihrem TensorFlow-Code zu profilieren, instrumentieren Sie die Trainingsschleife mit der API, um die Schrittgrenzen für den Profiler zu markieren. tf.profiler.experimental.Trace Die Argument wird als Präfix für die Schrittnamen verwendet, die Keyword-Argument wird in den Schrittnamen angefügt, und die Das Keyword-Argument bewirkt, dass dieses Trace-Ereignis vom Profiler als Schrittereignis verarbeitet wird. name step_num _r Als Beispiel, for step in range(NUM_STEPS):
    with tf.profiler.experimental.Trace('train', step_num=step, _r=1):
        train_data = next(dataset)
        train_step(train_data)
 Dadurch wird die Schritt-basierte Leistungsanalyse des Profiler ermöglicht und die Schrittereignisse im Trace Viewer angezeigt. Stellen Sie sicher, dass Sie den Datensatz-Iterator innerhalb der Kontext für eine genaue Analyse der Eingabepipeline. tf.profiler.experimental.Trace Der Code unten ist ein Anti-Pattern: 
 
 Warnung: Dies führt zu einer ungenauen Analyse der Eingabepipeline. Warnung: Dies führt zu einer ungenauen Analyse der Eingabepipeline. for step, train_data in enumerate(dataset):
    with tf.profiler.experimental.Trace('train', step_num=step, _r=1):
        train_step(train_data)
 Profiling von Nutzungsfällen Der Profiler deckt eine Reihe von Nutzungsfällen entlang vier verschiedenen Achsen ab. Einige der Kombinationen werden derzeit unterstützt und andere werden in Zukunft hinzugefügt. 
 
 
 
 Lokales vs. Remote Profiling: Dies sind zwei häufige Möglichkeiten, um Ihre Profiling-Umgebung einzurichten. Bei der lokalen Profiling wird die Profiling-API auf derselben Maschine angerufen, auf der Ihr Modell läuft, z. B. eine lokale Workstation mit GPUs. Profiling von mehreren Mitarbeitern: Sie können mehrere Maschinen profilieren, wenn Sie die verteilten Schulungsfunktionen von TensorFlow verwenden. Hardware-Plattform: Profile CPUs, GPUs und TPUs. Die folgende Tabelle bietet einen kurzen Überblick über die oben genannten TensorFlow-unterstützten Nutzungsfälle: 
 
 
 
 
 
 
 
 
 
 
 
 
 Profiling API 
 Local 
 Remote 
 Multiple workers 
 Hardware Platforms 
 
 
 
 
 
 
 TensorBoard Keras Callback 
 Supported 
 Not Supported 
 Not Supported 
 CPU, GPU 
 
 
 
 
 
 
  start/stop  tf.profiler.experimental API 
 Supported 
 Not Supported 
 Not Supported 
 CPU, GPU 
 
 
 
 
 
 
  client.trace  tf.profiler.experimental API 
 Supported 
 Supported 
 Supported 
 CPU, GPU, TPU 
 
 
 
 
 
 
 Context manager API 
 Supported 
 Not supported 
 Not Supported 
 CPU, GPU TensorBoard Keras Callback unterstützt Nicht unterstützt Nicht unterstützt CPU und GPU Start / Stop tf.profiler.experimental Feuer unterstützt Nicht unterstützt Nicht unterstützt CPU und GPU Kunde.Trace tf.profiler.experimental Feuer unterstützt unterstützt unterstützt CPU, GPU und TPU Context manager API unterstützt nicht unterstützt Nicht unterstützt CPU und GPU Best Practices für optimale Modellleistung Verwenden Sie die folgenden Empfehlungen für Ihre TensorFlow-Modelle, um eine optimale Leistung zu erzielen. Im Allgemeinen führen Sie alle Transformationen auf dem Gerät durch und stellen Sie sicher, dass Sie die neueste kompatible Version von Bibliotheken wie cuDNN und Intel MKL für Ihre Plattform verwenden. Optimierung der Eingabedatenrohrleitung Verwenden Sie die Daten aus dem [#input_pipeline_analyzer] um Ihre Dateninput-Pipeline zu optimieren. Eine effiziente Dateninput-Pipeline kann die Geschwindigkeit Ihrer Modellausführung drastisch verbessern, indem Sie die Geräteausfallzeit reduzieren. Anleitung und unten, um Ihre Dateninput-Pipeline effizienter zu gestalten. Bessere Leistung mit der tf.data API 
 
 
 
 
 
 
 
 
 Im Allgemeinen kann das Parallelen von Optionen, die nicht aufeinanderfolgend ausgeführt werden müssen, die Dateninput-Pipeline erheblich optimieren. In vielen Fällen hilft es, die Reihenfolge einiger Anrufe zu ändern oder die Argumente so anzupassen, dass sie für Ihr Modell am besten funktionieren.Während Sie die Eingabedatenleitung optimieren, benchmarken Sie nur den Datenlader ohne die Schulungs- und Rückverbreitungsschritte, um die Wirkung der Optimierungen unabhängig zu quantifizieren. Versuchen Sie, Ihr Modell mit synthetischen Daten auszuführen, um zu überprüfen, ob die Eingabepipeline eine Leistungslücke ist. Verwenden Sie tf.data.Dataset.shard für Multi-GPU-Training. Stellen Sie sicher, dass Sie sehr früh in der Eingabeschleife Shard aufnehmen, um Durchsatzreduktionen zu verhindern. Parallelieren Sie mehrere Optionen, indem Sie den Wert von num_parallel_calls mit tf.data.AUTOTUNE dynamisch einstellen. Erwägen Sie, die Verwendung von tf.data.Dataset.from_generator zu beschränken, da es im Vergleich zu reinen TensorFlow-Ops langsamer ist. Betrachten Sie die Einschränkung der Verwendung von tf.py_funktion, da sie nicht serialisiert werden kann und nicht in verteilten TensorFlow ausgeführt werden kann. Verwenden Sie tf.data.Options, um statische Optimierungen für die Eingabepipeline zu steuern. Lesen Sie auch die Leistungsanalyse für weitere Anleitungen zur Optimierung Ihrer Eingabepipeline. tf.data Führer Datenvergrößerung optimieren Wenn Sie mit Bilddaten arbeiten, erstellen Sie Ihre effizienter durch Casting auf verschiedene Datentypen Anwendung von räumlichen Transformationen, wie z. B. Flipping, Crop, Rotation usw. Datenerhöhung nach nach 
 
 Hinweis: Einige Optionen wie tf.image.resize ändern transparent den dtype auf fp32. Stellen Sie sicher, dass Sie Ihre Daten zwischen 0 und 1 normalisieren, wenn dies nicht automatisch geschieht. Hinweis: Einige Optionen wie tf.image.resize ändern transparent den dtype auf fp32. Stellen Sie sicher, dass Sie Ihre Daten zwischen 0 und 1 normalisieren, wenn dies nicht automatisch geschieht. Amp 
 
 
 
 
 Verwenden Sie NVIDIA® DALI In einigen Fällen, z. B. wenn Sie ein System mit einem hohen GPU-zu-CPU-Verhältnis haben, reichen alle oben genannten Optimierungen möglicherweise nicht aus, um die durch Einschränkungen der CPU-Zyklen verursachten Flaschenlücken im Datenlader zu beseitigen. Wenn Sie NVIDIA® GPUs für Computervision und Audio-Tieflern-Anwendungen verwenden, sollten Sie die Datenladebibliothek ( um die Datenleitung zu beschleunigen. Dali Überprüfen Sie die Dokumentation für eine Liste der unterstützten DALI-Ops. NVIDIA® DALI: Betrieb Threading und parallele Ausführung Führen Sie Operationen auf mehreren CPU-Fäden mit der Feuer, um sie schneller auszuführen. tf.config.threading Der für die Ausführung von TensorFlow-Optionen verfügbare Threadpool hängt von der Anzahl der verfügbaren CPU-Threads ab. Kontrollieren Sie die maximale parallele Geschwindigkeit für eine einzelne Op, indem Sie Beachten Sie, dass, wenn Sie mehrere Optionen parallel ausführen, sie alle den verfügbaren Threadpool teilen. tf.config.threading.set_intra_op_parallelism_threads Wenn Sie unabhängige nicht-blockierende Optionen haben (Optionen ohne gerichteten Pfad zwischen ihnen auf dem Diagramm), verwenden Sie um sie gleichzeitig mithilfe des verfügbaren Threadpools auszuführen. tf.config.threading.set_inter_op_parallelism_threads Misstrauisch Wenn Sie mit kleineren Modellen auf NVIDIA® GPUs arbeiten, können Sie Zwang alle CPU-Tensoren mit CUDA-Stickgedächtnis zugeordnet werden, um die Modellleistung erheblich zu steigern.Aber Vorsicht bei der Verwendung dieser Option für unbekannte/sehr große Modelle, da dies die Host (CPU) Leistung negativ beeinflussen könnte. tf.compat.v1.ConfigProto.force_gpu_compatible=True Verbesserung der Geräteleistung Folgen Sie den Best Practices, die hier und in um die Leistung des TensorFlow-Modells auf dem Gerät zu optimieren. GPU Performance Optimierung Wenn Sie NVIDIA GPUs verwenden, protokollieren Sie die GPU und Speicherverwendung in eine CSV-Datei, indem Sie: nvidia-smi
--query-gpu=utilization.gpu,utilization.memory,memory.total,
memory.free,memory.used --format=csv
 Datenlayout konfigurieren Bei der Arbeit mit Daten, die Kanalinformationen enthalten (wie Bilder), optimieren Sie das Datenlayout-Format, um Kanäle zuletzt (NHWC gegenüber NCHW) zu bevorzugen. Channel-last-Datenformate verbessern sich Nutzen und bieten erhebliche Leistungsverbesserungen vor allem in konvolutionellen Modellen, wenn sie mit AMP kombiniert werden. NCHW-Datenlayouts können immer noch von Tensor Cores betrieben werden, aber zusätzliche Overhead wegen automatischer Transpose-Optionen eingeführt werden. Tensor Kern Sie können das Datenlayout optimieren, um NHWC-Layouts zu bevorzugen, indem Sie Für Lager wie , der und . data_format="channels_last" tf.keras.layers.Conv2D tf.keras.layers.Conv3D tf.keras.layers.RandomRotation Benutze um das Standard-Datenlayout-Format für die Keras Backend-API festzulegen. tf.keras.backend.set_image_data_format Max aus dem L2 Cache Wenn Sie mit NVIDIA® GPUs arbeiten, führen Sie den Codeabschnitt unten vor der Trainingsschleife aus, um die Granularität des L2-Herstellens auf 128 Byte zu maximieren. import ctypes

_libcudart = ctypes.CDLL('libcudart.so')
# Set device limit on the current device
# cudaLimitMaxL2FetchGranularity = 0x05
pValue = ctypes.cast((ctypes.c_int*1)(), ctypes.POINTER(ctypes.c_int))
_libcudart.cudaDeviceSetLimit(ctypes.c_int(0x05), ctypes.c_int(128))
_libcudart.cudaDeviceGetLimit(pValue, ctypes.c_int(0x05))
assert pValue.contents.value == 128
 Konfigurieren von GPU Thread Usage Der GPU-Thread-Modus entscheidet, wie GPU-Threads verwendet werden. Setzen Sie den Thread-Modus auf um sicherzustellen, dass die Vorverarbeitung nicht alle GPU-Threads stehlen. Dies reduziert die Kernel-Startverzögerung während des Trainings. Sie können auch die Anzahl der Threads pro GPU festlegen. gpu_private import os

os.environ['TF_GPU_THREAD_MODE']='gpu_private'
os.environ['TF_GPU_THREAD_COUNT']='1'
 Konfigurieren von GPU-Speicheroptionen Im Allgemeinen erhöhen Sie die Batchgröße und skalieren Sie das Modell, um GPUs besser zu nutzen und eine höhere Durchsatzleistung zu erzielen. Beachten Sie, dass die Erhöhung der Batchgröße die Genauigkeit des Modells verändert, so dass das Modell durch Tuning von Hyperparametern wie der Lernrate skaliert werden muss, um die Zielgenauigkeit zu erreichen. Also benutze GPU-Speicher zu erweitern, um zu verhindern, dass der gesamte verfügbare Speicher vollständig auf Operationen zugewiesen wird, die nur einen Bruchteil des Speichers erfordern. tf.config.experimental.set_memory_growth Um mehr zu erfahren, überprüfen Sie die Anleitung in der GPU-Anleitung, um mehr zu erfahren. GPU-Speicherwachstum einschränken Misstrauisch 
 
 
 
 
 
 
 
 
 
 Erhöhen Sie die Training-Mini-Party-Größe (Anzahl der Training-Proben pro Gerät in einer Iteration der Trainingsschleife) auf die maximale Menge, die ohne einen OOM-Fehler (Out of Memory) auf der GPU passt. Stellen Sie report_tensor_allocations_upon_oom=False in tf.compat.v1.RunOptions ein. Bei Modellen mit Konvolutionsschichten entfernen Sie die Bias-Addition, wenn Sie Batch-Normalisierung verwenden. Batch-Normalisierung verschiebt Werte um ihren Durchschnitt und dies beseitigt die Notwendigkeit, einen konstanten Bias-Begriff zu haben. Verwenden Sie TF Stats, um herauszufinden, wie effizient Optionen auf Geräten ausgeführt werden. Verwenden Sie tf.function, um Berechnungen durchzuführen, und aktivieren Sie optional die jit_compile=True-Flagge (tf.function(jit_compile=True). Minimieren Sie Host-Python-Operationen zwischen den Schritten und reduzieren Sie Callbacks. Halten Sie die Gerätecomputer-Einheiten beschäftigt. Daten an mehrere Geräte parallel senden. Betrachten Sie die Verwendung von 16-Bit-Nummerrepräsentationen, wie fp16 - das von IEEE angegebene halbpräzise Schwimmpunktformat - oder das Brain Schwimmpunkt-Bfloat16-Format. zusätzliche Ressourcen 
 
 
 
 Der TensorFlow Profiler: Profilmodellleistungs-Tutorial mit Keras und TensorBoard, wo Sie die Tipps in diesem Leitfaden anwenden können. Die Performance-Profile in TensorFlow 2 sprechen vom TensorFlow Dev Summit 2020. Die TensorFlow Profiler Demo vom TensorFlow Dev Summit 2020. Bekannte Beschränkungen Profiling mehrerer GPUs auf TensorFlow 2.2 und TensorFlow 2.3 TensorFlow 2.2 und 2.3 unterstützen nur die Multi-GPU-Profilierung für einzelne Hostsysteme; Multi-GPU-Profilierung für Multi-Hostsysteme wird nicht unterstützt. Um Multi-Worker-GPU-Konfigurationen zu profilieren, muss jeder Mitarbeiter unabhängig profiliert werden. Das Feuer. tf.profiler.experimental.client.trace CUDA® Toolkit 10.2 oder neuer ist erforderlich, um mehrere GPUs zu profilieren. Da TensorFlow 2.2 und 2.3 CUDA® Toolkit-Versionen nur bis 10.1 unterstützen, müssen Sie symbolische Links zu und : libcudart.so.10.1 libcupti.so.10.1 sudo ln -s /usr/local/cuda/lib64/libcudart.so.10.2 /usr/local/cuda/lib64/libcudart.so.10.1
sudo ln -s /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.2 /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.1
 
 
 Ursprünglich auf der TensorFlow-Website veröffentlicht, erscheint dieser Artikel hier unter einer neuen Überschrift und ist unter CC BY 4.0 lizenziert. Ursprünglich auf der TensorFlow-Website veröffentlicht, erscheint dieser Artikel hier unter einer neuen Überschrift und ist unter CC BY 4.0 lizenziert. TensorFlow TensorFlow

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Wie man TensorFlow Profiler verwendet, um die Modellleistung zu optimieren

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

HackerNoon Decoded 2024: Celebrating Our Life Hacking Community!

HackerNoon Decoded 2024: Celebrating Our Startups Community!

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

HackerNoon Decoded 2024: Celebrating Our Life Hacking Community!

HackerNoon Decoded 2024: Celebrating Our Startups Community!

HackerNoon Decoded 2024: Celebrating Our Programming Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps