Cách sử dụng TensorFlow Profiler để tối ưu hóa hiệu suất mô hình

Nội dung Overview Thu thập dữ liệu hiệu suất Hồ sơ APIs Thiết kế custom training loops Profile case sử dụng Thực tiễn tốt nhất cho hiệu suất mô hình tối ưu Tối ưu hóa đường ống dẫn dữ liệu đầu vào Sử dụng threading và parallel execution Lãng mạn Cải thiện hiệu suất thiết bị Tài nguyên bổ sung Giới hạn quen thuộc TensorFlow 2.2 và TensorFlow 2.3 Thu thập dữ liệu hiệu suất TensorFlow Profiler thu thập các hoạt động máy chủ và dấu vết GPU của mô hình TensorFlow của bạn. Bạn có thể cấu hình Profiler để thu thập dữ liệu hiệu suất thông qua chế độ lập trình hoặc chế độ lấy mẫu. Hồ sơ APIs Bạn có thể sử dụng các API sau để thực hiện hồ sơ. Chế độ lập trình bằng cách sử dụng TensorBoard Keras Callback (tf.keras.callbacks.TensorBoard) # Profile from batches 10 to 15 tb_callback = tf.keras.callbacks.TensorBoard(log_dir=log_dir, profile_batch='10, 15') # Train the model and use the TensorBoard Keras callback to collect # performance profiling data model.fit(train_data, steps_per_epoch=20, epochs=5, callbacks=[tb_callback]) Chế độ lập trình bằng cách sử dụng tf.profiler Function API tf.profiler.experimental.start('logdir') # Train the model here tf.profiler.experimental.stop() Chế độ lập trình bằng cách sử dụng trình quản lý ngữ cảnh with tf.profiler.experimental.Profile('logdir'): # Train the model here pass Lưu ý: Chạy Profiler quá lâu có thể làm cho nó hết bộ nhớ.Nó được khuyến khích để hồ sơ không quá 10 bước cùng một lúc.Tránh hồ sơ các lô đầu tiên để tránh các sự không chính xác do quá tải ban đầu. Chạy Profiler quá lâu có thể làm cho nó hết bộ nhớ.Nó được khuyến khích để hồ sơ không quá 10 bước cùng một lúc.Tránh hồ sơ các lô đầu tiên để tránh sự không chính xác do đầu vào ban đầu. Note: Sampling mode: Perform on-demand profiling by using to start a gRPC server with your TensorFlow model run. After starting the gRPC server and running your model, you can capture a profile through the button in the TensorBoard profile plugin. Use the script in the Install profiler section above to launch a TensorBoard instance if it is not already running. tf.profiler.experimental.server.start Capture Profile As an example, # Start a profiler server before your model runs. tf.profiler.experimental.server.start(6009) # (Model code goes here). # Send a request to the profiler server to collect a trace of your model. tf.profiler.experimental.client.trace('grpc://localhost:6009', 'gs://your_tb_logdir', 2000) Một ví dụ về hồ sơ của nhiều công nhân: # E.g., your worker IP addresses are 10.0.0.2, 10.0.0.3, 10.0.0.4, and you # would like to profile for a duration of 2 seconds. tf.profiler.experimental.client.trace( 'grpc://10.0.0.2:8466,grpc://10.0.0.3:8466,grpc://10.0.0.4:8466', 'gs://your_tb_logdir', 2000) Sử dụng the Đối thoại để xác định: Capture Profile Một danh sách các URL dịch vụ hồ sơ hoặc tên TPU. Thời gian tạo profile Cấp thiết bị, máy chủ và chức năng gọi theo dõi Python. Bao nhiêu lần bạn muốn Profiler thực hiện lại việc thu thập hồ sơ nếu ban đầu không thành công. Thiết kế custom training loops Để cấu hình các vòng huấn luyện tùy chỉnh trong mã TensorFlow của bạn, hãy thiết bị vòng huấn luyện với API để đánh dấu giới hạn bước cho Profiler. tf.profiler.experimental.Trace Các argument được sử dụng như một tiền tố cho các tên bước, các đối số từ khóa được đính kèm trong tên bước, và đối số từ khóa làm cho sự kiện theo dõi này được xử lý như là một sự kiện bước của Profiler. name step_num _r Như một ví dụ, for step in range(NUM_STEPS): with tf.profiler.experimental.Trace('train', step_num=step, _r=1): train_data = next(dataset) train_step(train_data) Điều này sẽ cho phép phân tích hiệu suất dựa trên bước của Profiler và làm cho các sự kiện bước xuất hiện trong trình xem theo dõi. Đảm bảo rằng bạn bao gồm iterator dataset trong bối cảnh cho phân tích chính xác của đường ống dẫn đầu vào. tf.profiler.experimental.Trace Mã snippet dưới đây là một anti-pattern: Cảnh báo: Điều này sẽ dẫn đến phân tích không chính xác của đường ống đầu vào. Điều này sẽ dẫn đến phân tích không chính xác của đường ống đầu vào. Warning: for step, train_data in enumerate(dataset): with tf.profiler.experimental.Trace('train', step_num=step, _r=1): train_step(train_data) Profile case sử dụng Profile bao gồm một số trường hợp sử dụng dọc theo bốn trục khác nhau. Một số kết hợp hiện đang được hỗ trợ và những trường hợp khác sẽ được thêm vào trong tương lai. Local vs. Remote Profiling: Đây là hai cách phổ biến để thiết lập môi trường hồ sơ của bạn. Trong hồ sơ địa phương, API hồ sơ được gọi trên cùng một máy mà mô hình của bạn đang chạy, ví dụ, một trạm làm việc địa phương với GPU. Trong hồ sơ từ xa, API hồ sơ được gọi trên một máy khác từ nơi mô hình của bạn đang chạy, ví dụ, trên một Cloud TPU. Lập hồ sơ cho nhiều công nhân: Bạn có thể tạo hồ sơ cho nhiều máy khi sử dụng khả năng đào tạo phân tán của TensorFlow. Nền tảng phần cứng: Profile CPU, GPU và TPU. Bảng dưới đây cung cấp một cái nhìn tổng quan nhanh về các trường hợp sử dụng được hỗ trợ bởi TensorFlow được đề cập ở trên: Profiling API Local Remote Multiple workers Hardware Platforms TensorBoard Keras Callback Supported Not Supported Not Supported CPU, GPU start/stop tf.profiler.experimental API Supported Not Supported Not Supported CPU, GPU client.trace tf.profiler.experimental API Supported Supported Supported CPU, GPU, TPU Context manager API Supported Not supported Not Supported CPU, GPU TensorBoard Keras Callback ủng hộ Không ủng hộ Không ủng hộ CPU và GPU Bắt đầu / Stop tf.profiler.experimental Lửa ủng hộ Không ủng hộ Không ủng hộ CPU và GPU Khách hàng.trace tf.profiler.experimental Lửa ủng hộ ủng hộ ủng hộ CPU, GPU và TPU Context manager API ủng hộ Không ủng hộ Không ủng hộ CPU và GPU Thực tiễn tốt nhất cho hiệu suất mô hình tối ưu Sử dụng các khuyến nghị sau đây phù hợp với các mô hình TensorFlow của bạn để đạt được hiệu suất tối ưu. Nói chung, thực hiện tất cả các chuyển đổi trên thiết bị và đảm bảo rằng bạn sử dụng phiên bản tương thích mới nhất của thư viện như cuDNN và Intel MKL cho nền tảng của bạn. Tối ưu hóa đường ống dẫn dữ liệu đầu vào Sử dụng dữ liệu từ [#input_pipeline_analyzer] để tối ưu hóa đường ống nhập dữ liệu của bạn. Một đường ống nhập dữ liệu hiệu quả có thể cải thiện đáng kể tốc độ thực hiện mô hình của bạn bằng cách giảm thời gian vắng mặt của thiết bị. hướng dẫn và dưới đây để làm cho đường ống nhập dữ liệu của bạn hiệu quả hơn. Hiệu suất tốt hơn với tf.data API Nói chung, song song bất kỳ thao tác nào không cần phải được thực hiện theo thứ tự có thể tối ưu hóa đáng kể đường ống nhập dữ liệu. Trong nhiều trường hợp, nó giúp thay đổi thứ tự của một số cuộc gọi hoặc điều chỉnh các đối số để nó hoạt động tốt nhất cho mô hình của bạn. Trong khi tối ưu hóa đường ống dẫn dữ liệu đầu vào, chỉ so sánh bộ tải dữ liệu mà không cần các bước đào tạo và backpropagation để định lượng hiệu quả của các tối ưu hóa một cách độc lập. Hãy thử chạy mô hình của bạn với dữ liệu tổng hợp để kiểm tra xem đường ống đầu vào có phải là một chướng ngại vật hiệu suất hay không. Sử dụng tf.data.Dataset.shard để đào tạo nhiều GPU. Đảm bảo rằng bạn tách rất sớm trong vòng lặp đầu vào để ngăn chặn giảm lượng thông qua. Khi làm việc với TFRecords, hãy đảm bảo rằng bạn tách danh sách TFRecords chứ không phải nội dung của TFRecords. Đồng bộ hóa nhiều ops bằng cách thiết lập động giá trị của num_parallel_calls bằng cách sử dụng tf.data.AUTOTUNE. Xem xét hạn chế việc sử dụng tf.data.Dataset.from_generator vì nó chậm hơn so với các ops TensorFlow thuần túy. Xem xét hạn chế việc sử dụng tf.py_function vì nó không thể được serialized và không được hỗ trợ để chạy trong phân tán TensorFlow. Sử dụng tf.data.Options để kiểm soát các tối ưu hóa tĩnh cho đường ống đầu vào. Cũng đọc The Phân tích hiệu suất Để biết thêm hướng dẫn về việc tối ưu hóa đường ống dẫn đầu vào của bạn. tf.data Hướng dẫn Tối ưu hóa Data Augmentation Khi làm việc với dữ liệu hình ảnh, hãy tạo hiệu quả hơn bằng cách đúc vào các loại dữ liệu khác nhau áp dụng các biến đổi không gian, chẳng hạn như lật, cắt, xoay, v.v. Dữ liệu tăng Sau khi Sau khi Lưu ý: Một số tùy chọn như tf.image.resize thay đổi rõ ràng dtype thành fp32. Hãy chắc chắn rằng bạn bình thường hóa dữ liệu của bạn để nằm giữa 0 và 1 nếu nó không được thực hiện tự động. Một số OPS như Thay đổi Transparently hai Đảm bảo bạn bình thường hóa dữ liệu của bạn để nằm giữa và nếu nó không được thực hiện tự động. bỏ qua bước này có thể dẫn đến lỗi nếu bạn đã cho phép . Note: tf.image.resize dtype fp32 0 1 NaN AMP AMP Sử dụng NVIDIA® DALI Trong một số trường hợp, chẳng hạn như khi bạn có một hệ thống có tỷ lệ GPU-CPU cao, tất cả các tối ưu hóa trên có thể không đủ để loại bỏ các chướng ngại vật trong bộ tải dữ liệu gây ra do hạn chế của chu kỳ CPU. Nếu bạn đang sử dụng GPU NVIDIA® cho các ứng dụng thị giác máy tính và học sâu âm thanh, hãy xem xét sử dụng Thư viện tải dữ liệu ( - Tăng tốc đường ống dẫn dữ liệu. Dali Kiểm tra các Tài liệu cho một danh sách các ops DALI được hỗ trợ. NVIDIA® DALI: Hoạt động Sử dụng threading và parallel execution Run ops trên nhiều thread CPU với API để thực hiện chúng nhanh hơn. tf.config.threading TensorFlow tự động đặt số lượng các chủ đề song song theo mặc định. nhóm chủ đề có sẵn để chạy TensorFlow tùy thuộc vào số lượng chủ đề CPU có sẵn. Kiểm soát tốc độ song song tối đa cho một op duy nhất bằng cách sử dụng Lưu ý rằng nếu bạn chạy nhiều ops song song, tất cả chúng sẽ chia sẻ nhóm chủ đề có sẵn. tf.config.threading.set_intra_op_parallelism_threads Nếu bạn có các ops không chặn độc lập (ops không có đường dẫn giữa chúng trên biểu đồ), hãy sử dụng để chạy chúng đồng thời bằng cách sử dụng bể thread có sẵn. tf.config.threading.set_inter_op_parallelism_threads Lãng mạn Khi làm việc với các mô hình nhỏ hơn trên GPU NVIDIA®, bạn có thể để buộc tất cả các tensor CPU phải được phân bổ với bộ nhớ CUDA đính kèm để cung cấp một sự gia tăng đáng kể cho hiệu suất mô hình. Tuy nhiên, hãy cẩn thận trong khi sử dụng tùy chọn này cho các mô hình chưa biết / rất lớn vì điều này có thể ảnh hưởng tiêu cực đến hiệu suất máy chủ (CPU). tf.compat.v1.ConfigProto.force_gpu_compatible=True Cải thiện hiệu suất thiết bị Thực hành tốt nhất được mô tả chi tiết ở đây và trong để tối ưu hóa hiệu suất mô hình TensorFlow trên thiết bị. Hướng dẫn tối ưu hóa hiệu suất GPU Nếu bạn đang sử dụng GPU NVIDIA, hãy đăng nhập GPU và sử dụng bộ nhớ vào tệp CSV bằng cách chạy: nvidia-smi --query-gpu=utilization.gpu,utilization.memory,memory.total, memory.free,memory.used --format=csv Cấu hình data layout Khi làm việc với dữ liệu có chứa thông tin kênh (chẳng hạn như hình ảnh), tối ưu hóa định dạng bố trí dữ liệu để ưu tiên kênh cuối cùng (NHWC so với NCHW). Channel-last data formats cải thiện sử dụng và cung cấp các cải tiến hiệu suất đáng kể đặc biệt là trong các mô hình xoắn ốc khi kết hợp với AMP. bố trí dữ liệu NCHW vẫn có thể được vận hành bởi Tensor Cores, nhưng giới thiệu thêm overhead do các tùy chọn chuyển tự động. Tensor lõi Bạn có thể tối ưu hóa bố trí dữ liệu để ưu tiên bố trí NHWC bằng cách thiết lập Đối với các loa như , và . data_format="channels_last" tf.keras.layers.Conv2D tf.keras.layers.Conv3D tf.keras.layers.RandomRotation Sử dụng cài đặt định dạng bố trí dữ liệu mặc định cho Keras backend API. tf.keras.backend.set_image_data_format Max Out L2 Cache Khi làm việc với GPU NVIDIA®, hãy thực hiện đoạn mã dưới đây trước khi vòng huấn luyện để tối đa hóa độ chiết xuất L2 lên đến 128 byte. import ctypes _libcudart = ctypes.CDLL('libcudart.so') # Set device limit on the current device # cudaLimitMaxL2FetchGranularity = 0x05 pValue = ctypes.cast((ctypes.c_int*1)(), ctypes.POINTER(ctypes.c_int)) _libcudart.cudaDeviceSetLimit(ctypes.c_int(0x05), ctypes.c_int(128)) _libcudart.cudaDeviceGetLimit(pValue, ctypes.c_int(0x05)) assert pValue.contents.value == 128 Cách sử dụng GPU thread Chế độ thread GPU quyết định cách sử dụng thread GPU. Cài đặt thread mode để để đảm bảo rằng preprocessing không đánh cắp tất cả các thread GPU. Điều này sẽ làm giảm sự chậm trễ khởi động kernel trong quá trình đào tạo. Bạn cũng có thể đặt số lượng thread cho mỗi GPU. Thiết lập các giá trị này bằng cách sử dụng biến môi trường. gpu_private import os os.environ['TF_GPU_THREAD_MODE']='gpu_private' os.environ['TF_GPU_THREAD_COUNT']='1' Tùy chọn bộ nhớ GPU Nói chung, tăng kích thước lô và quy mô mô mô hình để sử dụng GPU tốt hơn và có được công suất cao hơn. lưu ý rằng tăng kích thước lô sẽ thay đổi độ chính xác của mô hình vì vậy mô hình cần phải được quy mô bằng cách điều chỉnh các siêu tham số như tốc độ học tập để đáp ứng độ chính xác mục tiêu. Vì vậy, sử dụng để cho phép bộ nhớ GPU phát triển để ngăn chặn tất cả bộ nhớ có sẵn được phân bổ đầy đủ cho các hoạt động chỉ đòi hỏi một phần nhỏ bộ nhớ. tf.config.experimental.set_memory_growth Để tìm hiểu thêm, hãy kiểm tra hướng dẫn trong hướng dẫn GPU để tìm hiểu thêm. Giới hạn tăng trưởng bộ nhớ GPU Lãng mạn Tăng kích thước mini-batch đào tạo (số mẫu đào tạo được sử dụng cho mỗi thiết bị trong một lần lặp lại vòng lặp đào tạo) đến số lượng tối đa phù hợp mà không có lỗi OOM (Out of Memory) trên GPU. Tăng kích thước batch ảnh hưởng đến độ chính xác của mô hình – vì vậy hãy chắc chắn rằng bạn mở rộng mô hình bằng cách điều chỉnh các siêu tham số để đáp ứng độ chính xác mục tiêu. Tắt báo cáo lỗi OOM trong quá trình phân bổ tensor trong mã sản xuất. Đặt report_tensor_allocations_upon_oom=False trong tf.compat.v1.RunOptions. Đối với các mô hình có các lớp cong, loại bỏ sự bổ sung bias nếu sử dụng tiêu chuẩn hóa hàng loạt. tiêu chuẩn hóa hàng loạt thay đổi các giá trị theo mức trung bình của chúng và điều này loại bỏ sự cần thiết phải có một thuật ngữ bias liên tục. Sử dụng TF Stats để tìm hiểu hoạt động trên thiết bị hoạt động hiệu quả như thế nào. Sử dụng tf.function để thực hiện các tính toán và tùy chọn, bật jit_compile=True flag (tf.function(jit_compile=True). Để tìm hiểu thêm, hãy vào Use XLA tf.function. Giảm thiểu các hoạt động Python giữa các bước và giảm các cuộc gọi trở lại.Tính toán số liệu mỗi vài bước thay vì mỗi bước. Giữ các đơn vị máy tính thiết bị bận rộn. Gửi dữ liệu đến nhiều thiết bị song song. Hãy xem xét việc sử dụng các đại diện số 16-bit, chẳng hạn như fp16 - định dạng điểm nổi nửa chính xác được chỉ định bởi IEEE - hoặc định dạng Brain floating-point bfloat16. Tài nguyên bổ sung TensorFlow Profiler: Profile model performance tutorial với Keras và TensorBoard nơi bạn có thể áp dụng lời khuyên trong hướng dẫn này. Các hồ sơ hiệu suất trong TensorFlow 2 nói từ Hội nghị thượng đỉnh phát triển TensorFlow 2020. Demo của TensorFlow Profiler từ TensorFlow Dev Summit 2020. Giới hạn quen thuộc TensorFlow 2.2 và TensorFlow 2.3 TensorFlow 2.2 và 2.3 hỗ trợ định dạng nhiều GPU cho các hệ thống máy chủ duy nhất; định dạng nhiều GPU cho các hệ thống nhiều máy chủ không được hỗ trợ.Để định dạng cấu hình GPU nhiều nhân viên, mỗi nhân viên phải được định dạng độc lập.Từ TensorFlow 2.4 nhiều nhân viên có thể được định dạng bằng cách sử dụng Lửa tf.profiler.experimental.client.trace CUDA® Toolkit 10.2 hoặc mới hơn được yêu cầu để cấu hình nhiều GPU. Vì TensorFlow 2.2 và 2.3 chỉ hỗ trợ các phiên bản CUDA® Toolkit lên đến 10.1, bạn cần tạo các liên kết biểu tượng đến và : libcudart.so.10.1 libcupti.so.10.1 sudo ln -s /usr/local/cuda/lib64/libcudart.so.10.2 /usr/local/cuda/lib64/libcudart.so.10.1 sudo ln -s /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.2 /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.1 Ban đầu được xuất bản trên trang web TensorFlow, bài viết này xuất hiện ở đây dưới tiêu đề mới và được cấp phép theo CC BY 4.0. Ban đầu được xuất bản trên trang web TensorFlow, bài viết này xuất hiện ở đây dưới tiêu đề mới và được cấp phép theo CC BY 4.0. TensorFlow TensorFlow