תוכן תצפית 
 
 
 
 
 
 
 
 
 
 
 
 
 איסוף נתוני ביצועים פרופיל APIs תגיות: custom training loops שימוש בפרופיל מקרים שיטות הטובות ביותר עבור ביצועי מודל אופטימליים אופטימיזציה של צינור נתונים כניסה שימוש ב- Threading ו- Parallel Execution מיסלאן שיפור ביצועי המכשיר משאבים נוספים מגבלות ידועות הפרופיל של GPUs מרובות על TensorFlow 2.2 ו TensorFlow 2.3 איסוף נתוני ביצועים פרופיל TensorFlow אוסף את פעילויות המארח ואת עקבות ה-GPU של מודל TensorFlow שלך. פרופיל APIs אתה יכול להשתמש באפליקציות הבאות כדי לבצע פרופיל. 
 
 מצב תכנות באמצעות TensorBoard Keras Callback (tf.keras.callbacks.TensorBoard) # Profile from batches 10 to 15
tb_callback = tf.keras.callbacks.TensorBoard(log_dir=log_dir,
                                             profile_batch='10, 15')

# Train the model and use the TensorBoard Keras callback to collect
# performance profiling data
model.fit(train_data,
          steps_per_epoch=20,
          epochs=5,
          callbacks=[tb_callback])
 
 
 מצב תכנות באמצעות tf.profiler Function API tf.profiler.experimental.start('logdir')
# Train the model here
tf.profiler.experimental.stop()
 
 
 תוכנה באמצעות מנהל הקשר with tf.profiler.experimental.Profile('logdir'):
    # Train the model here
    pass
 
 
 הערה: הפעלת הפרופיל במשך זמן רב מדי עלולה לגרום לזיכרון להיעלם. מומלץ לא לפרופיל יותר מ-10 צעדים בכל פעם. הפעלת הפרופיל במשך זמן רב מדי עלולה לגרום לזיכרון להיעלם. מומלץ לא לפרופיל יותר מ-10 צעדים בכל פעם. Note: 
 
 
 
 
 Sampling mode: Perform on-demand profiling by using   to start a gRPC server with your TensorFlow model run. After starting the gRPC server and running your model, you can capture a profile through the   button in the TensorBoard profile plugin. Use the script in the Install profiler section above to launch a TensorBoard instance if it is not already running. tf.profiler.experimental.server.start Capture Profile As an example, # Start a profiler server before your model runs.
tf.profiler.experimental.server.start(6009)
# (Model code goes here).
#  Send a request to the profiler server to collect a trace of your model.
tf.profiler.experimental.client.trace('grpc://localhost:6009',
                                      'gs://your_tb_logdir', 2000)
 דוגמה לפרופיל של עובדים מרובים: # E.g., your worker IP addresses are 10.0.0.2, 10.0.0.3, 10.0.0.4, and you
# would like to profile for a duration of 2 seconds.
tf.profiler.experimental.client.trace(
    'grpc://10.0.0.2:8466,grpc://10.0.0.3:8466,grpc://10.0.0.4:8466',
    'gs://your_tb_logdir',
    2000)
 השתמשו ב דיאלוג כדי להגדיר: Capture Profile 
 
 
 
 
 רשימה מוגבלת של כתובות URL של שירות פרופיל או שמות TPU. אורך הפרופיל רמת המכשיר, המארח והפונקציה של Python Call Tracking. כמה פעמים ברצונך שהפרופיל יעשה מחדש את הקלטת הפרופילים אם זה לא יצליח בהתחלה? תגיות: custom training loops כדי לפרופיל חבילות אימון מותאמות אישית בקוד TensorFlow שלך, מכשיר את חבילת האימון עם API כדי לסמן את גבולות הצעד עבור הפרופיל. tf.profiler.experimental.Trace The המונחים משמשים כקודם עבור השמות של השלבים, מילות המפתח מופיעות בשמות השלבים, והן ארגומנט מילות מפתח גורם לאירוע המעקב הזה להיות מעובד כאירוע שלב על ידי הפרופיל. name step_num _r כדוגמה אחת, for step in range(NUM_STEPS):
    with tf.profiler.experimental.Trace('train', step_num=step, _r=1):
        train_data = next(dataset)
        train_step(train_data)
 זה יאפשר את ניתוח הביצועים בהתבסס על שלבים של פרופיל ולגרום לאירועים של שלבים להופיע ב- Trace Viewer. ודא כי אתה כולל את iterator של קבוצת הנתונים בתוך ניתוח מדויק של צינור ההכנסה. tf.profiler.experimental.Trace הקוד המופיע למטה הוא אנטי-מודל: 
 
 אזהרה: זה יוביל לניתוח לא מדויק של צינור ההכנסה. זה יוביל לניתוח לא מדויק של צינור הפלטה. Warning: for step, train_data in enumerate(dataset):
    with tf.profiler.experimental.Trace('train', step_num=step, _r=1):
        train_step(train_data)
 שימוש בפרופיל מקרים הפרופיל מכסה מספר מקרים של שימוש לאורך ארבעה צירים שונים. חלק מהשילוב נתמך כעת ואחרים יתווספו בעתיד. 
 
 
 
 פרופיל מקומי לעומת פרופיל מרחוק: אלה הן שתי דרכים נפוצות להגדיר את סביבת הפרופיל שלך.בפרופיל מקומי, API הפרופיל נקרא על אותה מכונה שהמודל שלך פועל, לדוגמה, תחנת עבודה מקומית עם GPUs.בפרופיל מרחוק, API הפרופיל נקרא על מכונה שונה מאיפה המודל שלך פועל, למשל, על Cloud TPU. פרופיל עובדים מרובים: באפשרותך לפרופיל מכונות מרובות בעת שימוש בתכונות ההכשרה המופצות של TensorFlow. פלטפורמת חומרה: פרופיל CPUs, GPUs, ו TPUs. הטבלה הבאה מספקת סקירה מהירה של מקרים של שימוש נתמכים על ידי TensorFlow שהוזכרו לעיל: 
 
 
 
 
 
 
 
 
 
 
 
 
 Profiling API 
 Local 
 Remote 
 Multiple workers 
 Hardware Platforms 
 
 
 
 
 
 
 TensorBoard Keras Callback 
 Supported 
 Not Supported 
 Not Supported 
 CPU, GPU 
 
 
 
 
 
 
  start/stop  tf.profiler.experimental API 
 Supported 
 Not Supported 
 Not Supported 
 CPU, GPU 
 
 
 
 
 
 
  client.trace  tf.profiler.experimental API 
 Supported 
 Supported 
 Supported 
 CPU, GPU, TPU 
 
 
 
 
 
 
 Context manager API 
 Supported 
 Not supported 
 Not Supported 
 CPU, GPU TensorBoard Keras Callback תומך לא תומך לא תומך CPU ו- GPU Start / Stop tf.profiler.experimental אש תומך לא תומך לא תומך CPU ו- GPU תגית: Trace tf.profiler.experimental אש תומך תומך תומך CPU, GPU ו- TPU Context manager API תומך לא תומך לא תומך CPU ו- GPU שיטות הטובות ביותר עבור ביצועי מודל אופטימליים השתמש בהמלצות הבאות בהתאם לדגמי TensorFlow שלך כדי להשיג ביצועים אופטימליים. באופן כללי, לבצע את כל השינויים במכשיר ולוודא שאתה משתמש בגירסה העדכנית ביותר של ספריות תואמות כגון cuDNN ו- Intel MKL עבור הפלטפורמה שלך. אופטימיזציה של צינור נתונים כניסה השתמש בנתונים מ- [#input_pipeline_analyzer] כדי לאופטימיזציה של צינור כניסה נתונים. צינור כניסה נתונים יעיל יכול לשפר באופן דרמטי את מהירות ביצוע המודל שלך על ידי הפחתת זמן הפסקה של המכשיר. מדריך ומטה כדי להפוך את צינור הזנת הנתונים שלך יעיל יותר. ביצועים טובים יותר עם API tf.data 
 
 
 
 
 
 
 
 
 באופן כללי, השילוב של כל אופציות שאינן נדרשות לביצוע ברציפות יכול לאופטימיזציה משמעותית של צינור כניסה נתונים. במקרים רבים, זה עוזר לשנות את הסדר של כמה שיחות או להתאים את הארגומנטים כך שזה עובד הכי טוב עבור המודל שלך.במהלך אופטימיזציה של צינור נתונים כניסה, משוואת רק את נתוני הטעינה ללא שלבים ההכשרה וההפצה אחורית כדי למדוד את ההשפעה של האופטימיזציות באופן עצמאי. נסה להפעיל את המודל שלך עם נתונים סינתטיים כדי לבדוק אם צינור ההכנסה הוא מחסום ביצועים. השתמש ב-tf.data.Dataset.shard ללימודי GPU מרובים. ודא שאתה מחליק מוקדם מאוד בבלוג ההכנסה כדי למנוע הפחתות בתפוקה. התאם מספר אופציות על-ידי הגדרת דינמית את הערך של num_parallel_calls באמצעות tf.data.AUTOTUNE. יש לשקול להגביל את השימוש של tf.data.Dataset.from_generator כפי שהוא איטי יותר בהשוואה TensorFlow אופסים טהורים. יש לשקול להגביל את השימוש של tf.py_function מכיוון שהוא לא יכול להיות סריליזציה והוא אינו נתמך כדי להפעיל ב-Distributed TensorFlow. השתמש ב- tf.data.Options כדי לשלוט על אופטימיזציות סטטיות לתוך צינור ההכנסה. קראו גם את ניתוח ביצועים לקבלת הדרכה נוספת על אופטימיזציה של צינור ההכנסה שלך. tf.data מדריך אופטימיזציה של גידול נתונים בעת עבודה עם נתוני תמונה, צור את יעיל יותר על ידי השפעה על סוגים שונים של נתונים יישום טרנספורמציות מרחביות, כגון flipping, cropping, rotating, וכו ' הגדלת נתונים לאחר לאחר 
 
 הערה: כמה אופציות כגון tf.image.resize לשנות בצורה גלויה את dtype ל fp32. ודא שאתה נורמליזציה הנתונים שלך בין 0 ל 1 אם זה לא נעשה באופן אוטומטי. הערה: כמה אופציות כגון tf.image.resize לשנות בצורה גלויה את dtype ל fp32. ודא שאתה נורמליזציה הנתונים שלך בין 0 ל 1 אם זה לא נעשה באופן אוטומטי. AMP 
 
 
 
 
 שימוש ב-NVIDIA® DALI במקרים מסוימים, כגון כאשר יש לך מערכת עם יחס GPU ל-CPU גבוה, כל האופטימיזציות לעיל עשויות לא להיות מספיקות כדי לחסל את הבקבוקים בלייזר הנתונים שנגרמים עקב הגבלות של מחזורי CPU. אם אתה משתמש ב-NVIDIA® GPUs עבור יישומי חזון מחשב ואודיו למידה עמוקה, לשקול שימוש בספריית טעינת נתונים ( כדי להאיץ את צינור הנתונים. דאלי בדוק את תיעוד עבור רשימה של DALI ops נתמכים. NVIDIA® DALI: פעולות שימוש ב- Threading ו- Parallel Execution בצע פעולות על שורות CPU מרובות עם אש כדי להרוג אותם מהר יותר. tf.config.threading TensorFlow מגדיר באופן אוטומטי את מספר החוטים המקבילים כברירת מחדל.The thread pool available for running TensorFlow operations depends on the number of CPU threads available. שליטה על מהירות מקסימלית מקבילה עבור op יחיד באמצעות שימו לב שאם תפעילו פעולות מרובות במקביל, הן כולן יחלקו את קבוצת החוטים הזמינה. tf.config.threading.set_intra_op_parallelism_threads אם יש לך אופציות עצמאיות שאינן חוסמות (אופציות ללא נתיב ממוקד ביניהן בתרשים), השתמש כדי להפעיל אותם בו זמנית באמצעות שדה החוט הזמין. tf.config.threading.set_inter_op_parallelism_threads מיסלאן בעת עבודה עם דגמים קטנים יותר על GPUs NVIDIA®, באפשרותך להגדיר כדי להכריח את כל טנסורים ה-CPU להקצות עם זיכרון CUDA כדי להגדיל באופן משמעותי את ביצועי המודל, יש לנהוג בזהירות בעת שימוש באפשרות זו עבור מודלים לא ידועים / גדולים מאוד, שכן זה עלול להשפיע לרעה על ביצועי המארח (CPU). tf.compat.v1.ConfigProto.force_gpu_compatible=True שיפור ביצועי המכשיר עקבו אחרי Best Practices Here and in the אופטימיזציה של ביצועי מודל TensorFlow במכשיר. מדריך אופטימיזציה ביצועים של GPU אם אתה משתמש ב-NVIDIA GPUs, רשום את השימוש ב-GPU ובזיכרון לקובץ CSV על-ידי ביצוע: nvidia-smi
--query-gpu=utilization.gpu,utilization.memory,memory.total,
memory.free,memory.used --format=csv
 הגדרת Data Layout בעת עבודה עם נתונים המכילים מידע ערוץ (כגון תמונות), אופטימיזציה של פורמט עיצוב נתונים כדי להעדיף ערוצים אחרונים (NHWC לעומת NCHW). ערוץ נתונים אחרונים שיפור פורמטים שימוש ושיפור ביצועים משמעותי, במיוחד במודלים קונבולציונליים כאשר משולבים עם AMP. תבניות נתונים של NCHW עדיין ניתן להפעיל על ידי Tensor Cores, אך להציג עלייה נוספת עקב אפשרויות העברה אוטומטיות. טנטור Core באפשרותך לייעל את תבנית הנתונים כדי להעדיף תבניות NHWC על ידי הגדרת עבור קמטים כגון , , ו . data_format="channels_last" tf.keras.layers.Conv2D tf.keras.layers.Conv3D tf.keras.layers.RandomRotation שימוש כדי להגדיר את תבנית הפריסה של נתונים כברירת מחדל עבור Keras backend API. tf.keras.backend.set_image_data_format מקסימום ה-L2 Cache בעת עבודה עם GPUs NVIDIA®, להפעיל את קיצור הקוד למטה לפני מעגל ההכשרה כדי להגדיל את גירולריות L2 Getch ל 128 בייטים. import ctypes

_libcudart = ctypes.CDLL('libcudart.so')
# Set device limit on the current device
# cudaLimitMaxL2FetchGranularity = 0x05
pValue = ctypes.cast((ctypes.c_int*1)(), ctypes.POINTER(ctypes.c_int))
_libcudart.cudaDeviceSetLimit(ctypes.c_int(0x05), ctypes.c_int(128))
_libcudart.cudaDeviceGetLimit(pValue, ctypes.c_int(0x05))
assert pValue.contents.value == 128
 שימוש ב-GPU Thread מצב החוט של GPU מחליט כיצד להשתמש בחוטים של GPU. הגדרת מצב הטריילר ל כדי לוודא שהעיבוד הקודם לא גונב את כל החוטים של ה-GPU. זה יפחית את עיכוב ההשקה של הגרעין במהלך ההכשרה. gpu_private import os

os.environ['TF_GPU_THREAD_MODE']='gpu_private'
os.environ['TF_GPU_THREAD_COUNT']='1'
 הגדרת אפשרויות זיכרון GPU באופן כללי, להגדיל את גודל החבילה ולהגדיל את המודל כדי להשתמש ב-GPU טוב יותר ולהשיג ביצועים גבוהים יותר, שימו לב כי הגדלת גודל החבילה תשנה את הדיוק של המודל, כך שהמודל צריך להיות מגדיל על-ידי התאמת פרמטרים גבוהים כגון קצב הלמידה כדי לענות על הדיוק היעד. לכן, השתמש כדי לאפשר לזיכרון GPU לגדול כדי למנוע את כל הזיכרון הזמין להיות מיועדת במלואו ל-options הדורשות רק חלק מהזיכרון.This allows other processes that consume GPU memory to run on the same device. tf.config.experimental.set_memory_growth כדי ללמוד עוד, בדוק את להלן הדרכה במדריך GPU כדי ללמוד עוד. הגבלת הצמיחה של זיכרון GPU מיסלאן 
 
 
 
 
 
 
 
 
 
 להגדיל את גודל המשלוח המיני (מספר דגימות ההכשרה המשמשות לכל מכשיר בתהליך איטציה אחד של מעגל ההכשרה) עד לכמות המקסימלית המתאימה ללא שגיאת OOM (Out of Memory) על ה- GPU. הגדרת report_tensor_allocations_upon_oom=False ב tf.compat.v1.RunOptions. עבור דגמים עם שכבות קונבולציה, להסיר את הוספת ההפרעות אם אתה משתמש נורמליזציה בשורה. השתמש ב- TF Stats כדי לגלות עד כמה אפקטיביות אופציות במכשיר פועלות. השתמש ב- tf.function כדי לבצע חישובים ובאפשרותך להפעיל את הדגל jit_compile=True (tf.function(jit_compile=True). מינימום פעולות Python המארח בין השלבים ולהפחית את ההחזרות.לחשב מטריקים כל כמה צעדים במקום בכל צעד. שמור על יחידות המחשב של המכשיר עסוק. העברת נתונים למספר מכשירים במקביל. שים לב לשימוש במייצגים מספריים של 16 סיביות, כגון fp16 – תבנית הנקודה המתנפחת במחצית הדיוק שנקבעה על ידי IEEE – או תבנית הנקודה המתנפחת של המוח (Brain floating-point bfloat16). משאבים נוספים 
 
 
 
 TensorFlow Profiler: פרופיל מודל ביצועים מדריך עם Keras ו TensorBoard שבו אתה יכול ליישם את העצה במדריך זה. פרופיל הביצועים ב-TensorFlow 2 מדבר על TensorFlow Dev Summit 2020. הדגמה של TensorFlow Profiler מ TensorFlow Dev Summit 2020. מגבלות ידועות הפרופיל של GPUs מרובות על TensorFlow 2.2 ו TensorFlow 2.3 TensorFlow 2.2 ו- 2.3 תומכים בפרופיל GPU מרובים עבור מערכות אחסון יחיד בלבד; הפרופיל GPU מרובים עבור מערכות אחסון מרובות אינו נתמך. האש tf.profiler.experimental.client.trace CUDA® Toolkit 10.2 או מאוחר יותר נדרש כדי לפרופיל GPUs מרובים.כי TensorFlow 2.2 ו- 2.3 תומכים גירסאות CUDA® Toolkit רק עד 10.1, אתה צריך ליצור קישורים סמליים ל ו : libcudart.so.10.1 libcupti.so.10.1 sudo ln -s /usr/local/cuda/lib64/libcudart.so.10.2 /usr/local/cuda/lib64/libcudart.so.10.1
sudo ln -s /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.2 /usr/local/cuda/extras/CUPTI/lib64/libcupti.so.10.1
 
 
 פורסם במקור באתר TensorFlow, מאמר זה מופיע כאן תחת כותרת חדשה והוא מורשה תחת CC BY 4.0. פורסם במקור באתר TensorFlow, מאמר זה מופיע כאן תחת כותרת חדשה והוא מורשה תחת CC BY 4.0. TensorFlow TensorFlow

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

האודיו הזה מופק בשפת המקור של הסיפור!

כיצד להשתמש TensorFlow פרופיל כדי לייעל את הביצועים של המודל

About Author

הערות

תלו תגים

מאמר זה הוצג ב

Related Stories

The TechBeat: Everything You Need to Know to Implement Generative AI for Your Enterprise (3/12/2024)

The TechBeat: To Focus or Not Focus: How to Find the Right Product-Market Fit (3/8/2024)

100 Days of AI, Day 13: How Instruction Finetuning Improves a Pre-trained LLM

The TechBeat: Investigating Internet Freedom: Unseen Aspects of Our Online Existence (1/20/2024)

The TechBeat: Everything You Need to Know to Implement Generative AI for Your Enterprise (3/12/2024)

The TechBeat: To Focus or Not Focus: How to Find the Right Product-Market Fit (3/8/2024)

100 Days of AI, Day 13: How Instruction Finetuning Improves a Pre-trained LLM

The TechBeat: Investigating Internet Freedom: Unseen Aspects of Our Online Existence (1/20/2024)

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps