جرب هذا إذا كان رمز TensorFlow الخاص بك أبطأ.

محتوى الرسائل نظرة عامة تثبيت الاستفادة من Graphs استخدام TF.Function مشاهدة السباق السريع متى يتم استخدام TF.FUNCTION TRACING؟ الخطوات التالية نظرة عامة هذا الدليل يذهب تحت سطح TensorFlow و Keras لتثقيف كيف يعمل TensorFlow. . جمعية Keras Guides في هذا الدليل ، سوف تتعلم كيف تتيح لك TensorFlow إجراء تغييرات بسيطة في رمزك للحصول على الخرائط ، وكيف يتم تخزين الخرائط ومشاركتها ، وكيف يمكنك استخدامها لتسريع نموذجك. ملاحظة: بالنسبة لأولئك الذين يعرفون فقط TensorFlow 1.x، يظهر هذا الدليل نظرًا مختلفًا للجدول الزمني. ملاحظة: بالنسبة لأولئك الذين يعرفون فقط TensorFlow 1.x، يظهر هذا الدليل نظرًا مختلفًا للجدول الزمني. يتيح لك التبديل من الإجراء المطلوب إلى الإجراء الخلفي. اذهب إلى The إرشادات This is a big-picture overview that covers how tf.function tf.function أداء أفضل مع tf.function ما هي Graphs؟ في الثلاثة السيناريوهات السابقة ، قم بتشغيل TensorFlow وهذا يعني أن عمليات TensorFlow يتم تنفيذها من قبل Python، والعمل من خلال العمل، وتعود النتائج إلى Python. eagerly على الرغم من أن التشغيل المطلوب لديه مزايا فريدة من نوعها ، إلا أن التشغيل في الخرائط يتيح ترفيهية خارج Python ويجعل من الممكن تقديم أداء أفضل. وهذا يعني أن الحسابات التلقائيّة يتمّ إجراءها كـ في بعض الأحيان يُسمى A أو ببساطة “الكاميرا”. Graph execution TensorFlow كاميرا tf.Graph العناصر، والتي تشكل وحدات الحساب؛ و العناصر، والتي تشكل وحدات البيانات التي تنتقل بين العمليات. نظرًا لأن هذه الأرقام هي بنية البيانات، ويمكن أن يتم تخزينها وتشغيلها وتجديدها دون الكود الأصلي. Graphs are data structures that contain a set of tf.Operation tf.Tensor tf.Graph هذه هي الطريقة التي يبدو فيها شاشة TensorFlow التي تشكل شبكة عصبية بثاني طبقات عند عرضها في TensorBoard: فوائد Graphs يمكنك استخدام جدول TensorFlow الخاص بك في البيئات التي لا تحتوي على مترجم Python ، مثل تطبيقات الهواتف المحمولة والمعدات المدمجة وخدمات الخلفية. عندما يتم إرسالها من Python. النماذج المقدمة كما يتم تحسين الكاميرات بسهولة ، مما يسمح للكاميرا بإجراء تحويلات مثل: استدعاء قيمة التضخم من خلال إزالة المكونات الدائمة في الحساب الخاص بك ("إزالة الدائمة"). أجزاء منفصلة من الحسابات التي هي مستقلة وتقسيمها بين القنوات أو الأجهزة. تجنب العمليات الأدبية من خلال إزالة التعبيرات الدقيقة المشتركة. هناك نظام تحسين كامل، ، للقيام هذا والعديد من السيارات الأخرى. Grappler ببساطة ، فإن الخرائط مفيدة للغاية ويسمح لك بإجراء TensorFlow - السير والقيادة بشكل فعال . fast in parallel on multiple devices ومع ذلك، لا تزال تحتاج إلى تحديد نموذج التعلم الآلي (أو الحسابات الأخرى) في Python لسهولة، ثم إنشاء الخرائط تلقائيا عند الحاجة إليها. تثبيت إرسال بعض المكتبات اللازمة: import tensorflow as tf import timeit from datetime import datetime 2024-08-15 01:23:58.511668: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 01:23:58.532403: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 01:23:58.538519: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered الاستفادة من Graphs يمكنك إنشاء وتشغيل شاشة في TensorFlow باستخدام أو كلام مباشر أو كمدير. يحصل على وظيفة عادية كدخول وتعود إلى . . هو عبارة عن كاميرا Python التي تقوم بتصميم شاشات TensorFlow من وظيفة Python. كما هو الحال مع مقياس Python. tf.function tf.function tf.types.experimental.PolymorphicFunction A PolymorphicFunction tf.function # Define a Python function. def a_regular_function(x, y, b): x = tf.matmul(x, y) x = x + b return x # The Python type of `a_function_that_uses_a_graph` will now be a # `PolymorphicFunction`. a_function_that_uses_a_graph = tf.function(a_regular_function) # Make some tensors. x1 = tf.constant([[1.0, 2.0]]) y1 = tf.constant([[2.0], [3.0]]) b1 = tf.constant(4.0) orig_value = a_regular_function(x1, y1, b1).numpy() # Call a `tf.function` like a Python function. tf_function_value = a_function_that_uses_a_graph(x1, y1, b1).numpy() assert(orig_value == tf_function_value) WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723685041.078349 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.081709 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.084876 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.088691 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.100124 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.103158 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.106072 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.109491 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.112991 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.115870 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.118785 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.122189 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.369900 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.372045 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.374040 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.376123 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.378174 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.380184 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.382098 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.384064 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.386002 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.387981 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.389902 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.391922 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.431010 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.433093 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.435050 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.437074 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.439053 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.441049 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.442965 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.444941 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.446890 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.450623 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.453482 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.455908 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 من الخارج ، a تبدو مثل وظيفة عادية تكتبها باستخدام عمليات TensorFlow. ومع ذلك، فإنها • الأساسية s behind one API (علم المزيد في هذا هو السبب. a يمكن أن تمنحك مزايا تنفيذ الخريطة، مثل السرعة والتنفيذ (انظر: أعلى ) tf.function تحت very different PolymorphicFunction encapsulates several tf.Graph polymorphism tf.function فوائد Graphs تنطبق على وظيفة : tf.function وكل وظيفة أخرى تسمى def inner_function(x, y, b): x = tf.matmul(x, y) x = x + b return x # Using the `tf.function` decorator makes `outer_function` into a # `PolymorphicFunction`. @tf.function def outer_function(x): y = tf.constant([[2.0], [3.0]]) b = tf.constant(4.0) return inner_function(x, y, b) # Note that the callable will create a graph that # includes `inner_function` as well as `outer_function`. outer_function(tf.constant([[1.0, 2.0]])).numpy() array([[12.]], dtype=float32) إذا كنت قد استخدمت TensorFlow 1.x، فسوف تلاحظ أنك لم تكن بحاجة إلى تحديد أو . Placeholder tf.Session تحويل وظائف Python إلى شاشات أي ميزة تكتبها مع TensorFlow سوف تحتوي على مزيج من العمليات TF المدمجة مع منطق Python، مثل: الأوراق، اللوحات، ، ، في حين أن عمليات TensorFlow يتم تسجيلها بسهولة من قبل تحتاج المناهج ذات الصلة بـ Python إلى إجراء خطوة إضافية لتصبح جزءاً من الخريطة. يستخدم الكتابة المعروفة باسم AutoGraph ( تحويل كود Python إلى كود Graph-generating if-then break return continue tf.Graph tf.function tf.autograph def simple_relu(x): if tf.greater(x, 0): return x else: return 0 # Using `tf.function` makes `tf_simple_relu` a `PolymorphicFunction` that wraps # `simple_relu`. tf_simple_relu = tf.function(simple_relu) print("First branch, with graph:", tf_simple_relu(tf.constant(1)).numpy()) print("Second branch, with graph:", tf_simple_relu(tf.constant(-1)).numpy()) First branch, with graph: 1 Second branch, with graph: 0 على الرغم من أنه من غير المرجح أن تحتاج إلى مشاهدة الخرائط مباشرة، يمكنك التحقق من النتائج للتحقق من النتائج الحقيقية. # This is the graph-generating output of AutoGraph. print(tf.autograph.to_code(simple_relu)) def tf__simple_relu(x): with ag__.FunctionScope('simple_relu', 'fscope', ag__.ConversionOptions(recursive=True, user_requested=True, optional_features=(), internal_convert_user_code=True)) as fscope: do_return = False retval_ = ag__.UndefinedReturnValue() def get_state(): return (do_return, retval_) def set_state(vars_): nonlocal do_return, retval_ (do_return, retval_) = vars_ def if_body(): nonlocal do_return, retval_ try: do_return = True retval_ = ag__.ld(x) except: do_return = False raise def else_body(): nonlocal do_return, retval_ try: do_return = True retval_ = 0 except: do_return = False raise ag__.if_stmt(ag__.converted_call(ag__.ld(tf).greater, (ag__.ld(x), 0), None, fscope), if_body, else_body, get_state, set_state, ('do_return', 'retval_'), 2) return fscope.ret(retval_, do_return) # This is the graph itself. print(tf_simple_relu.get_concrete_function(tf.constant(1)).graph.as_graph_def()) node { name: "x" op: "Placeholder" attr { key: "_user_specified_name" value { s: "x" } } attr { key: "dtype" value { type: DT_INT32 } } attr { key: "shape" value { shape { } } } } node { name: "Greater/y" op: "Const" attr { key: "dtype" value { type: DT_INT32 } } attr { key: "value" value { tensor { dtype: DT_INT32 tensor_shape { } int_val: 0 } } } } node { name: "Greater" op: "Greater" input: "x" input: "Greater/y" attr { key: "T" value { type: DT_INT32 } } } node { name: "cond" op: "StatelessIf" input: "Greater" input: "x" attr { key: "Tcond" value { type: DT_BOOL } } attr { key: "Tin" value { list { type: DT_INT32 } } } attr { key: "Tout" value { list { type: DT_BOOL type: DT_INT32 } } } attr { key: "_lower_using_switch_merge" value { b: true } } attr { key: "_read_only_resource_inputs" value { list { } } } attr { key: "else_branch" value { func { name: "cond_false_31" } } } attr { key: "output_shapes" value { list { shape { } shape { } } } } attr { key: "then_branch" value { func { name: "cond_true_30" } } } } node { name: "cond/Identity" op: "Identity" input: "cond" attr { key: "T" value { type: DT_BOOL } } } node { name: "cond/Identity_1" op: "Identity" input: "cond:1" attr { key: "T" value { type: DT_INT32 } } } node { name: "Identity" op: "Identity" input: "cond/Identity_1" attr { key: "T" value { type: DT_INT32 } } } library { function { signature { name: "cond_false_31" input_arg { name: "cond_placeholder" type: DT_INT32 } output_arg { name: "cond_identity" type: DT_BOOL } output_arg { name: "cond_identity_1" type: DT_INT32 } } node_def { name: "cond/Const" op: "Const" attr { key: "dtype" value { type: DT_BOOL } } attr { key: "value" value { tensor { dtype: DT_BOOL tensor_shape { } bool_val: true } } } } node_def { name: "cond/Const_1" op: "Const" attr { key: "dtype" value { type: DT_BOOL } } attr { key: "value" value { tensor { dtype: DT_BOOL tensor_shape { } bool_val: true } } } } node_def { name: "cond/Const_2" op: "Const" attr { key: "dtype" value { type: DT_INT32 } } attr { key: "value" value { tensor { dtype: DT_INT32 tensor_shape { } int_val: 0 } } } } node_def { name: "cond/Const_3" op: "Const" attr { key: "dtype" value { type: DT_BOOL } } attr { key: "value" value { tensor { dtype: DT_BOOL tensor_shape { } bool_val: true } } } } node_def { name: "cond/Identity" op: "Identity" input: "cond/Const_3:output:0" attr { key: "T" value { type: DT_BOOL } } } node_def { name: "cond/Const_4" op: "Const" attr { key: "dtype" value { type: DT_INT32 } } attr { key: "value" value { tensor { dtype: DT_INT32 tensor_shape { } int_val: 0 } } } } node_def { name: "cond/Identity_1" op: "Identity" input: "cond/Const_4:output:0" attr { key: "T" value { type: DT_INT32 } } } ret { key: "cond_identity" value: "cond/Identity:output:0" } ret { key: "cond_identity_1" value: "cond/Identity_1:output:0" } attr { key: "_construction_context" value { s: "kEagerRuntime" } } arg_attr { key: 0 value { attr { key: "_output_shapes" value { list { shape { } } } } } } } function { signature { name: "cond_true_30" input_arg { name: "cond_identity_1_x" type: DT_INT32 } output_arg { name: "cond_identity" type: DT_BOOL } output_arg { name: "cond_identity_1" type: DT_INT32 } } node_def { name: "cond/Const" op: "Const" attr { key: "dtype" value { type: DT_BOOL } } attr { key: "value" value { tensor { dtype: DT_BOOL tensor_shape { } bool_val: true } } } } node_def { name: "cond/Identity" op: "Identity" input: "cond/Const:output:0" attr { key: "T" value { type: DT_BOOL } } } node_def { name: "cond/Identity_1" op: "Identity" input: "cond_identity_1_x" attr { key: "T" value { type: DT_INT32 } } } ret { key: "cond_identity" value: "cond/Identity:output:0" } ret { key: "cond_identity_1" value: "cond/Identity_1:output:0" } attr { key: "_construction_context" value { s: "kEagerRuntime" } } arg_attr { key: 0 value { attr { key: "_output_shapes" value { list { shape { } } } } attr { key: "_user_specified_name" value { s: "x" } } } } } } versions { producer: 1882 min_consumer: 12 } معظم الوقت ، سوف تعمل دون تقييدات خاصة. ومع ذلك، هناك بعض الاحتياطات، وأيضا يمكن أن يساعد المخرج هنا ، وكذلك . tf.function tf.function الترجمة الكاملة AutoGraph الفلسفة الفلسفية: 1 العديد من الخرائط tf.function A هي متخصصة في نوع معين من الملفات (على سبيل المثال، التضخم مع نوع معين من الملفات). أو الأشياء مع نفس ) tf.Graph dtype id() كلما أردت الدعاء مع مجموعة من العناوين التي لا يمكن معالجةها من قبل أي من الخرائط الحالية (مثل العناوين مع جديدة) أو شكلات غير متوافقة) ، فإنه خلق جديد هذه المحاضرات الجديدة هي عبارة عن مجموعة من المحاضرات الخاصة بـ يُشار إلى أن الدخول يُمثّل كما أشار إلى أن لمزيد من المعلومات حول ما إذا كان كيف يمكن التحكم فيها، وكيف يمكن التحكم فيها. يمكن أن تكون مفيدة ، قم بزيارة القسم من إرشادات tf.function dtypes tf.Graph tf.Graph tf.types.experimental.FunctionType signature tf.Graph FunctionType قواعد التتبع أداء أفضل مع tf.function ذاك توزيع هذه ويعني هذا التوقيت في A . . يمكن التفكير في ذلك كوسيلة تقليدية حول . tf.function tf.Graph ConcreteFunction A ConcreteFunction tf.Graph @tf.function def my_relu(x): return tf.maximum(0., x) # `my_relu` creates new graphs as it observes different input types. print(my_relu(tf.constant(5.5))) print(my_relu([1, -1])) print(my_relu(tf.constant([3., -3.]))) tf.Tensor(5.5, shape=(), dtype=float32) tf.Tensor([1. 0.], shape=(2,), dtype=float32) tf.Tensor([3. 0.], shape=(2,), dtype=float32) إذا كان تم إدخالها بالفعل مع نفس أنواع الدخول ، لا تخلق . tf.function tf.Graph # These two calls do *not* create new graphs. print(my_relu(tf.constant(-2.5))) # Input type matches `tf.constant(5.5)`. print(my_relu(tf.constant([-1., 1.]))) # Input type matches `tf.constant([3., -3.])`. tf.Tensor(0.0, shape=(), dtype=float32) tf.Tensor([0. 1.], shape=(2,), dtype=float32) لأنها تدعم مجموعة متنوعة من الأرقام ، a هي (كما يظهر اسم "PolymorphicFunction") هذا يتيح لك دعم العديد من أنواع الدخول من واحدة فقط. يمكن أن يكون، وتوسيع كل لأداء أفضل. tf.function polymorphic tf.Graph tf.Graph # There are three `ConcreteFunction`s (one for each graph) in `my_relu`. # The `ConcreteFunction` also knows the return type and shape! print(my_relu.pretty_printed_concrete_signatures()) Input Parameters: x (POSITIONAL_OR_KEYWORD): TensorSpec(shape=(), dtype=tf.float32, name=None) Output Type: TensorSpec(shape=(), dtype=tf.float32, name=None) Captures: None Input Parameters: x (POSITIONAL_OR_KEYWORD): List[Literal[1], Literal[-1]] Output Type: TensorSpec(shape=(2,), dtype=tf.float32, name=None) Captures: None Input Parameters: x (POSITIONAL_OR_KEYWORD): TensorSpec(shape=(2,), dtype=tf.float32, name=None) Output Type: TensorSpec(shape=(2,), dtype=tf.float32, name=None) Captures: None استخدام TF وظيفة TF وظيفة حتى الآن، لقد تعلمت كيفية تحويل وظيفة Python إلى جدول بسيط باستخدام كوسيلة للتخطيط أو التخطيط، ولكن في الممارسة العمل بشكل صحيح يمكن أن يكون صعبا! في الفقرات التالية، سوف تتعلم كيف يمكنك جعل رمزك يعمل كما يتوقع مع . tf.function tf.function tf.function Graph execution vs. eager execution الكود في A يمكن أن يتم تنفيذها على نطاق واسع وكما هو الحد الأدنى. يتم إدخال الكود كجريمة: tf.function tf.function @tf.function def get_MSE(y_true, y_pred): sq_diff = tf.pow(y_true - y_pred, 2) return tf.reduce_mean(sq_diff) y_true = tf.random.uniform([5], maxval=10, dtype=tf.int32) y_pred = tf.random.uniform([5], maxval=10, dtype=tf.int32) print(y_true) print(y_pred) tf.Tensor([2 0 7 2 3], shape=(5,), dtype=int32) tf.Tensor([9 9 1 1 5], shape=(5,), dtype=int32) get_MSE(y_true, y_pred) للتحقق من أنك يتم إجراء الحساب نفسه مع وظيفة Python المماثلة ، يمكنك جعلها تنفيذاً بطيئاً مع هذا هو التبديل الذي القدرة على إنشاء وتشغيل الخرائط ، بدلاً من تنفيذ الكود بشكل طبيعي. tf.function tf.config.run_functions_eagerly(True) turns off tf.function tf.config.run_functions_eagerly(True) get_MSE(y_true, y_pred) # Don't forget to set it back when you are done. tf.config.run_functions_eagerly(False) ومع ذلك، يمكن أن تتصرف بشكل مختلف تحت الترجمة والتنفيذ المفرط.Python هذا هو مثال واحد على كيفية اختلاف هذه الأنواع من الوظائف. دعونا ننظر إلى ماذا يحدث عندما تقوم بإدخال إرسال رسالة إلى وظيفتك وإرسالها مرة أخرى. tf.function print print @tf.function def get_MSE(y_true, y_pred): print("Calculating MSE!") sq_diff = tf.pow(y_true - y_pred, 2) return tf.reduce_mean(sq_diff) انظر ما يكتب: error = get_MSE(y_true, y_pred) error = get_MSE(y_true, y_pred) error = get_MSE(y_true, y_pred) Calculating MSE! هل الناتج الإجمالي مفاجئ؟ تم نشرها مرة واحدة على الرغم من أنها الوقت get_MSE ثلاثة من أجل تفسيرها، فإن يتم إدخال الإعلان عند يقوم بتشغيل الكود الأصلي من أجل إنشاء الخريطة في عملية معروفة باسم "تتتبع" (انظر القسم من إرشادات لا يتم تسجيلها في الخريطة، ثم يتم إجراء هذه الخريطة على كل ثلاثة الاتصالات. . print tf.function التتبع tf.function Tracing captures the TensorFlow operations into a graph, and print without ever running the Python code again كتحقق من العقلية، دعونا نلجأ إلى إلغاء تنفيذ الخريطة لقياس: # Now, globally set everything to run eagerly to force eager execution. tf.config.run_functions_eagerly(True) # Observe what is printed below. error = get_MSE(y_true, y_pred) error = get_MSE(y_true, y_pred) error = get_MSE(y_true, y_pred) Calculating MSE! Calculating MSE! Calculating MSE! tf.config.run_functions_eagerly(False) هو a و هناك اختلافات أخرى يجب أن تكون على علم عند تحويل وظيفة إلى وظيفة تعلم المزيد في القسم من إرشادات print Python side effect tf.function قيود أداء أفضل مع tf.function ملاحظة: إذا كنت ترغب في إدخال القيمة في عملية التعبير والتصوير، فيمكنك استخدام tf.print بدلا من ذلك. ملاحظة: إذا كنت ترغب في إدخال القيمة في عملية التعبير والتصوير، فيمكنك استخدام tf.print بدلا من ذلك. إجراء غير صارم يتم تنفيذ إجراء Graph فقط للعملات اللازمة لإنتاج الآثار الملاحظة، والتي تشمل: قيمة العودة من الميزات Documented well-known side-effects such as: Input/output operations, like tf.print Debugging operations, such as the assert functions in tf.debugging Mutations of tf.Variable يُعرف هذا السلوك عادةً باسم "إجراء غير صارم"، ويختلف عن الإجراء المطلوب، الذي يمر عبر جميع عمليات البرنامج، ما إذا كان ذلك ضروريًا أم لا. على سبيل المثال ، لا تعتبر التحقق من أخطاء وقت التشغيل تأثيرات قابلة للتنبيه.إذا تم تجاهل عملية لأنها غير ضرورية ، فلا يمكن أن تظهر أي أخطاء وقت التشغيل. في النقطة التالية ، فإن عملية "غير ضرورية" يتم تجنبها أثناء تنفيذ الخريطة ، لذلك فإن خطأ الوقت لا تعتمد على خطأ يتم وصفه أثناء تنفيذ الخريطة. tf.gather InvalidArgumentError def unused_return_eager(x): # Get index 1 will fail when `len(x) == 1` tf.gather(x, [1]) # unused return x try: print(unused_return_eager(tf.constant([0.0]))) except tf.errors.InvalidArgumentError as e: # All operations are run during eager execution so an error is raised. print(f'{type(e).__name__}: {e}') tf.Tensor([0.], shape=(1,), dtype=float32) @tf.function def unused_return_graph(x): tf.gather(x, [1]) # unused return x # Only needed operations are run during graph execution. The error is not raised. print(unused_return_graph(tf.constant([0.0]))) tf.Tensor([0.], shape=(1,), dtype=float32) أفضل الممارسات tf.function قد يستغرق الأمر وقتاً طويلاً للتأمل في سلوك للبدء بسرعة ، يجب على المستخدمين للمرة الأولى أن يلعبوا مع وظائف الترفيه مع الحصول على الخبرة مع الانتقال من الاهتمام إلى إجراء الخرائط. tf.function @tf.function يمكن أن تكون أفضل شرطك في كتابة برامج TensorFlow متوافقة مع بطاقة. تصميم لل tf.function تحويل بين التشغيل العاجل والخلفية في وقت مبكر ومتكرر مع tf.config.run_functions_eagerly لتحديد ما إذا/ عندما تتنافى الوضعان. إنشاء tf.Variables خارج وظيفة Python وتعديلها داخلها. كما هو الحال بالنسبة للأشياء التي تستخدم tf.Variable، مثل tf.keras.layers، tf.keras.Models و tf.keras.optimizers. تجنب ممارسات الكتابة التي تعتمد على المتغيرات الخارجية في Python ، باستثناء tf.Variables و Keras. اقرأ المزيد في اعتمادها على المتغيرات العالمية و الحرة في Python من قناة tf.function. ترغب في كتابة الفعاليات التي تستخدم التوازنات وغيرها من أنواع TensorFlow كدخول. يمكنك إرسالها إلى أنواع أخرى من العناصر ولكن كن حذرا! اقرأ المزيد في اعتماد العناصر في Python من قناة tf.function guide. إدخال كمية كاملة من الحسابات الممكنة تحت وظيفة tf لتقصير الأداء، على سبيل المثال، تمزيق خطوة تدريبية كاملة أو كل خطوة التدريب. مشاهدة السباق السريع عادةً ما تحسين أداء الكود الخاص بك، ولكن كمية التسرع يعتمد على نوع الحساب الذي تقوم به. الحسابات الصغيرة يمكن أن تتحكم بشكل كبير من خلال الكشف عن جدول. يمكنك قياس الفرق في الأداء مثل هذا: tf.function x = tf.random.uniform(shape=[10, 10], minval=-1, maxval=2, dtype=tf.dtypes.int32) def power(x, y): result = tf.eye(10, dtype=tf.dtypes.int32) for _ in range(y): result = tf.matmul(x, result) return result print("Eager execution:", timeit.timeit(lambda: power(x, 100), number=1000), "seconds") Eager execution: 4.1027931490000356 seconds power_as_graph = tf.function(power) print("Graph execution:", timeit.timeit(lambda: power_as_graph(x, 100), number=1000), "seconds") Graph execution: 0.7951284349999241 seconds يتم استخدامها عادة لتسريع حلقات التدريب، ويمكنك معرفة المزيد عن ذلك في القسم من مع قناة السويس tf.function تسرع خطوات تدريبك مع tf.function كتابة دورة تدريبية من الصفر ملاحظة: يمكنك أيضًا محاولة tf.function(jit_compile=True) لتعزيز أداء أكبر، وخاصة إذا كان الكود الخاص بك ضعيفًا على تدفق التحكم TensorFlow وتستخدم العديد من التضخمات الصغيرة. اقرأ المزيد في قسم _Explicit compilation with tf.function(jitcompile=True) من عرض XLA. يمكنك أيضًا محاولة لتعزيز أداء أكبر بكثير ، خاصة إذا كانت الكود الخاص بك ضعيفة على تدفق التحكم TensorFlow وتستخدم العديد من التضخمات الصغيرة. القسم من . Note: tf.function(jit_compile=True) tf.function(jitcompile=True) XLA مشاهدة XLA مشاهدة الأداء و التنازلات يمكن أن تسرع الكود الخاص بك، ولكن عملية إنشاءها لديها بعض التكاليف.لعدد من الميزات، إنشاء الكود يستغرق وقتا أطول من إنشاء الكود. This investment is usually quickly paid back with the performance boost of subsequent executions, but it's important to be aware that the first few steps of any large model training can be slower due to tracing. بغض النظر عن حجم نموذجك، تريد تجنب التتبع في كثير من الأحيان. القسم، The يتناول الدليل كيفية إعداد التوصيات الإداريّة واستخدام العناوين التضخميّة لتجنب التتبع.إذا وجدت أنك تكتسب أداءً غير عاديًّا، فمن المهم تحديد ما إذا كنت تتبعًا غير عاديًّا. التحكم في التراجع tf.function عندما يكون a التتبع ؟ TF وظيفة TF وظيفة من أجل معرفة ما إذا كانت إرسال إرسال إرسال A وَأَمَّا قَوْلُهُمْ: إِنَّهُمْ كَانُوا يَقُولُونَ: إِنَّهُمْ كَانُوا يَقُولُونَ: إِنَّهُمْ وسوف يتم تنفيذ يظهر كل مرة يظهر فيها. tf.function print tf.function print @tf.function def a_function_with_python_side_effect(x): print("Tracing!") # An eager-only side effect. return x * x + tf.constant(2) # This is traced the first time. print(a_function_with_python_side_effect(tf.constant(2))) # The second time through, you won't see the side effect. print(a_function_with_python_side_effect(tf.constant(3))) Tracing! tf.Tensor(6, shape=(), dtype=int32) tf.Tensor(11, shape=(), dtype=int32) # This retraces each time the Python argument changes, # as a Python argument could be an epoch count or other # hyperparameter. print(a_function_with_python_side_effect(2)) print(a_function_with_python_side_effect(3)) Tracing! tf.Tensor(6, shape=(), dtype=int32) Tracing! tf.Tensor(11, shape=(), dtype=int32) الأرقام الجديدة في Python تسبب دائمًا في إنشاء جدول جديد، وبالتالي التتبع الإضافي. الخطوات التالية يمكنك معرفة المزيد عن على صفحة المراجعة API، وبالتالي اتباع إرشادات tf.function أداء أفضل مع tf.function نشرت في الأصل على موقع TensorFlow ، يظهر هذا المقال هنا تحت عنوان جديد ويسمى CC BY 4.0. نشرت في الأصل على موقع TensorFlow ، يظهر هذا المقال هنا تحت عنوان جديد ويسمى CC BY 4.0. TensorFlow TensorFlow