بناء نموذجات ذكية مع ميزة TensorFlow الأكثر تراجعاً – أنواع التوسع

محتوى الرسائل Tensor API إرسال إرسال لـ API واحد إرسال لجميع API unary elementwise تداول الفوركس binary all elementwise أنواع التوسع نموذج الشبكة: شبكة TensorFlow APIs التي تدعم ExtensionTypes @tf.أعمال التحكم في عمليات النقل نظام التحكم عن طريق التحكم عن طريق التحكم عن بعد كريم نموذج بيانات Tensor API إرسال يمكن أن تكون أنواع التوسع "مثل التلسكوب"، في معناه أنهم يخصصون أو يتوسعون الحواسيب المحددة من قبل مثال على أنواع التمديدات التي تشبه التمديد تشمل: ، و و . . يمكن استخدامه لتغيير السلوك المفتوح للعملات TensorFlow عند تطبيقها إلى أنواع التمديد مثل التمديد. TensorFlow تحدد حاليا ثلاث محركات التمديد: tf.Tensor RaggedTensor SparseTensor MaskedTensor إرسال الممثلين إرسال الممثلين @tf.experimental.dispatch_for_api(tf_api) @tf.experimental.dispatch_for_unary_elementwise_apis(x_type) @tf.experimental.dispatch_for_binary_elementwise_apis(x_type, y_type) إرسال لـ API واحد ذاك يحدد decorator السلوك المفتوح لعمل TensorFlow المحدد عندما يتم إدخالها مع التوقيت المحدد. يجب أن يكون العملية القيم : tf.experimental.dispatch_for_api tf.stack MaskedTensor @tf.experimental.dispatch_for_api(tf.stack) def masked_stack(values: List[MaskedTensor], axis = 0): return MaskedTensor(tf.stack([v.values for v in values], axis), tf.stack([v.mask for v in values], axis)) وهذا يؤدي إلى إلغاء التطبيق الأصلي لل في كل مرة يُدعى فيها قائلاً: الأهمية (بعد أن ويشير المؤلّف إلى ) : tf.stack MaskedTensor values typing.List[MaskedTensor] x = MaskedTensor([1, 2, 3], [True, True, False]) y = MaskedTensor([4, 5, 6], [False, True, True]) tf.stack([x, y]) لتمكين كيفية التعامل مع قائمة المزيج و القيمة، يمكنك تحسين نوع التوصية لـ التقييم والحديث عن جسم الوظيفة بشكل مناسب: tf.stack MaskedTensor Tensor values tf.experimental.unregister_dispatch_for(masked_stack) def convert_to_masked_tensor(x): if isinstance(x, MaskedTensor): return x else: return MaskedTensor(x, tf.ones_like(x, tf.bool)) @tf.experimental.dispatch_for_api(tf.stack) def masked_stack_v2(values: List[Union[MaskedTensor, tf.Tensor]], axis = 0): values = [convert_to_masked_tensor(v) for v in values] return MaskedTensor(tf.stack([v.values for v in values], axis), tf.stack([v.mask for v in values], axis)) x = MaskedTensor([1, 2, 3], [True, True, False]) y = tf.constant([4, 5, 6]) tf.stack([x, y, x]) للحصول على قائمة من APIs التي يمكن تكرارها، انظر توثيق API . tf.experimental.dispatch_for_api إرسال لجميع API unary elementwise ذاك التخطيط يحدد السلوك الافتراضي لل unary elementwise ops (مثل ) في كل مرة تكون القيمة للمقارنة الأولى (التي تسمى عادة ) تتوافق مع نوع التوصية يجب أن يستخدم الوظيفة المعزولة اثنين من الأدلة: tf.experimental.dispatch_for_unary_elementwise_apis جميع tf.math.cos x x_type جميع api_func: وظيفة تتخذ معيارًا واحدًا ويعمل على العمل عنصرًا (على سبيل المثال، tf.abs). x: الفصل الأول للعمل عنصرًا. يتم تحديث النماذج التالية لجميع العمليات unary elementwise لتعامل مع النوع : MaskedTensor @tf.experimental.dispatch_for_unary_elementwise_apis(MaskedTensor) def masked_tensor_unary_elementwise_api_handler(api_func, x): return MaskedTensor(api_func(x.values), x.mask) ستستخدم هذه الميزات الآن في كل مرة يتم إدخال تشغيل عنصر واحد في . MaskedTensor x = MaskedTensor([1, -2, -3], [True, False, True]) print(tf.abs(x)) print(tf.ones_like(x, dtype=tf.float32)) تداول الفوركس binary all elementwise كذلك ، يمكن استخدامه لتحديث جميع العمليات الأبعاد الثنائية للتعامل مع النوع : tf.experimental.dispatch_for_binary_elementwise_apis MaskedTensor @tf.experimental.dispatch_for_binary_elementwise_apis(MaskedTensor, MaskedTensor) def masked_tensor_binary_elementwise_api_handler(api_func, x, y): return MaskedTensor(api_func(x.values, y.values), x.mask & y.mask) x = MaskedTensor([1, -2, -3], [True, False, True]) y = MaskedTensor([[4], [5]], [[True], [False]]) tf.math.add(x, y) للحصول على قائمة المكونات الأساسية التي يتم تثبيتها، انقر فوق توثيق المكونات API و . tf.experimental.dispatch_for_unary_elementwise_apis tf.experimental.dispatch_for_binary_elementwise_apis البوتاسيوم s نوع التوسع نوع التوسع 1ـ هي إذا كان من الممكن استخدام مثال واحد لتشكيل مجموعة من القيم. عادة ما يتم تحقيق ذلك من خلال إضافة أبعاد القيمة إلى جميع الأبعاد القائمة. s. تتطلب APIs التالية من TensorFlow أن تكون جميع مستندات نوع التمديد قابلة للتعديل: ExtensionType البوتاسيوم Tensor tf.data.Dataset (المجموع، غير المجموع، من_tensor_slices) tf.keras (تقييم، التقييم، التقييم) tf.map_fn الالكتروني وبالتالي، يخلق قيمة المجموع من خلال المجموع أي المجموع s ، s ، و إذا لم يكن هذا مناسبًا لمدرسةك، فسوف تحتاج إلى استخدام من أجل إزالة هذا السلوك المفتوح، على سبيل المثال، لن يكون من الضروري إنشاء مجموعة من تقييم الأرقام من خلال تقييم الأرقام الفردية » ، و و الأماكن - في معظم الحالات ، لا يمكنك جمع هذه التضخمات ، لأنها لديها أشكال غير متوافقة ؛ وحتى لو كنت قادراً ، فإن النتيجة لن تكون صحيحة. . BatchableExtensionType Tensor CompositeTensor ExtensionType tf.experimental.ExtensionTypeBatchEncoder tf.SparseTensor values indices dense_shape SparseTensor ملاحظة: BatchableExtensionTypes لا تحدد تدويرات تلقائيًا ل tf.stack، tf.concat، tf.slice، وما إلى ذلك إذا كنت بحاجة إلى دعم الفئة الخاصة بك من خلال هذه API، ثم استخدم تدويرات التدوير المذكورة أعلاه. ذاك يحدد تلقائيًا مستخدمي ، ، إذا كنت بحاجة إلى دعم الدرجة من خلال هذه API، ثم استخدامه لتطبيقات التصفح المذكورة أعلاه. Note: BatchableExtensionType لا tf.stack tf.concat tf.slice مثال : BatchableExtensionType Network على سبيل المثال ، نظرة بسيطة الطبقة المستخدمة لتوازن الأعباء، والتي تتبع كم من العمل لا يزال للقيام في كل نقطة، وكم من ميزات الشبكة المتاحة لتحرك العمل بين النقطة: Network class Network(tf.experimental.ExtensionType): # This version is not batchable. work: tf.Tensor # work[n] = work left to do at node n bandwidth: tf.Tensor # bandwidth[n1, n2] = bandwidth from n1->n2 net1 = Network([5., 3, 8], [[0., 2, 0], [2, 0, 3], [0, 3, 0]]) net2 = Network([3., 4, 2], [[0., 2, 2], [2, 0, 2], [2, 2, 0]]) لتغيير هذا النوع من المجموعات، قم بتغيير النوع الأساسي إلى ورفع شكل كل قطعة لتشمل أبعاد المجموعة الخيارات الثنائية.في الأمثلة التالية يضيف أيضا لكي تتمكن من مراقبة شكل البطارية، هذا لا يتطلب هذا المجال من أو ولكن هذا المطلوب من . BatchableExtensionType shape shape tf.data.Dataset tf.map_fn هي tf.keras class Network(tf.experimental.BatchableExtensionType): shape: tf.TensorShape # batch shape. A single network has shape=[]. work: tf.Tensor # work[*shape, n] = work left to do at node n bandwidth: tf.Tensor # bandwidth[*shape, n1, n2] = bandwidth from n1->n2 def __init__(self, work, bandwidth): self.work = tf.convert_to_tensor(work) self.bandwidth = tf.convert_to_tensor(bandwidth) work_batch_shape = self.work.shape[:-1] bandwidth_batch_shape = self.bandwidth.shape[:-2] self.shape = work_batch_shape.merge_with(bandwidth_batch_shape) def __repr__(self): return network_repr(self) def network_repr(network): work = network.work bandwidth = network.bandwidth if hasattr(work, 'numpy'): work = ' '.join(str(work.numpy()).split()) if hasattr(bandwidth, 'numpy'): bandwidth = ' '.join(str(bandwidth.numpy()).split()) return (f" ") net1 = Network([5., 3, 8], [[0., 2, 0], [2, 0, 3], [0, 3, 0]]) net2 = Network([3., 4, 2], [[0., 2, 2], [2, 0, 2], [2, 2, 0]]) batch_of_networks = Network( work=tf.stack([net1.work, net2.work]), bandwidth=tf.stack([net1.bandwidth, net2.bandwidth])) print(f"net1={net1}") print(f"net2={net2}") print(f"batch={batch_of_networks}") يمكنك بعد ذلك استخدام لتوضيح ذلك من خلال مجموعة من الشبكات: tf.data.Dataset dataset = tf.data.Dataset.from_tensor_slices(batch_of_networks) for i, network in enumerate(dataset): print(f"Batch element {i}: {network}") يمكنك أيضا استخدام لتطبيق وظيفة لكل عنصر الحجم: map_fn def balance_work_greedy(network): delta = (tf.expand_dims(network.work, -1) - tf.expand_dims(network.work, -2)) delta /= 4 delta = tf.maximum(tf.minimum(delta, network.bandwidth), -network.bandwidth) new_work = network.work + tf.reduce_sum(delta, -1) return Network(new_work, network.bandwidth) tf.map_fn(balance_work_greedy, batch_of_networks) TensorFlow APIs التي تدعم s نوع التوسع نوع التوسع @tf.أعمال هو مزيج يعمل على تحديد التقييمات TensorFlow لعمليات Python ، والتي يمكن تحسين بشكل كبير أداء رمز TensorFlow الخاص بك. وظائف التخزين tf.function @tf.function class Pastry(tf.experimental.ExtensionType): sweetness: tf.Tensor # 2d embedding that encodes sweetness chewiness: tf.Tensor # 2d embedding that encodes chewiness @tf.function def combine_pastry_features(x: Pastry): return (x.sweetness + x.chewiness) / 2 cookie = Pastry(sweetness=[1.2, 0.4], chewiness=[0.8, 0.2]) combine_pastry_features(cookie) إذا كنت ترغب في تحديد بشكل واضح لـ ثم يمكنك القيام بذلك باستخدام نوع التمديد . input_signature tf.function TypeSpec pastry_spec = Pastry.Spec(tf.TensorSpec([2]), tf.TensorSpec(2)) @tf.function(input_signature=[pastry_spec]) def increase_sweetness(x: Pastry, delta=1.0): return Pastry(x.sweetness + delta, x.chewiness) increase_sweetness(cookie) وظائف محددة الوظائف الحقيقية تكوّن بطاقات التتبع الفردية التي تم إنشاؤها بواسطة يمكن استخدام أنواع التوسع بشكل شفاف مع الوظائف الحقيقية. tf.function cf = combine_pastry_features.get_concrete_function(pastry_spec) cf(cookie) التحكم في عمليات النقل يتم دعم أنواع التوسع من خلال عمليات التحكم عن بعد من TensorFlow: Tf.Cond الفوركس.case tf.while_فوركس TF.الهوية # Example: using tf.cond to select between two MaskedTensors. Note that the # two MaskedTensors don't need to have the same shape. a = MaskedTensor([1., 2, 3], [True, False, True]) b = MaskedTensor([22., 33, 108, 55], [True, True, True, False]) condition = tf.constant(True) print(tf.cond(condition, lambda: a, lambda: b)) # Example: using tf.while_loop with MaskedTensor. cond = lambda i, _: i < 10 def body(i, mt): return i + 1, mt.with_values(mt.values + 3 / 7) print(tf.while_loop(cond, body, [0, b])[1]) نظام التحكم عن طريق التحكم عن طريق التحكم عن بعد يتم دعم أنواع التوسع أيضًا من خلال بيانات تدفق التحكم في (بالتالي، في النقطة التالية، فإن الإعلان و يتم تحويل الإشارات تلقائيا إلى و الأنشطة التي تدعم أنواع التوسع. tf.function if for tf.cond tf.while_loop @tf.function def fn(x, b): if b: x = MaskedTensor(x, tf.less(x, 0)) else: x = MaskedTensor(x, tf.greater(x, 0)) for i in tf.range(5 if b else 7): x = x.with_values(x.values + 1 / 2) return x print(fn(tf.constant([1., -2, 3]), tf.constant(True))) print(fn(tf.constant([1., -2, 3]), tf.constant(False))) كريم هو API على مستوى عال من TensorFlow لإنشاء وتدريب نموذج التعلم العميق. قد يتم إرسال أنواع التوسع كدخول إلى نموذج Keras، يتم إرسالها بين طبقات Keras، وتعود من قبل نموذج Keras. كوريا يجب أن تكون قابلة للتعديل (انقر فوق "Batchable ExtensionTypes"). يجب أن يكون لديهم مجال أو خصائص تسمى shape. shape[0] يفترض أن يكون حجم البطاقة. توفر الدورات التالية أمثلة تظهر كيف يمكن استخدام أنواع التوسع مع Keras. كريم مثال : شبكة شبكة على سبيل المثال الأول، ننظر إلى الفئة المحددة في "Batchable" s" الفقرة أعلاه، والتي يمكن استخدامها لعمل التوازن السعر بين القنوات. Network ExtensionType class Network(tf.experimental.BatchableExtensionType): shape: tf.TensorShape # batch shape. A single network has shape=[]. work: tf.Tensor # work[*shape, n] = work left to do at node n bandwidth: tf.Tensor # bandwidth[*shape, n1, n2] = bandwidth from n1->n2 def __init__(self, work, bandwidth): self.work = tf.convert_to_tensor(work) self.bandwidth = tf.convert_to_tensor(bandwidth) work_batch_shape = self.work.shape[:-1] bandwidth_batch_shape = self.bandwidth.shape[:-2] self.shape = work_batch_shape.merge_with(bandwidth_batch_shape) def __repr__(self): return network_repr(self) single_network = Network( # A single network with 4 nodes. work=[8.0, 5, 12, 2], bandwidth=[[0.0, 1, 2, 2], [1, 0, 0, 2], [2, 0, 0, 1], [2, 2, 1, 0]]) batch_of_networks = Network( # Batch of 2 networks, each w/ 2 nodes. work=[[8.0, 5], [3, 2]], bandwidth=[[[0.0, 1], [1, 0]], [[0, 2], [2, 0]]]) يمكنك تحديد طبقة Keras الجديدة التي تتعامل مع س س Network class BalanceNetworkLayer(tf.keras.layers.Layer): """Layer that balances work between nodes in a network. Shifts work from more busy nodes to less busy nodes, constrained by bandwidth. """ def call(self, inputs): # This function is defined above in the "Batchable `ExtensionType`s" section. return balance_work_greedy(inputs) يمكنك بعد ذلك استخدام هذه الطوابق لإنشاء نموذج بسيط. في نموذج ، يمكنك استخدام لويز مع تحديد نوع التمديد إذا تم استخدام نموذج Keras لمعالجة المجموعات ، فإن يجب أن تتضمن حجم البطاقة. ExtensionType tf.keras.layer.Input type_spec TypeSpec type_spec input_spec = Network.Spec(shape=None, work=tf.TensorSpec(None, tf.float32), bandwidth=tf.TensorSpec(None, tf.float32)) model = tf.keras.Sequential([ tf.keras.layers.Input(type_spec=input_spec), BalanceNetworkLayer(), ]) وفي النهاية، يمكنك تطبيق النماذج على شبكة واحدة أو على مجموعة من الشبكات. model(single_network) model(batch_of_networks) ملاحظة: كاميرا مسحوق في هذه الحالة ، يتم توسيع الدعم . . ويعبر عن الممتلكات التي يتم حسابها من Keras يتطلب منك إضافة هذه الخصائص إلى نوع التوسع و . . كما يحدد a التغييرات التي ستحتاج إلى التخزين ( أدناه ) MaskedTensor Keras shape values TypeSpec MaskedTensor __name__ SavedModel class MaskedTensor(tf.experimental.BatchableExtensionType): # __name__ is required for serialization in SavedModel; see below for details. __name__ = 'extension_type_colab.MaskedTensor' values: tf.Tensor mask: tf.Tensor shape = property(lambda self: self.values.shape) dtype = property(lambda self: self.values.dtype) def with_default(self, default): return tf.where(self.mask, self.values, default) def __repr__(self): return masked_tensor_str(self.values, self.mask) class Spec: def __init__(self, shape, dtype=tf.float32): self.values = tf.TensorSpec(shape, dtype) self.mask = tf.TensorSpec(shape, tf.bool) shape = property(lambda self: self.values.shape) dtype = property(lambda self: self.values.dtype) def with_shape(self): return MaskedTensor.Spec(tf.TensorSpec(shape, self.values.dtype), tf.TensorSpec(shape, self.mask.dtype)) بعد ذلك، يتم استخدام التخزين لتخزين السلوك المفتوح لعدد من API TensorFlow. Since these APIs are used by standard Keras layers (such as the وَقَالَ ابْنُ عَبَّاسٍ وَالْحَسَنُ وَقَتَادَةُ وَالْحَسَنُ وَقَتَادَةُ وَالْحَسَنُ وَقَتَادَةُ وَالْحَسَنُ وَقَتَادَةُ وَالْحَسَنُ وَقَتَادَةُ. وبالتالي، لأغراض هذا النمط، يتم تحديد التضخم المضخم إلى معالجة القيم المضخمة كغيرها من القيم (أي لا تضخمها في المنتج). Dense MaskedTensor matmul @tf.experimental.dispatch_for_unary_elementwise_apis(MaskedTensor) def unary_elementwise_op_handler(op, x): return MaskedTensor(op(x.values), x.mask) @tf.experimental.dispatch_for_binary_elementwise_apis( Union[MaskedTensor, tf.Tensor], Union[MaskedTensor, tf.Tensor]) def binary_elementwise_op_handler(op, x, y): x = convert_to_masked_tensor(x) y = convert_to_masked_tensor(y) return MaskedTensor(op(x.values, y.values), x.mask & y.mask) @tf.experimental.dispatch_for_api(tf.matmul) def masked_matmul(a: MaskedTensor, b, transpose_a=False, transpose_b=False, adjoint_a=False, adjoint_b=False, a_is_sparse=False, b_is_sparse=False, output_type=None): if isinstance(a, MaskedTensor): a = a.with_default(0) if isinstance(b, MaskedTensor): b = b.with_default(0) return tf.matmul(a, b, transpose_a, transpose_b, adjoint_a, adjoint_b, a_is_sparse, b_is_sparse, output_type) ثم يمكنك بناء نموذج Keras الذي يستخدم إدخال ، باستخدام طبقات Keras القياسية: MaskedTensor input_spec = MaskedTensor.Spec([None, 2], tf.float32) masked_tensor_model = tf.keras.Sequential([ tf.keras.layers.Input(type_spec=input_spec), tf.keras.layers.Dense(16, activation="relu"), tf.keras.layers.Dense(1)]) masked_tensor_model.compile(loss='binary_crossentropy', optimizer='rmsprop') a = MaskedTensor([[1., 2], [3, 4], [5, 6]], [[True, False], [False, True], [True, True]]) masked_tensor_model.fit(a, tf.constant([[1], [0], [1]]), epochs=3) print(masked_tensor_model(a)) نموذج A هو برنامج TensorFlow المتعدد الأبعاد ، بما في ذلك الوزن والتمثيل. ويمكن بناء من نموذج Keras أو من نموذج مخصص. في أي حال ، يمكن استخدام أنواع التمديد بشكل شفاف مع الميزات والطرق المحددة من قبل SavedModel. نموذج يمكن لـ SavedModel تخزين النماذج والمراكز واللوائح التي تتعامل مع أنواع التوسع ، بحيث تكون أنواع التوسع هذا الاسم يستخدم لتسجيل نوع التوسع ، بحيث يمكن العثور عليه عند تحميل النماذج. __name__ مثال: حفظ نموذج Keras يمكن حفظ النماذج Keras التي تستخدم أنواع التوسع باستخدام . SavedModel masked_tensor_model_path = tempfile.mkdtemp() tf.saved_model.save(masked_tensor_model, masked_tensor_model_path) imported_model = tf.saved_model.load(masked_tensor_model_path) imported_model(a) مثال: حفظ نموذج مخصص يمكن أيضا أن تستخدم SavedModel لتخزين التخصيص العناصر التي تتعامل مع أنواع التوسع. tf.Module class CustomModule(tf.Module): def __init__(self, variable_value): super().__init__() self.v = tf.Variable(variable_value) @tf.function def grow(self, x: MaskedTensor): """Increase values in `x` by multiplying them by `self.v`.""" return MaskedTensor(x.values * self.v, x.mask) module = CustomModule(100.0) module.grow.get_concrete_function(MaskedTensor.Spec(shape=None, dtype=tf.float32)) custom_module_path = tempfile.mkdtemp() tf.saved_model.save(module, custom_module_path) imported_model = tf.saved_model.load(custom_module_path) imported_model.grow(MaskedTensor([1., 2, 3], [False, True, False])) تخصيص نموذج حيوي عندما يكون غير متوفر نوع التوسع نوع التوسع إذا قمت بتحميل A وهذا يستخدم ولكن هذا غير متوفر (أي لم يتم إدخالها) ، فستحصل على إشعارات وستنطلق TensorFlow مرة أخرى إلى استخدام "مجموعة التمديد المسمى باسم المستخدم". سيكون له هذه المكونات نفس المجالات مثل النوع الأصلي ، ولكن سيكون لديك أي تخصيصات إضافية تم إضافةها إلى النوع ، مثل طرق أو خصائص مخصصة. SavedModel ExtensionType ExtensionType استخدام مع TensorFlow Serving ExtensionType نوع التوسع في الوقت الحاضر، (وخاصة المستهلكين الآخرين من كتاب SavedModel "السجلات") يحتاجون إلى أن تكون جميع الملفات والانتقالات مصغرة.إذا كنت ترغب في استخدام TensorFlow Serving مع نموذج يستخدم أنواع التوسع، فيمكنك إضافة أساليب التوسع التي تنتج أو تنقسم قيمة أنواع التوسع من مصغرات. TensorFlow خدمة class CustomModuleWrapper(tf.Module): def __init__(self, variable_value): super().__init__() self.v = tf.Variable(variable_value) @tf.function def var_weighted_mean(self, x: MaskedTensor): """Mean value of unmasked values in x, weighted by self.v.""" x = MaskedTensor(x.values * self.v, x.mask) return (tf.reduce_sum(x.with_default(0)) / tf.reduce_sum(tf.cast(x.mask, x.dtype))) @tf.function() def var_weighted_mean_wrapper(self, x_values, x_mask): """Raw tensor wrapper for var_weighted_mean.""" return self.var_weighted_mean(MaskedTensor(x_values, x_mask)) module = CustomModuleWrapper([3., 2., 8., 5.]) module.var_weighted_mean_wrapper.get_concrete_function( tf.TensorSpec(None, tf.float32), tf.TensorSpec(None, tf.bool)) custom_module_path = tempfile.mkdtemp() tf.saved_model.save(module, custom_module_path) imported_model = tf.saved_model.load(custom_module_path) x = MaskedTensor([1., 2., 3., 4.], [False, True, False, True]) imported_model.var_weighted_mean_wrapper(x.values, x.mask) s Dataset هو API الذي يسمح لك ببناء خطوط الدخول المعقدة من أجزاء بسيطة ومتعددة الاستخدام. ، والذي يمثل سلسلة من العناصر، حيث يتكون كل عنصر من واحد أو أكثر من العناصر. tf.data tf.data.Dataset البناء s مع أنواع التوسع Dataset بيانات يمكن بناء مجموعات البيانات من قواعد نوع التوسع باستخدام ، أو أو : Dataset.from_tensors Dataset.from_tensor_slices Dataset.from_generator ds = tf.data.Dataset.from_tensors(Pastry(5, 5)) iter(ds).next() mt = MaskedTensor(tf.reshape(range(20), [5, 4]), tf.ones([5, 4])) ds = tf.data.Dataset.from_tensor_slices(mt) for value in ds: print(value) def value_gen(): for i in range(2, 7): yield MaskedTensor(range(10), [j%i != 0 for j in range(10)]) ds = tf.data.Dataset.from_generator( value_gen, output_signature=MaskedTensor.Spec(shape=[10], dtype=tf.int32)) for value in ds: print(value) بيع و لا بيع s مع أنواع التوسع بيانات بيانات يمكن أن يكون مجموعات البيانات مع أنواع التوسع بطاقات و غير بطاقات باستخدام و . Dataset.batch Dataset.unbatch batched_ds = ds.batch(2) for value in batched_ds: print(value) unbatched_ds = batched_ds.unbatch() for value in unbatched_ds: print(value) نشرت في الأصل على موقع TensorFlow ، يظهر هذا المقال هنا تحت عنوان جديد ويسمى CC BY 4.0. نشرت في الأصل على موقع TensorFlow ، يظهر هذا المقال هنا تحت عنوان جديد ويسمى CC BY 4.0. TensorFlow TensorFlow