Δημιουργία πιο έξυπνων μοντέλων με το πιο υποτιμημένο χαρακτηριστικό του TensorFlow – Τύποι επεκτάσεων

Περιεχόμενο Επισκόπηση Tensor API διανομής Αποστολή για ένα ενιαίο API Αποστολή για όλα τα unary elementwise APIs Αποστολή για binary all elementwise APIs Τύποι επεκτάσεων Batchable BatchableExtensionType παράδειγμα: Δίκτυο TensorFlow API που υποστηρίζουν ExtensionTypes ΤΣΕΦ.ΕΡΓΑΣΙΑ Λειτουργίες ελέγχου ροής Αυτογραφικό έλεγχο ροής ΚΕΡΑΣ Μοντέλο σωτηρίας Δεδομένα Tensor API διανομής Οι τύποι επέκτασης μπορούν να είναι «όπως ο τέντορας», με την έννοια ότι εξειδικεύουν ή επεκτείνουν τη διεπαφή που ορίζεται από το Παραδείγματα τύπων επέκτασης όπως το tensor περιλαμβάνουν: , και . . Μπορεί να χρησιμοποιηθεί για να παρακάμψει την προεπιλεγμένη συμπεριφορά των λειτουργιών TensorFlow όταν εφαρμόζεται στους τύπους επέκτασης που μοιάζουν με tensor. tf.Tensor RaggedTensor SparseTensor MaskedTensor Διακοσμητές αποστολής Διακοσμητές αποστολής @tf.experimental.dispatch_for_api(tf_api) @tf.experimental.dispatch_for_unary_elementwise_apis(x_type) @tf.experimental.dispatch_for_binary_elementwise_apis(x_type, y_type) Αποστολή για ένα ενιαίο API Η Ο διακοσμητής παρακάμπτει την προεπιλεγμένη συμπεριφορά μιας συγκεκριμένης λειτουργίας TensorFlow όταν καλείται με την καθορισμένη υπογραφή. Η διαδικασία πρέπει Οι αξίες: tf.experimental.dispatch_for_api tf.stack MaskedTensor @tf.experimental.dispatch_for_api(tf.stack) def masked_stack(values: List[MaskedTensor], axis = 0): return MaskedTensor(tf.stack([v.values for v in values], axis), tf.stack([v.mask for v in values], axis)) Αυτό καθιστά δυνατή την προεπιλεγμένη εφαρμογή για Κάθε φορά που καλείται με μια λίστα Αξίες (από τότε που Το επιχείρημα αναφέρεται με ) : tf.stack MaskedTensor values typing.List[MaskedTensor] x = MaskedTensor([1, 2, 3], [True, True, False]) y = MaskedTensor([4, 5, 6], [False, True, True]) tf.stack([x, y]) Να επιτρέψουμε Για τη διαχείριση λιστών μεικτών και αξίες, μπορείτε να βελτιώσετε τον τύπο της σημείωσης για την παραμέτρους και να ενημερώσετε το σώμα της λειτουργίας κατάλληλα: tf.stack MaskedTensor Tensor values tf.experimental.unregister_dispatch_for(masked_stack) def convert_to_masked_tensor(x): if isinstance(x, MaskedTensor): return x else: return MaskedTensor(x, tf.ones_like(x, tf.bool)) @tf.experimental.dispatch_for_api(tf.stack) def masked_stack_v2(values: List[Union[MaskedTensor, tf.Tensor]], axis = 0): values = [convert_to_masked_tensor(v) for v in values] return MaskedTensor(tf.stack([v.values for v in values], axis), tf.stack([v.mask for v in values], axis)) x = MaskedTensor([1, 2, 3], [True, True, False]) y = tf.constant([4, 5, 6]) tf.stack([x, y, x]) Για μια λίστα με τα API που μπορούν να υπερεκτιμηθούν, ανατρέξτε στην τεκμηρίωση API για . tf.experimental.dispatch_for_api Αποστολή για όλα τα unary elementwise APIs Η ο διακόπτης παραβλέπει την προεπιλεγμένη συμπεριφορά του Unary elementwise ops (όπως ) κάθε φορά που η τιμή για το πρώτο επιχείρημα (συνήθως ονομάζεται ) ταιριάζει με τον τύπο εγγραφής Η διακοσμημένη συνάρτηση πρέπει να έχει δύο επιχειρήματα: tf.experimental.dispatch_for_unary_elementwise_apis Όλες tf.math.cos x x_type Όλες api_func: Μια συνάρτηση που παίρνει μια ενιαία παράμετρο και εκτελεί την πράξη elementwise (για παράδειγμα, tf.abs). x: Το πρώτο επιχείρημα για την πράξη elementwise. Το παρακάτω παράδειγμα ενημερώνει όλες τις λειτουργίες unary elementwise για να χειριστεί το Τύπος : MaskedTensor @tf.experimental.dispatch_for_unary_elementwise_apis(MaskedTensor) def masked_tensor_unary_elementwise_api_handler(api_func, x): return MaskedTensor(api_func(x.values), x.mask) Αυτή η συνάρτηση θα χρησιμοποιείται τώρα κάθε φορά που καλείται μια λειτουργία unary elementwise σε ένα . MaskedTensor x = MaskedTensor([1, -2, -3], [True, False, True]) print(tf.abs(x)) print(tf.ones_like(x, dtype=tf.float32)) Αποστολή για binary all elementwise APIs Ομοίως, μπορεί να χρησιμοποιηθεί για την ενημέρωση όλων των λειτουργιών δυαδικών στοιχείων για να χειριστεί το Τύπος : tf.experimental.dispatch_for_binary_elementwise_apis MaskedTensor @tf.experimental.dispatch_for_binary_elementwise_apis(MaskedTensor, MaskedTensor) def masked_tensor_binary_elementwise_api_handler(api_func, x, y): return MaskedTensor(api_func(x.values, y.values), x.mask & y.mask) x = MaskedTensor([1, -2, -3], [True, False, True]) y = MaskedTensor([[4], [5]], [[True], [False]]) tf.math.add(x, y) Για μια λίστα με τα στοιχειώδη API που υπερβαίνουν, μεταβείτε στην τεκμηρίωση API για και . tf.experimental.dispatch_for_unary_elementwise_apis tf.experimental.dispatch_for_binary_elementwise_apis Μπατσελόνα s ExtensionType Τύπος επέκτασης ΕΝ είναι εάν μια ενιαία περίπτωση μπορεί να χρησιμοποιηθεί για να αντιπροσωπεύσει μια παρτίδα τιμών. Συνήθως, αυτό επιτυγχάνεται με την προσθήκη διαστάσεων παρτίδας σε όλα τα ενσωματωμένα s. Τα ακόλουθα API του TensorFlow απαιτούν οποιαδήποτε εισροή τύπου επέκτασης να είναι παρτίδα: ExtensionType Μπάτσε Tensor tf.data.Dataset (πατίδα, μη παρτίδα, από_tensor_slices) tf.keras (προσαρμόστε, αξιολογήστε και προβλέψτε) Ετικέτες map_fn Με την παράλειψη, δημιουργεί παρτίδα τιμών με παρτίδα οποιαδήποτε Ο Σ, s και Εάν αυτό δεν είναι κατάλληλο για την τάξη σας, τότε θα πρέπει να χρησιμοποιήσετε να παρακάμψει αυτή την προεπιλεγμένη συμπεριφορά. Για παράδειγμα, δεν θα ήταν σκόπιμο να δημιουργηθεί μια παρτίδα με την απλή συσσώρευση μεμονωμένων σπάνιων τεντωτών» , και πεδία - στις περισσότερες περιπτώσεις, δεν μπορείτε να συσσωρεύσετε αυτούς τους τέντες, καθώς έχουν ασυμβίβαστα σχήματα. και ακόμη και αν μπορούσατε, το αποτέλεσμα δεν θα ήταν ένα έγκυρο . BatchableExtensionType Tensor CompositeTensor ExtensionType tf.experimental.ExtensionTypeBatchEncoder tf.SparseTensor values indices dense_shape SparseTensor Σημείωση: Τα BatchableExtensionTypes δεν καθορίζουν αυτόματα τους αποστολείς για tf.stack, tf.concat, tf.slice κ.λπ. Εάν η τάξη σας χρειάζεται να υποστηρίζεται από αυτά τα API, χρησιμοποιήστε τους διακοσμητές αποστολής που περιγράφονται παραπάνω. ΣΕ ΔΩ Αυτόματη εγκατάσταση αποστολέων για , , Εάν η τάξη σας πρέπει να υποστηρίζεται από αυτά τα API, χρησιμοποιήστε τους διακοσμητές αποστολής που περιγράφονται παραπάνω. Note: BatchableExtensionType Όχι tf.stack tf.concat tf.slice Το παράδειγμα: BatchableExtensionType Network Για παράδειγμα, εξετάστε ένα απλό Η κλάση που χρησιμοποιείται για την εξισορρόπηση φορτίου, η οποία παρακολουθεί πόση εργασία μένει να γίνει σε κάθε κόμβο και πόσο εύρος ζώνης είναι διαθέσιμο για να μετακινηθεί η εργασία μεταξύ των κόμβων: Network class Network(tf.experimental.ExtensionType): # This version is not batchable. work: tf.Tensor # work[n] = work left to do at node n bandwidth: tf.Tensor # bandwidth[n1, n2] = bandwidth from n1->n2 net1 = Network([5., 3, 8], [[0., 2, 0], [2, 0, 3], [0, 3, 0]]) net2 = Network([3., 4, 2], [[0., 2, 2], [2, 0, 2], [2, 2, 0]]) Για να κάνετε αυτόν τον τύπο παρτίδα, αλλάξτε τον τύπο βάσης σε , και να προσαρμόσετε το σχήμα του κάθε πεδίου για να συμπεριλάβετε προαιρετικές διαστάσεις παρτίδας. για να παρακολουθείτε το σχήμα της παρτίδας. αυτό Το πεδίο δεν απαιτείται από ή Αλλά αυτό Απαιτείται από . BatchableExtensionType shape shape tf.data.Dataset tf.map_fn είναι tf.keras class Network(tf.experimental.BatchableExtensionType): shape: tf.TensorShape # batch shape. A single network has shape=[]. work: tf.Tensor # work[*shape, n] = work left to do at node n bandwidth: tf.Tensor # bandwidth[*shape, n1, n2] = bandwidth from n1->n2 def __init__(self, work, bandwidth): self.work = tf.convert_to_tensor(work) self.bandwidth = tf.convert_to_tensor(bandwidth) work_batch_shape = self.work.shape[:-1] bandwidth_batch_shape = self.bandwidth.shape[:-2] self.shape = work_batch_shape.merge_with(bandwidth_batch_shape) def __repr__(self): return network_repr(self) def network_repr(network): work = network.work bandwidth = network.bandwidth if hasattr(work, 'numpy'): work = ' '.join(str(work.numpy()).split()) if hasattr(bandwidth, 'numpy'): bandwidth = ' '.join(str(bandwidth.numpy()).split()) return (f" ") net1 = Network([5., 3, 8], [[0., 2, 0], [2, 0, 3], [0, 3, 0]]) net2 = Network([3., 4, 2], [[0., 2, 2], [2, 0, 2], [2, 2, 0]]) batch_of_networks = Network( work=tf.stack([net1.work, net2.work]), bandwidth=tf.stack([net1.bandwidth, net2.bandwidth])) print(f"net1={net1}") print(f"net2={net2}") print(f"batch={batch_of_networks}") Στη συνέχεια μπορείτε να χρησιμοποιήσετε για να επαναλάβετε μέσω μιας παρτίδας δικτύων: tf.data.Dataset dataset = tf.data.Dataset.from_tensor_slices(batch_of_networks) for i, network in enumerate(dataset): print(f"Batch element {i}: {network}") Μπορείτε επίσης να χρησιμοποιήσετε Για να εφαρμόσετε μια συνάρτηση σε κάθε στοιχείο παρτίδας: map_fn def balance_work_greedy(network): delta = (tf.expand_dims(network.work, -1) - tf.expand_dims(network.work, -2)) delta /= 4 delta = tf.maximum(tf.minimum(delta, network.bandwidth), -network.bandwidth) new_work = network.work + tf.reduce_sum(delta, -1) return Network(new_work, network.bandwidth) tf.map_fn(balance_work_greedy, batch_of_networks) TensorFlow API που υποστηρίζουν s ExtensionType Τύπος επέκτασης ΤΣΕΦ.ΕΡΓΑΣΙΑ είναι ένας διακοσμητής που προ-υπολογίζει γραφήματα TensorFlow για λειτουργίες Python, οι οποίες μπορούν να βελτιώσουν σημαντικά την απόδοση του κώδικα σας TensorFlow. Διακοσμητικές λειτουργίες . tf.function @tf.function class Pastry(tf.experimental.ExtensionType): sweetness: tf.Tensor # 2d embedding that encodes sweetness chewiness: tf.Tensor # 2d embedding that encodes chewiness @tf.function def combine_pastry_features(x: Pastry): return (x.sweetness + x.chewiness) / 2 cookie = Pastry(sweetness=[1.2, 0.4], chewiness=[0.8, 0.2]) combine_pastry_features(cookie) Αν θέλετε να διευκρινίσετε ρητά την Για , τότε μπορείτε να το κάνετε αυτό χρησιμοποιώντας τον τύπο επέκτασης . input_signature tf.function TypeSpec pastry_spec = Pastry.Spec(tf.TensorSpec([2]), tf.TensorSpec(2)) @tf.function(input_signature=[pastry_spec]) def increase_sweetness(x: Pastry, delta=1.0): return Pastry(x.sweetness + delta, x.chewiness) increase_sweetness(cookie) Συγκεκριμένες λειτουργίες Οι συγκεκριμένες λειτουργίες ενσωματώνουν μεμονωμένα γραφήματα που κατασκευάζονται από Οι τύποι επέκτασης μπορούν να χρησιμοποιηθούν διαφανώς με συγκεκριμένες λειτουργίες. tf.function cf = combine_pastry_features.get_concrete_function(pastry_spec) cf(cookie) Λειτουργίες ελέγχου ροής Οι τύποι επεκτάσεων υποστηρίζονται από τις λειτουργίες ροής ελέγχου του TensorFlow: Κοντ ΚΕΦΑΛΑΙΟ Επόμενη Επόμενο άρθρο: Tf.while_loop Δ. Ταυτότητα # Example: using tf.cond to select between two MaskedTensors. Note that the # two MaskedTensors don't need to have the same shape. a = MaskedTensor([1., 2, 3], [True, False, True]) b = MaskedTensor([22., 33, 108, 55], [True, True, True, False]) condition = tf.constant(True) print(tf.cond(condition, lambda: a, lambda: b)) # Example: using tf.while_loop with MaskedTensor. cond = lambda i, _: i < 10 def body(i, mt): return i + 1, mt.with_values(mt.values + 3 / 7) print(tf.while_loop(cond, body, [0, b])[1]) Αυτογραφικό έλεγχο ροής Οι τύποι επέκτασης υποστηρίζονται επίσης από τις δηλώσεις ροής ελέγχου στο (χρησιμοποιώντας αυτόγραφα).Στο ακόλουθο παράδειγμα, η Δήλωση και Οι δηλώσεις μετατρέπονται αυτόματα σε και λειτουργίες που υποστηρίζουν τύπους επέκτασης. tf.function if for tf.cond tf.while_loop @tf.function def fn(x, b): if b: x = MaskedTensor(x, tf.less(x, 0)) else: x = MaskedTensor(x, tf.greater(x, 0)) for i in tf.range(5 if b else 7): x = x.with_values(x.values + 1 / 2) return x print(fn(tf.constant([1., -2, 3]), tf.constant(True))) print(fn(tf.constant([1., -2, 3]), tf.constant(False))) ΚΕΡΑΣ είναι το API υψηλού επιπέδου της TensorFlow για την κατασκευή και την κατάρτιση μοντέλων βαθιάς μάθησης. Τύποι επέκτασης μπορούν να περάσουν ως εισροές σε ένα μοντέλο Keras, να περάσουν μεταξύ των στρωμάτων Keras και να επιστραφούν από τα μοντέλα Keras. ΚΕΡΑΣ Πρέπει να είναι παρτίδα (πατήστε στο "Batchable ExtensionTypes" παραπάνω). Πρέπει να έχουν ένα πεδίο ή μια ιδιότητα που ονομάζεται σχήμα. σχήμα[0] θεωρείται ότι είναι η διάσταση παρτίδας. Οι ακόλουθες δύο ενότητες δίνουν παραδείγματα για το πώς μπορούν να χρησιμοποιηθούν οι τύποι επέκτασης με το Keras. Το παράδειγμα της Κέρκυρας: Δίκτυο Δίκτυο Για το πρώτο παράδειγμα, εξετάστε το κατηγορία που ορίζεται στο "Batchable s" τμήμα παραπάνω, το οποίο μπορεί να χρησιμοποιηθεί για εργασίες εξισορρόπησης φορτίου μεταξύ κόμβων. ο ορισμός του επαναλαμβάνεται εδώ: Network ExtensionType class Network(tf.experimental.BatchableExtensionType): shape: tf.TensorShape # batch shape. A single network has shape=[]. work: tf.Tensor # work[*shape, n] = work left to do at node n bandwidth: tf.Tensor # bandwidth[*shape, n1, n2] = bandwidth from n1->n2 def __init__(self, work, bandwidth): self.work = tf.convert_to_tensor(work) self.bandwidth = tf.convert_to_tensor(bandwidth) work_batch_shape = self.work.shape[:-1] bandwidth_batch_shape = self.bandwidth.shape[:-2] self.shape = work_batch_shape.merge_with(bandwidth_batch_shape) def __repr__(self): return network_repr(self) single_network = Network( # A single network with 4 nodes. work=[8.0, 5, 12, 2], bandwidth=[[0.0, 1, 2, 2], [1, 0, 0, 2], [2, 0, 0, 1], [2, 2, 1, 0]]) batch_of_networks = Network( # Batch of 2 networks, each w/ 2 nodes. work=[[8.0, 5], [3, 2]], bandwidth=[[[0.0, 1], [1, 0]], [[0, 2], [2, 0]]]) Μπορείτε να ορίσετε ένα νέο στρώμα Keras που επεξεργάζεται Σ Σ Network class BalanceNetworkLayer(tf.keras.layers.Layer): """Layer that balances work between nodes in a network. Shifts work from more busy nodes to less busy nodes, constrained by bandwidth. """ def call(self, inputs): # This function is defined above in the "Batchable `ExtensionType`s" section. return balance_work_greedy(inputs) Μπορείτε στη συνέχεια να χρησιμοποιήσετε αυτά τα στρώματα για να δημιουργήσετε ένα απλό μοντέλο. σε ένα μοντέλο, μπορείτε να χρησιμοποιήσετε ένα Λέικερ με Εισαγωγή στον τύπο της επέκτασης Εάν το μοντέλο Keras θα χρησιμοποιηθεί για την επεξεργασία παρτίδων, τότε το Πρέπει να περιλαμβάνει το μέγεθος της παρτίδας. ExtensionType tf.keras.layer.Input type_spec TypeSpec type_spec input_spec = Network.Spec(shape=None, work=tf.TensorSpec(None, tf.float32), bandwidth=tf.TensorSpec(None, tf.float32)) model = tf.keras.Sequential([ tf.keras.layers.Input(type_spec=input_spec), BalanceNetworkLayer(), ]) Τέλος, μπορείτε να εφαρμόσετε το μοντέλο σε ένα μόνο δίκτυο και σε μια παρτίδα δικτύων. model(single_network) model(batch_of_networks) Ετικέτα: μάσκες Σε αυτό το παράδειγμα, Επεκτείνεται η υποστήριξη . . ορίζεται ως ιδιοκτησία που υπολογίζεται από το Keras απαιτεί να προσθέσετε αυτή την ιδιότητα τόσο στον τύπο επέκτασης όσο και στον . . Επίσης ορίζει την μεταβλητή, η οποία απαιτείται για την Ετικέτες ΣΕΡΙΑΛΙΣΜΟΣ (κάτω ) MaskedTensor Keras shape values TypeSpec MaskedTensor __name__ SavedModel class MaskedTensor(tf.experimental.BatchableExtensionType): # __name__ is required for serialization in SavedModel; see below for details. __name__ = 'extension_type_colab.MaskedTensor' values: tf.Tensor mask: tf.Tensor shape = property(lambda self: self.values.shape) dtype = property(lambda self: self.values.dtype) def with_default(self, default): return tf.where(self.mask, self.values, default) def __repr__(self): return masked_tensor_str(self.values, self.mask) class Spec: def __init__(self, shape, dtype=tf.float32): self.values = tf.TensorSpec(shape, dtype) self.mask = tf.TensorSpec(shape, tf.bool) shape = property(lambda self: self.values.shape) dtype = property(lambda self: self.values.dtype) def with_shape(self): return MaskedTensor.Spec(tf.TensorSpec(shape, self.values.dtype), tf.TensorSpec(shape, self.mask.dtype)) Στη συνέχεια, οι διακοσμητές αποστολής χρησιμοποιούνται για να παρακάμψουν την προεπιλεγμένη συμπεριφορά αρκετών API του TensorFlow. Δεδομένου ότι αυτά τα API χρησιμοποιούνται από τα τυπικά στρώματα Keras (όπως το ἐκκλησιαστικὴ ἐκκλησιαστικὴ ἐκκλησιαστικὴ ἐκκλησιαστικὴ ἐκκλησιαστικὴ ἐκκλησιαστικὴ ἐκκλησία. Για τους σκοπούς αυτού του παραδείγματος, για τους μάσκους τεντωτές ορίζεται η μεταχείριση των μάσκων τιμών ως μηδενικών (δηλαδή να μην συμπεριληφθούν στο προϊόν). Dense MaskedTensor matmul @tf.experimental.dispatch_for_unary_elementwise_apis(MaskedTensor) def unary_elementwise_op_handler(op, x): return MaskedTensor(op(x.values), x.mask) @tf.experimental.dispatch_for_binary_elementwise_apis( Union[MaskedTensor, tf.Tensor], Union[MaskedTensor, tf.Tensor]) def binary_elementwise_op_handler(op, x, y): x = convert_to_masked_tensor(x) y = convert_to_masked_tensor(y) return MaskedTensor(op(x.values, y.values), x.mask & y.mask) @tf.experimental.dispatch_for_api(tf.matmul) def masked_matmul(a: MaskedTensor, b, transpose_a=False, transpose_b=False, adjoint_a=False, adjoint_b=False, a_is_sparse=False, b_is_sparse=False, output_type=None): if isinstance(a, MaskedTensor): a = a.with_default(0) if isinstance(b, MaskedTensor): b = b.with_default(0) return tf.matmul(a, b, transpose_a, transpose_b, adjoint_a, adjoint_b, a_is_sparse, b_is_sparse, output_type) Στη συνέχεια, μπορείτε να δημιουργήσετε ένα μοντέλο Keras που αποδέχεται Εισαγωγές, χρησιμοποιώντας τα τυπικά στρώματα Keras: MaskedTensor input_spec = MaskedTensor.Spec([None, 2], tf.float32) masked_tensor_model = tf.keras.Sequential([ tf.keras.layers.Input(type_spec=input_spec), tf.keras.layers.Dense(16, activation="relu"), tf.keras.layers.Dense(1)]) masked_tensor_model.compile(loss='binary_crossentropy', optimizer='rmsprop') a = MaskedTensor([[1., 2], [3, 4], [5, 6]], [[True, False], [False, True], [True, True]]) masked_tensor_model.fit(a, tf.constant([[1], [0], [1]]), epochs=3) print(masked_tensor_model(a)) Μοντέλο σωτηρίας Α είναι ένα σειριακό πρόγραμμα TensorFlow, συμπεριλαμβανομένων τόσο των βαρών όσο και των υπολογισμών. Μπορεί να κατασκευαστεί από ένα μοντέλο Keras ή από ένα προσαρμοσμένο μοντέλο. Μοντέλο σωτηρίας Το SavedModel μπορεί να αποθηκεύσει μοντέλα, στρώματα και λειτουργίες που επεξεργάζονται τύπους επεκτάσεων, εφόσον οι τύποι επεκτάσεων έχουν Αυτό το όνομα χρησιμοποιείται για την εγγραφή του τύπου επέκτασης, έτσι ώστε να μπορεί να εντοπιστεί όταν φορτώνεται το μοντέλο. __name__ Παράδειγμα: Αποθήκευση ενός μοντέλου Keras Τα μοντέλα Keras που χρησιμοποιούν τύπους επέκτασης μπορούν να αποθηκευτούν χρησιμοποιώντας . SavedModel masked_tensor_model_path = tempfile.mkdtemp() tf.saved_model.save(masked_tensor_model, masked_tensor_model_path) imported_model = tf.saved_model.load(masked_tensor_model_path) imported_model(a) Παράδειγμα: Αποθήκευση ενός προσαρμοσμένου μοντέλου Το SavedModel μπορεί επίσης να χρησιμοποιηθεί για να αποθηκεύσετε προσαρμογές υποκατηγορίες με λειτουργίες που επεξεργάζονται τύπους επέκτασης. tf.Module class CustomModule(tf.Module): def __init__(self, variable_value): super().__init__() self.v = tf.Variable(variable_value) @tf.function def grow(self, x: MaskedTensor): """Increase values in `x` by multiplying them by `self.v`.""" return MaskedTensor(x.values * self.v, x.mask) module = CustomModule(100.0) module.grow.get_concrete_function(MaskedTensor.Spec(shape=None, dtype=tf.float32)) custom_module_path = tempfile.mkdtemp() tf.saved_model.save(module, custom_module_path) imported_model = tf.saved_model.load(custom_module_path) imported_model.grow(MaskedTensor([1., 2, 3], [False, True, False])) Φόρτωση ενός SavedModel όταν το Δεν είναι διαθέσιμη Τύπος επέκτασης Τύπος επέκτασης Αν φορτώσετε ένα Αυτό χρησιμοποιεί ένα Αλλά αυτό Αυτό το αντικείμενο θα έχει τα ίδια πεδία με τον αρχικό τύπο, αλλά θα λείπει οποιαδήποτε περαιτέρω προσαρμογή που έχετε προσθέσει για τον τύπο, όπως προσαρμοσμένες μεθόδους ή ιδιότητες. SavedModel ExtensionType ExtensionType Χρησιμοποιώντας Χρησιμοποιώντας το TensorFlow Serving Τύπος επέκτασης Τύπος επέκτασης Επί του παρόντος, (και άλλοι καταναλωτές του λεξικού "υπογραφές" του SavedModel) απαιτούν όλες οι εισόδους και οι εξόδους να είναι ακατέργαστοι τενζόντες. Εάν θέλετε να χρησιμοποιήσετε το TensorFlow Serving με ένα μοντέλο που χρησιμοποιεί τύπους επέκτασης, τότε μπορείτε να προσθέσετε μεθόδους τυλίγματος που συνθέτουν ή αποσυνθέτουν τιμές τύπου επέκτασης από τενζόντες. Το TensorFlow σερβίρει class CustomModuleWrapper(tf.Module): def __init__(self, variable_value): super().__init__() self.v = tf.Variable(variable_value) @tf.function def var_weighted_mean(self, x: MaskedTensor): """Mean value of unmasked values in x, weighted by self.v.""" x = MaskedTensor(x.values * self.v, x.mask) return (tf.reduce_sum(x.with_default(0)) / tf.reduce_sum(tf.cast(x.mask, x.dtype))) @tf.function() def var_weighted_mean_wrapper(self, x_values, x_mask): """Raw tensor wrapper for var_weighted_mean.""" return self.var_weighted_mean(MaskedTensor(x_values, x_mask)) module = CustomModuleWrapper([3., 2., 8., 5.]) module.var_weighted_mean_wrapper.get_concrete_function( tf.TensorSpec(None, tf.float32), tf.TensorSpec(None, tf.bool)) custom_module_path = tempfile.mkdtemp() tf.saved_model.save(module, custom_module_path) imported_model = tf.saved_model.load(custom_module_path) x = MaskedTensor([1., 2., 3., 4.], [False, True, False, True]) imported_model.var_weighted_mean_wrapper(x.values, x.mask) s Dataset είναι ένα API που σας επιτρέπει να δημιουργήσετε σύνθετους αγωγούς εισόδου από απλά, επαναχρησιμοποιήσιμα κομμάτια. , η οποία αντιπροσωπεύει μια ακολουθία στοιχείων, στην οποία κάθε στοιχείο αποτελείται από ένα ή περισσότερα συστατικά. tf.data tf.data.Dataset Κτίριο s με τύπους επέκτασης Δεδομένα Δεδομένα Τα σύνολα δεδομένων μπορούν να δημιουργηθούν από τις τιμές τύπου επέκτασης χρησιμοποιώντας , Ή : Dataset.from_tensors Dataset.from_tensor_slices Dataset.from_generator ds = tf.data.Dataset.from_tensors(Pastry(5, 5)) iter(ds).next() mt = MaskedTensor(tf.reshape(range(20), [5, 4]), tf.ones([5, 4])) ds = tf.data.Dataset.from_tensor_slices(mt) for value in ds: print(value) def value_gen(): for i in range(2, 7): yield MaskedTensor(range(10), [j%i != 0 for j in range(10)]) ds = tf.data.Dataset.from_generator( value_gen, output_signature=MaskedTensor.Spec(shape=[10], dtype=tf.int32)) for value in ds: print(value) Μπατσί και Μπατσί s με τύπους επέκτασης Δεδομένα Δεδομένα Τα σύνολα δεδομένων με τύπους επέκτασης μπορούν να είναι παρτίδα και μη παρτίδα χρησιμοποιώντας και . Dataset.batch Dataset.unbatch batched_ds = ds.batch(2) for value in batched_ds: print(value) unbatched_ds = batched_ds.unbatch() for value in unbatched_ds: print(value) Αρχικά δημοσιευμένο στην ιστοσελίδα TensorFlow, αυτό το άρθρο εμφανίζεται εδώ κάτω από μια νέα επικεφαλίδα και είναι αδειοδοτημένο υπό την άδεια CC BY 4.0. Αρχικά δημοσιευμένο στην ιστοσελίδα TensorFlow, αυτό το άρθρο εμφανίζεται εδώ κάτω από μια νέα επικεφαλίδα και είναι αδειοδοτημένο υπό την άδεια CC BY 4.0. TensorFlow TensorFlow