Mamorona modely maoderina kokoa amin'ny endri-javatra tsy voamarina indrindra ao amin'ny TensorFlow - karazana fanitarana

Fanamarihana ny votoatin'ny Tensor ny API dispatch Fandefasana ho an'ny API tokana Dispatch ho an'ny rehetra ny unary elementwise APIs Fandefasana ho an'ny API binary amin'ny ankapobeny rehetra Batchable fanitarana karazana BatchableExtensionType ohatra: tambajotra TensorFlow API izay manohana ny ExtensionTypes Ny fampiasana Ny fanaraha-maso ny fifamoivoizana Ny fanaraha-maso ny fifamoivoizana dia Ny Ny modely Ny tahiry Tensor ny API dispatch Ny karazana fanitarana dia mety ho "tensor-like", amin'ny teny hoe izy ireo manam-pahaizana na manitatra ny interface voafaritra amin'ny Ohatra amin'ny karazana fanitarana toy ny tensor dia ahitana Ny Ary Ny Azonao atao ny mampihatra ny fitondran-tenan'ny TensorFlow rehefa ampiasaina amin'ny karazana fanitarana mitovy amin'ny tensor. tf.Tensor RaggedTensor SparseTensor MaskedTensor Ny famolavolana dia Ny famolavolana dia @tf.experimental.dispatch_for_api(tf_api) @tf.experimental.dispatch_for_unary_elementwise_apis(x_type) @tf.experimental.dispatch_for_binary_elementwise_apis(x_type, y_type) Fandefasana ho an'ny API tokana Ny ny decorator dia manala ny fitondran-teny voafaritra amin'ny asa TensorFlow voafaritra rehefa antsoina miaraka amin'ny fanambarana voafaritra. Ohatra, azonao ampiasaina ity decorator ity amin'ny famaritana ny fomba Ny dingana Ny lanjany : tf.experimental.dispatch_for_api tf.stack MaskedTensor @tf.experimental.dispatch_for_api(tf.stack) def masked_stack(values: List[MaskedTensor], axis = 0): return MaskedTensor(tf.stack([v.values for v in values], axis), tf.stack([v.mask for v in values], axis)) Izany dia mahatonga ny fampiharana tsy tapaka ho an'ny Isaky ny antsoina amin'ny lisitry ny Nandritra izany fotoana izany (satria ny Ny fanehoan-kevitra dia voasoratra amin'ny Ny : tf.stack MaskedTensor values typing.List[MaskedTensor] x = MaskedTensor([1, 2, 3], [True, True, False]) y = MaskedTensor([4, 5, 6], [False, True, True]) tf.stack([x, y]) Izany dia mamela Mba hanatanterahana ny lisitry ny mixed Ary valiny, azonao atao ny manatsara ny karazana fanamarihana ho an'ny manamarika sy manatsara ny vatana amin'ny asa amin'ny fomba mifanaraka: tf.stack MaskedTensor Tensor values tf.experimental.unregister_dispatch_for(masked_stack) def convert_to_masked_tensor(x): if isinstance(x, MaskedTensor): return x else: return MaskedTensor(x, tf.ones_like(x, tf.bool)) @tf.experimental.dispatch_for_api(tf.stack) def masked_stack_v2(values: List[Union[MaskedTensor, tf.Tensor]], axis = 0): values = [convert_to_masked_tensor(v) for v in values] return MaskedTensor(tf.stack([v.values for v in values], axis), tf.stack([v.mask for v in values], axis)) x = MaskedTensor([1, 2, 3], [True, True, False]) y = tf.constant([4, 5, 6]) tf.stack([x, y, x]) Ho an'ny lisitry ny API izay azo alaina, jereo ny antontan-taratasy API ho an'ny . tf.experimental.dispatch_for_api Dispatch ho an'ny rehetra ny unary elementwise APIs Ny ny decorator dia mandika ny fitondran-teny tsy tapaka amin'ny Unary elementwise ops (ohatra toy ny ) raha misy ny lanjany ho an'ny andininy voalohany (matetika antsoina hoe ) mifanaraka amin'ny karazana famantarana Ny endri-javatra voafaritra dia tokony handray arguments roa: tf.experimental.dispatch_for_unary_elementwise_apis Ny rehetra tf.math.cos x x_type Ny rehetra api_func: Function izay mandray ny singa iray ary manao ny asa elementwise (ohatra, tf.abs). x: Ny antony voalohany amin'ny asa elementaly. Ny ohatra manaraka dia manatsara ny asa rehetra unary elementwise hanatanterahana ny Ny karazana: MaskedTensor @tf.experimental.dispatch_for_unary_elementwise_apis(MaskedTensor) def masked_tensor_unary_elementwise_api_handler(api_func, x): return MaskedTensor(api_func(x.values), x.mask) Ity endri-javatra ity dia hampiasaina amin'izao fotoana izao isaky ny antsoina hoe asa unary elementwise amin'ny . MaskedTensor x = MaskedTensor([1, -2, -3], [True, False, True]) print(tf.abs(x)) print(tf.ones_like(x, dtype=tf.float32)) Fandefasana ho an'ny API binary amin'ny ankapobeny rehetra Toy izany koa, Azo ampiasaina amin'ny fanavaozana ny asa rehetra amin'ny binary elementwise mba hanatanterahana ny Ny karazana: tf.experimental.dispatch_for_binary_elementwise_apis MaskedTensor @tf.experimental.dispatch_for_binary_elementwise_apis(MaskedTensor, MaskedTensor) def masked_tensor_binary_elementwise_api_handler(api_func, x, y): return MaskedTensor(api_func(x.values, y.values), x.mask & y.mask) x = MaskedTensor([1, -2, -3], [True, False, True]) y = MaskedTensor([[4], [5]], [[True], [False]]) tf.math.add(x, y) Ho an'ny lisitry ny API elementaly izay voafehy, mandehana any amin'ny antontan-taratasy API ho an'ny Ary . tf.experimental.dispatch_for_unary_elementwise_apis tf.experimental.dispatch_for_binary_elementwise_apis Ny batisa s Ny fanitarana Ny fanitarana Ny Ny Raha toa ka afaka mampiasa instance iray ihany ianao mba hanehoana karazana lanja. Matetika, izany dia azo atao amin'ny fametrahana ny habetsahan'ny batch amin'ny ankapobeny. Ny API TensorFlow manaraka dia mitaky fa ny fidirana rehetra amin'ny karazana fanitarana dia azo ampiharina: ExtensionType Ny batisa Tensor tf.data.Dataset (batch, unbatch, avy amin'ny tensor_slices) Tf.keras (fitaovana, fanombanana ary fanamby) Mifototra amin'ny mombamomba Noho ny tsy fahampian'ny mamorona valiny batch amin'ny alàlan'ny batching ny nitsangana Ny Ary ny Raha tsy mety ho an'ny kilasy ianao, dia mila mampiasa mba hanala ity fitondran-teny voafaritra ity. Ohatra, tsy mety ny mamorona ny valiny amin'ny alalan'ny fametrahana tsirairay sparse tensors ' Ny Ary sehatra - amin'ny ankamaroan'ny toe-javatra dia tsy azonao atao ny manangona ireo tensors ireo, satria manana endrika tsy mifanaraka izy ireo; ary na dia afaka aza ianao, ny vokatra dia tsy ho manan-kery . BatchableExtensionType Tensor CompositeTensor ExtensionType tf.experimental.ExtensionTypeBatchEncoder tf.SparseTensor values indices dense_shape SparseTensor Fanamarihana: BatchableExtensionTypes dia tsy mamaritra ny dispatchers ho an'ny tf.stack, tf.concat, tf.slice, sns. Raha mila manohana ireo API ireo ny kilasy, dia mampiasa ny dispatch decorators voalaza etsy ambony. Fanamarihana: BatchableExtensionTypes dia tsy mamaritra ny dispatchers ho an'ny tf.stack, tf.concat, tf.slice, sns. Raha mila manohana ireo API ireo ny kilasy, dia mampiasa ny dispatch decorators voalaza etsy ambony. Ohatra ny BatchableExtensionType Network Amin'ny ohatra, mieritreritra ny tsotra ny kilasy ampiasaina amin'ny fihenan'ny lozam-pifamoivoizana, izay manara-maso ny habetsahan'ny asa sisa ho ataon'ny tsirairay, ary ny habetsahan'ny bandwidth azo atao mba handefa ny asa eo amin'ny nodes: Network class Network(tf.experimental.ExtensionType): # This version is not batchable. work: tf.Tensor # work[n] = work left to do at node n bandwidth: tf.Tensor # bandwidth[n1, n2] = bandwidth from n1->n2 net1 = Network([5., 3, 8], [[0., 2, 0], [2, 0, 3], [0, 3, 0]]) net2 = Network([3., 4, 2], [[0., 2, 2], [2, 0, 2], [2, 2, 0]]) Mba hahatonga ity karazana ity ho batchable, manova ny karazana fototra ho , ary manova ny endriky ny sehatra tsirairay mba ahitana ny habetsaky ny batch. Ny ohatra manaraka dia manampy Asehoy amin'ny endriky ny endriky ny batch. io Ny tany dia tsy ilaina amin'ny Ary Fa izany Mitaky ny . BatchableExtensionType shape shape tf.data.Dataset tf.map_fn Ny tf.keras class Network(tf.experimental.BatchableExtensionType): shape: tf.TensorShape # batch shape. A single network has shape=[]. work: tf.Tensor # work[*shape, n] = work left to do at node n bandwidth: tf.Tensor # bandwidth[*shape, n1, n2] = bandwidth from n1->n2 def __init__(self, work, bandwidth): self.work = tf.convert_to_tensor(work) self.bandwidth = tf.convert_to_tensor(bandwidth) work_batch_shape = self.work.shape[:-1] bandwidth_batch_shape = self.bandwidth.shape[:-2] self.shape = work_batch_shape.merge_with(bandwidth_batch_shape) def __repr__(self): return network_repr(self) def network_repr(network): work = network.work bandwidth = network.bandwidth if hasattr(work, 'numpy'): work = ' '.join(str(work.numpy()).split()) if hasattr(bandwidth, 'numpy'): bandwidth = ' '.join(str(bandwidth.numpy()).split()) return (f" ") net1 = Network([5., 3, 8], [[0., 2, 0], [2, 0, 3], [0, 3, 0]]) net2 = Network([3., 4, 2], [[0., 2, 2], [2, 0, 2], [2, 2, 0]]) batch_of_networks = Network( work=tf.stack([net1.work, net2.work]), bandwidth=tf.stack([net1.bandwidth, net2.bandwidth])) print(f"net1={net1}") print(f"net2={net2}") print(f"batch={batch_of_networks}") Azonao ampiasaina amin'ny Mba hamerina amin'ny alalan'ny tambajotra batch: tf.data.Dataset dataset = tf.data.Dataset.from_tensor_slices(batch_of_networks) for i, network in enumerate(dataset): print(f"Batch element {i}: {network}") Azonao atao koa ny mampiasa mba hampihatra asa iray ho an'ny singa tsirairay: map_fn def balance_work_greedy(network): delta = (tf.expand_dims(network.work, -1) - tf.expand_dims(network.work, -2)) delta /= 4 delta = tf.maximum(tf.minimum(delta, network.bandwidth), -network.bandwidth) new_work = network.work + tf.reduce_sum(delta, -1) return Network(new_work, network.bandwidth) tf.map_fn(balance_work_greedy, batch_of_networks) TensorFlow API izay manohana s Ny fanitarana Ny fanitarana Ny fampiasana dia decorator izay mialoha ny TensorFlow grafika ho an'ny Python asa, izay afaka manatsara be ny fampisehoana ny TensorFlow code. Ny endri-javatra mahafinaritra. tf.function @tf.function class Pastry(tf.experimental.ExtensionType): sweetness: tf.Tensor # 2d embedding that encodes sweetness chewiness: tf.Tensor # 2d embedding that encodes chewiness @tf.function def combine_pastry_features(x: Pastry): return (x.sweetness + x.chewiness) / 2 cookie = Pastry(sweetness=[1.2, 0.4], chewiness=[0.8, 0.2]) combine_pastry_features(cookie) Raha tianao ny mamaritra mazava tsara ny Ny , dia azonao atao izany amin'ny fampiasana ny karazana fanitarana . input_signature tf.function TypeSpec pastry_spec = Pastry.Spec(tf.TensorSpec([2]), tf.TensorSpec(2)) @tf.function(input_signature=[pastry_spec]) def increase_sweetness(x: Pastry, delta=1.0): return Pastry(x.sweetness + delta, x.chewiness) increase_sweetness(cookie) Ny asany manokana Ny endri-javatra fototra dia mandrakotra sary samihafa izay naorina avy amin'ny Ny karazana fanitarana dia azo ampiasaina amin'ny fomba mazava amin'ny endri-javatra. tf.function cf = combine_pastry_features.get_concrete_function(pastry_spec) cf(cookie) Ny fanaraha-maso ny fifamoivoizana Ny karazana fanitarana dia ampiasaina amin'ny asa fanaraha-maso amin'ny TensorFlow: Ny fahazoan-dalana Ny tranga Tany amin'izao fotoana izao Ny tsiambaratelo # Example: using tf.cond to select between two MaskedTensors. Note that the # two MaskedTensors don't need to have the same shape. a = MaskedTensor([1., 2, 3], [True, False, True]) b = MaskedTensor([22., 33, 108, 55], [True, True, True, False]) condition = tf.constant(True) print(tf.cond(condition, lambda: a, lambda: b)) # Example: using tf.while_loop with MaskedTensor. cond = lambda i, _: i < 10 def body(i, mt): return i + 1, mt.with_values(mt.values + 3 / 7) print(tf.while_loop(cond, body, [0, b])[1]) Ny fanaraha-maso ny fifamoivoizana dia Ny karazana fanitarana ihany koa dia ampiasaina amin'ny fanambarana fivoaran'ny fitantanana ao amin'ny (Amin'ny fanehoan-kevitra manaraka, ao amin'ny ohatra manaraka Ny fanambarana sy Ny fanehoan-kevitra dia miovaova amin'ny Ary asa, izay manohana ny karazana fanitarana. tf.function if for tf.cond tf.while_loop @tf.function def fn(x, b): if b: x = MaskedTensor(x, tf.less(x, 0)) else: x = MaskedTensor(x, tf.greater(x, 0)) for i in tf.range(5 if b else 7): x = x.with_values(x.values + 1 / 2) return x print(fn(tf.constant([1., -2, 3]), tf.constant(True))) print(fn(tf.constant([1., -2, 3]), tf.constant(False))) Ny ny API avo lenta amin'ny TensorFlow ho an'ny famoronana sy ny fampiofanana modely fampiofanana. Ny karazana fanitarana dia azo alefa ho toy ny fidirana amin'ny modely Keras, alefa eo amin'ny karazana Keras, ary miverina amin'ny modely Keras. Ny tsirairay Tokony ho batchable izy ireo (mandeha any amin'ny "Batchable ExtensionTypes" etsy ambony). Tsy maintsy manana sehatra na toetra antsoina hoe shape. shape[0] dia heverina ho ny habetsahan'ny batch. Ny ampahany roa manaraka dia manome ohatra mampiseho ny fomba ampiasain'ny karazana fanitarana amin'ny Keras. Ny ohatra dia: Ny tambajotra Ny tambajotra Ho an'ny ohatra voalohany, mieritreritra ny ny kilasy voafaritra ao amin'ny "Batchable s" ampahany etsy ambony, izay azo ampiasaina ho an'ny asa fitantanana ny lozam-pifamoivoizana eo amin'ny nodes. Ny famaritana azy dia niverina eto: Network ExtensionType class Network(tf.experimental.BatchableExtensionType): shape: tf.TensorShape # batch shape. A single network has shape=[]. work: tf.Tensor # work[*shape, n] = work left to do at node n bandwidth: tf.Tensor # bandwidth[*shape, n1, n2] = bandwidth from n1->n2 def __init__(self, work, bandwidth): self.work = tf.convert_to_tensor(work) self.bandwidth = tf.convert_to_tensor(bandwidth) work_batch_shape = self.work.shape[:-1] bandwidth_batch_shape = self.bandwidth.shape[:-2] self.shape = work_batch_shape.merge_with(bandwidth_batch_shape) def __repr__(self): return network_repr(self) single_network = Network( # A single network with 4 nodes. work=[8.0, 5, 12, 2], bandwidth=[[0.0, 1, 2, 2], [1, 0, 0, 2], [2, 0, 0, 1], [2, 2, 1, 0]]) batch_of_networks = Network( # Batch of 2 networks, each w/ 2 nodes. work=[[8.0, 5], [3, 2]], bandwidth=[[[0.0, 1], [1, 0]], [[0, 2], [2, 0]]]) Azonao atao ny mamaritra ny karazana Keras vaovao izay mandrindra ny Ny Network class BalanceNetworkLayer(tf.keras.layers.Layer): """Layer that balances work between nodes in a network. Shifts work from more busy nodes to less busy nodes, constrained by bandwidth. """ def call(self, inputs): # This function is defined above in the "Batchable `ExtensionType`s" section. return balance_work_greedy(inputs) Azonao atao ny mampiasa ireo lafiny ireo mba hamoronana modely tsotra. Ao amin'ny modely iray, azonao ampiasaina ny Mandeha miaraka amin'ny Mifanaraka amin'ny karazana fanitarana Raha ny modely Keras dia hampiasaina amin'ny fanodinana batch, dia Tsy maintsy ahitana ny habetsaky ny batch. ExtensionType tf.keras.layer.Input type_spec TypeSpec type_spec input_spec = Network.Spec(shape=None, work=tf.TensorSpec(None, tf.float32), bandwidth=tf.TensorSpec(None, tf.float32)) model = tf.keras.Sequential([ tf.keras.layers.Input(type_spec=input_spec), BalanceNetworkLayer(), ]) Farany, azonao atao ny mampihatra ny modely amin'ny tambajotra tokana sy ny tambajotra maromaro. model(single_network) model(batch_of_networks) Ohatra amin'ny fampiasana: MaskedTensor Ao amin'ity ohatra ity, Ampahany amin'ny fanohanana Ny Izany dia voafaritra ho toy ny fananana izay voafaritra avy amin'ny Keras dia mitaky anao mba hanampy ity toetra ity amin'ny karazana fanitarana sy ny Ny Izany dia mamaritra a variable, izay ilaina ho an'ny Ny fametrahana dia ambany (ohatra ambany). MaskedTensor Keras shape values TypeSpec MaskedTensor __name__ SavedModel class MaskedTensor(tf.experimental.BatchableExtensionType): # __name__ is required for serialization in SavedModel; see below for details. __name__ = 'extension_type_colab.MaskedTensor' values: tf.Tensor mask: tf.Tensor shape = property(lambda self: self.values.shape) dtype = property(lambda self: self.values.dtype) def with_default(self, default): return tf.where(self.mask, self.values, default) def __repr__(self): return masked_tensor_str(self.values, self.mask) class Spec: def __init__(self, shape, dtype=tf.float32): self.values = tf.TensorSpec(shape, dtype) self.mask = tf.TensorSpec(shape, tf.bool) shape = property(lambda self: self.values.shape) dtype = property(lambda self: self.values.dtype) def with_shape(self): return MaskedTensor.Spec(tf.TensorSpec(shape, self.values.dtype), tf.TensorSpec(shape, self.mask.dtype)) Avy eo, ny dispatch decorators dia ampiasaina mba hanodidina ny fitondran-tenan'ny TensorFlow API maromaro. Satria ireo API ireo dia ampiasaina amin'ny sehatra Standard Keras (ohatra ny Ny fametrahana ireo fitaovana ireo dia ahafahantsika mampiasa ireo fitaovana ireo. Ho an'ny tanjon'ity ohatra ity, ho an'ny tensors masquerade dia voafaritra ny fitsaboana ny vidin'ny masquerade toy ny zeros (izany hoe tsy ahitana azy ireo ao amin'ny vokatra). Dense MaskedTensor matmul @tf.experimental.dispatch_for_unary_elementwise_apis(MaskedTensor) def unary_elementwise_op_handler(op, x): return MaskedTensor(op(x.values), x.mask) @tf.experimental.dispatch_for_binary_elementwise_apis( Union[MaskedTensor, tf.Tensor], Union[MaskedTensor, tf.Tensor]) def binary_elementwise_op_handler(op, x, y): x = convert_to_masked_tensor(x) y = convert_to_masked_tensor(y) return MaskedTensor(op(x.values, y.values), x.mask & y.mask) @tf.experimental.dispatch_for_api(tf.matmul) def masked_matmul(a: MaskedTensor, b, transpose_a=False, transpose_b=False, adjoint_a=False, adjoint_b=False, a_is_sparse=False, b_is_sparse=False, output_type=None): if isinstance(a, MaskedTensor): a = a.with_default(0) if isinstance(b, MaskedTensor): b = b.with_default(0) return tf.matmul(a, b, transpose_a, transpose_b, adjoint_a, adjoint_b, a_is_sparse, b_is_sparse, output_type) Azonao atao ny mamorona modely Keras izay manaiky fidirana, amin'ny fampiasana karazana Keras matetika: MaskedTensor input_spec = MaskedTensor.Spec([None, 2], tf.float32) masked_tensor_model = tf.keras.Sequential([ tf.keras.layers.Input(type_spec=input_spec), tf.keras.layers.Dense(16, activation="relu"), tf.keras.layers.Dense(1)]) masked_tensor_model.compile(loss='binary_crossentropy', optimizer='rmsprop') a = MaskedTensor([[1., 2], [3, 4], [5, 6]], [[True, False], [False, True], [True, True]]) masked_tensor_model.fit(a, tf.constant([[1], [0], [1]]), epochs=3) print(masked_tensor_model(a)) Ny modely Ny dia serialy TensorFlow fandaharana, anisan'izany ny lanjany sy ny solosaina. Azo atao avy amin'ny Keras modely na avy amin'ny modely manokana. Amin'ny toe-javatra roa, ny karazana fanitarana dia azo ampiasaina mazava amin'ny endri-javatra sy fomba voafaritra amin'ny SavedModel. Ny modely Ny SavedModel dia afaka mamonjy modely, layers, ary asa izay mandrindra ny karazana fanitarana, raha toa ka ny karazana fanitarana dia manana Ity anarana ity dia ampiasaina amin'ny fametrahana ny karazana fanitarana, mba hahafantarana azy rehefa mandehandeha ny modely. __name__ Ohatra: ny famonjena ny modely Keras Ny modely Keras izay mampiasa karazana fanitarana dia azo voatahiry amin'ny . SavedModel masked_tensor_model_path = tempfile.mkdtemp() tf.saved_model.save(masked_tensor_model, masked_tensor_model_path) imported_model = tf.saved_model.load(masked_tensor_model_path) imported_model(a) Ohatra: ny fametrahana modely custom Ny SavedModel dia azo ampiasaina koa amin'ny fametrahana custom Subclasses amin'ny endri-javatra izay mandrindra ny karazana fanitarana. tf.Module class CustomModule(tf.Module): def __init__(self, variable_value): super().__init__() self.v = tf.Variable(variable_value) @tf.function def grow(self, x: MaskedTensor): """Increase values in `x` by multiplying them by `self.v`.""" return MaskedTensor(x.values * self.v, x.mask) module = CustomModule(100.0) module.grow.get_concrete_function(MaskedTensor.Spec(shape=None, dtype=tf.float32)) custom_module_path = tempfile.mkdtemp() tf.saved_model.save(module, custom_module_path) imported_model = tf.saved_model.load(custom_module_path) imported_model.grow(MaskedTensor([1., 2, 3], [False, True, False])) Ny fametrahana ny SavedModel rehefa Tsy misy Ny fanitarana Ny fanitarana Raha toa ianao ka mihazakazaka Izany dia mampiasa ny Fa izany tsy azo jerena (izay midika fa tsy naorina), dia hahazo fampitandremana ianao ary ny TensorFlow dia hiverina amin'ny fampiasana "anonymized extension type" objekta. Ity objekta ity dia hanana ny sehatra mitovy amin'ny soratra voalohany, fa tsy hisy fanitsiana fanampiny azonao atao amin'ny karazana, toy ny fomba na ny toetra manokana. SavedModel ExtensionType ExtensionType Ny fampiasana Ny fampiasana ny TensorFlow Serving ExtensionType Ny fanitarana Amin'izao fotoana izao (ary ny mpanjifa hafa ao amin'ny SavedModel "signatures" dictionary) dia mitaky fa ny fidirana sy ny fidirana rehetra dia tena tensors. Raha tianao ny mampiasa TensorFlow Serving miaraka amin'ny modely izay mampiasa karazana fampandrosoana, dia azonao atao ny manampy ny fomba wrapper izay mamorona na manafoana ny karazana fampandrosoana valiny avy amin'ny tensors. ohatra: TensorFlow amin'ny serivisy class CustomModuleWrapper(tf.Module): def __init__(self, variable_value): super().__init__() self.v = tf.Variable(variable_value) @tf.function def var_weighted_mean(self, x: MaskedTensor): """Mean value of unmasked values in x, weighted by self.v.""" x = MaskedTensor(x.values * self.v, x.mask) return (tf.reduce_sum(x.with_default(0)) / tf.reduce_sum(tf.cast(x.mask, x.dtype))) @tf.function() def var_weighted_mean_wrapper(self, x_values, x_mask): """Raw tensor wrapper for var_weighted_mean.""" return self.var_weighted_mean(MaskedTensor(x_values, x_mask)) module = CustomModuleWrapper([3., 2., 8., 5.]) module.var_weighted_mean_wrapper.get_concrete_function( tf.TensorSpec(None, tf.float32), tf.TensorSpec(None, tf.bool)) custom_module_path = tempfile.mkdtemp() tf.saved_model.save(module, custom_module_path) imported_model = tf.saved_model.load(custom_module_path) x = MaskedTensor([1., 2., 3., 4.], [False, True, False, True]) imported_model.var_weighted_mean_wrapper(x.values, x.mask) s Dataset dia API izay mamela anao hamorona pipelines fidirana sarotra avy amin'ny singa tsotra sy azo ampiasaina indray. , izay milaza ny andian-dahatsoratra ny singa, izay ahitana singa iray na maromaro tsirairay. tf.data tf.data.Dataset Ny fanorenana S miaraka amin'ny karazana fanitarana Ny tahirin-kevitra Ny tahirin-kevitra Azonao atao ny mamorona datasets avy amin'ny valin'ny type extension amin'ny fampiasana Ny Na ny : Dataset.from_tensors Dataset.from_tensor_slices Dataset.from_generator ds = tf.data.Dataset.from_tensors(Pastry(5, 5)) iter(ds).next() mt = MaskedTensor(tf.reshape(range(20), [5, 4]), tf.ones([5, 4])) ds = tf.data.Dataset.from_tensor_slices(mt) for value in ds: print(value) def value_gen(): for i in range(2, 7): yield MaskedTensor(range(10), [j%i != 0 for j in range(10)]) ds = tf.data.Dataset.from_generator( value_gen, output_signature=MaskedTensor.Spec(shape=[10], dtype=tf.int32)) for value in ds: print(value) Ny famonoana sy ny tsy famonoana S miaraka amin'ny karazana fanitarana Dataset Ny tahirin-kevitra Ny datasets amin'ny karazana fanitarana dia azo ampiharina sy tsy ampiharina amin'ny fampiasana Ary . Dataset.batch Dataset.unbatch batched_ds = ds.batch(2) for value in batched_ds: print(value) unbatched_ds = batched_ds.unbatch() for value in unbatched_ds: print(value) Tamin'ny voalohany nivoaka tao amin'ny tranonkala TensorFlow, ity lahatsoratra ity dia hita eto amin'ny lohateny vaovao ary nahazo fahazoan-dalana amin'ny CC BY 4.0. Tamin'ny voalohany nivoaka tao amin'ny tranonkala TensorFlow, ity lahatsoratra ity dia hita eto amin'ny lohateny vaovao ary nahazo fahazoan-dalana amin'ny CC BY 4.0. Ny fifamoivoizana Ny fifamoivoizana