How to Define, Save, and Restore Models in TensorFlow இல் மாதிரிகளை அமைப்பது எப்படி

Content overview அமைப்பு TensorFlow மாதிரிகள் Module படைப்புகள் மாற்றங்களை உருவாக்க காத்திருக்க எடைகள் காப்பீடு சேமிப்பு Functions ஒரு காப்பீட்டை உருவாக்குதல் TensorFlow இல் machine learning செய்ய, நீங்கள் ஒரு மாதிரி அமைக்க, சேமிக்க மற்றும் திரும்ப வேண்டும். A model is, abstract ஆகும்: Tensors மீது ஏதாவது கணக்கிடுகிறது ஒரு செயல்பாடு (a forward pass) சில மாற்றங்கள், பயிற்சியில் பதிலளிக்க முடியும் இந்த ஆவணத்தில், நீங்கள் TensorFlow மாற்றங்களை மற்றும் மாற்றங்களை சேகரிப்பது எப்படி TensorFlow மாற்றங்களை மற்றும் மாற்றங்களை சேகரிப்பது மற்றும் எப்படி அவர்கள் சேமிக்க மற்றும் திரும்ப பார்க்க. அமைப்பு import tensorflow as tf import keras from datetime import datetime %load_ext tensorboard 2023-10-18 01:21:05.536666: E tensorflow/compiler/xla/stream_executor/cuda/cuda_dnn.cc:9342] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2023-10-18 01:21:05.536712: E tensorflow/compiler/xla/stream_executor/cuda/cuda_fft.cc:609] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2023-10-18 01:21:05.536766: E tensorflow/compiler/xla/stream_executor/cuda/cuda_blas.cc:1518] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered TensorFlow மாதிரிகள் இந்த மாதிரி think different type விளம்பரங்கள் தான் add industriesla இப்போ Hot... , அதே அடிப்படை வகுப்பில் உருவாக்கப்படுகின்றன: . சூனியம் tf.Module Module படைப்புகள் Here is an example of a very simple இது ஒரு scalar tensor இல் செயல்படுகிறது: tf.Module class SimpleModule(tf.Module): def __init__(self, name=None): super().__init__(name=name) self.a_variable = tf.Variable(5.0, name="train_me") self.non_trainable_variable = tf.Variable(5.0, trainable=False, name="do_not_train_me") def __call__(self, x): return self.a_variable * x + self.non_trainable_variable simple_module = SimpleModule(name="simple") simple_module(tf.constant(5.0)) 2023-10-18 01:21:08.181350: W tensorflow/core/common_runtime/gpu/gpu_device.cc:2211] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform. Skipping registering GPU devices... ஆங்கிலத்தில் இதை Single Orgasm, Multiple Orgasm என்றும் கூறுகிறார்கள். எதுவுமே அற்புதமில்லை அப்படி செய்வது தவிர, ஒரு நீங்கள் விரும்பும் அளவுக்கு உங்கள் அலுவலகத்திற்கும் அழைப்பு விடுக்கலாம். __call__ Python அழைப்பு நீங்கள் எந்த காரணத்திற்காக மாற்றங்கள் திறக்க மற்றும் வெளியிட பயிற்சி அமைக்க முடியும், குளிர்ப்பு அட்டவணைகள் மற்றும் மாற்றங்கள் நன்றாக அமைக்க போது சேர்க்கும். Note: tf.Module is the base class for both tf.keras.layers.Layer and tf.keras.Model, so everything you come across here also applies in Keras. For historical compatibility reasons Keras layers do not collect variables from modules, so your models should use only modules or only Keras layers. however, the methods shown below for inspecting variables are the same in either case. Note: tf.Module is the base class for both tf.keras.layers.Layer and tf.keras.Model, so everything you come across here also applies in Keras. For historical compatibility reasons Keras layers do not collect variables from modules, so your models should use only modules or only Keras layers. however, the methods shown below for inspecting variables are the same in either case. subclass செய்திகள் எந்த அல்லது ஆங்கிலத்தில் இதை Single Orgasm, Multiple Orgasm என்றும் கூறுகிறார்கள். ஐ tf.Module tf.Variable tf.Module tf.Module # All trainable variables print("trainable variables:", simple_module.trainable_variables) # Every variable print("all variables:", simple_module.variables) trainable variables: ( ,) all variables: ( , ) இந்த மாதிரி think different type விளம்பரங்கள் தான் add industriesla இப்போ Hot... முதன் முதலாக, ஒரு நெருக்கமான (linear) layer: class Dense(tf.Module): def __init__(self, in_features, out_features, name=None): super().__init__(name=name) self.w = tf.Variable( tf.random.normal([in_features, out_features]), name='w') self.b = tf.Variable(tf.zeros([out_features]), name='b') def __call__(self, x): y = tf.matmul(x, self.w) + self.b return tf.nn.relu(y) பின்னர் முழு மாதிரி, இரண்டு layer instances செய்ய மற்றும் அவற்றை பயன்படுத்துகிறது: class SequentialModule(tf.Module): def __init__(self, name=None): super().__init__(name=name) self.dense_1 = Dense(in_features=3, out_features=3) self.dense_2 = Dense(in_features=3, out_features=2) def __call__(self, x): x = self.dense_1(x) return self.dense_2(x) # You have made a model! my_model = SequentialModule(name="the_model") # Call it, with random results print("Model results:", my_model(tf.constant([[2.0, 2.0, 2.0]]))) Model results: tf.Tensor([[0. 3.415034]], shape=(1, 2), dtype=float32) ஒவ்வொரு விலையிலும், ஒவ்வொரு விலையிலும், ஒவ்வொரு விலையிலும் அல்லது இதன் மூலம் நீங்கள் சேகரித்துக் கொள்ள முடியும்.இதனால் நீங்கள் சேகரித்துக் கொள்ள ஒரே மாதிரியான மாதிரியான மாதிரியான மாதிரியான மாதிரியான மாதிரியான மாதிரியான மாதிரியான மாதிரியான மாதிரியான மாதிரியான tf.Module tf.Variable tf.Module tf.Module print("Submodules:", my_model.submodules) Submodules: ( , ) for var in my_model.variables: print(var, "\n") மாற்றங்களை உருவாக்க காத்திருக்க நீங்கள் இங்கு எழுத வேண்டும், நீங்கள் இங்கு எழுத வேண்டும், நீங்கள் இங்கு எழுத வேண்டும், நீங்கள் இங்கு எழுத வேண்டும், நீங்கள் இங்கு எழுத வேண்டும். மாற்றங்கள் ஒரு தெரியாத வடிவமைப்பு மற்றும் அணுக முடியும். w மாறுபட்ட படைப்பை ஒரு குறிப்பிட்ட input shape-ல் module-ல் அழைக்கப்படும் முதல் முறை வரை நீட்டித்தால், input size-ஐ முதலில் குறிப்பிட தேவையில்லை. class FlexibleDenseModule(tf.Module): # Note: No need for `in_features` def __init__(self, out_features, name=None): super().__init__(name=name) self.is_built = False self.out_features = out_features def __call__(self, x): # Create variables on first call. if not self.is_built: self.w = tf.Variable( tf.random.normal([x.shape[-1], self.out_features]), name='w') self.b = tf.Variable(tf.zeros([self.out_features]), name='b') self.is_built = True y = tf.matmul(x, self.w) + self.b return tf.nn.relu(y) # Used in a module class MySequentialModule(tf.Module): def __init__(self, name=None): super().__init__(name=name) self.dense_1 = FlexibleDenseModule(out_features=3) self.dense_2 = FlexibleDenseModule(out_features=2) def __call__(self, x): x = self.dense_1(x) return self.dense_2(x) my_model = MySequentialModule(name="the_model") print("Model results:", my_model(tf.constant([[2.0, 2.0, 2.0]]))) Model results: tf.Tensor([[0. 0.]], shape=(1, 2), dtype=float32) இந்த flexibility தான் TensorFlow layers often only need to specify the shape of their outputs. இவ்விரு விதிகளையும், விதிகளையும் தவிர்க்க வேண்டும். tf.keras.layers.Dense எடைகள் காப்பீடு காப்பாற்ற முடியும் a இரண்டும் A A . tf.Module Checkpoint குறியீடு காப்புரிமை Checkpoints just the weights (that is, the values of the set of variables inside the module and its submodules): chkp_path = "my_checkpoint" checkpoint = tf.train.Checkpoint(model=my_model) checkpoint.write(chkp_path) 'my_checkpoint' வெப்பநிலை ஆட்சி 0 முதல் 40 டிகிரி செல்சியஸ் வரை இருக்க வேண்டும்; per month As its name suggests, a VPN is about privacy. ls my_checkpoint* my_checkpoint.data-00000-of-00001 my_checkpoint.index நீங்கள் ஒரு Checkpoint உள்ளே பார்க்க முடியும், அனைத்து மாற்றங்கள் சேமிக்கப்படும் என்று உறுதி செய்ய, அவற்றை உள்ளடக்கிய Python பொருள் மூலம் வகைப்படுத்தப்பட்ட. tf.train.list_variables(chkp_path) [('_CHECKPOINTABLE_OBJECT_GRAPH', []), ('model/dense_1/b/.ATTRIBUTES/VARIABLE_VALUE', [3]), ('model/dense_1/w/.ATTRIBUTES/VARIABLE_VALUE', [3, 3]), ('model/dense_2/b/.ATTRIBUTES/VARIABLE_VALUE', [2]), ('model/dense_2/w/.ATTRIBUTES/VARIABLE_VALUE', [3, 2])] ஆங்கிலத்தில் இதை Single Orgasm, Multiple Orgasm என்றும் கூறுகிறார்கள். நீங்கள் மாதிரிகளை மீண்டும் பதிவிறக்க போது, நீங்கள் உங்கள் Python அம்சத்தில் மதிப்புகளை எழுத. new_model = MySequentialModule() new_checkpoint = tf.train.Checkpoint(model=new_model) new_checkpoint.restore("my_checkpoint") # Should be the same result as above new_model(tf.constant([[2.0, 2.0, 2.0]])) குறிப்பு: Checkpoints நீண்ட பயிற்சி வேலையை உள்ளடக்கியது என்பதால் tf.checkpoint.CheckpointManager ஒரு உதவியாளர் வகுப்பு ஆகும். நீண்டகால பயிற்சிகளின் நெஞ்சில் checkpoints உள்ளன. இந்த மாதிரி think different type விளம்பரங்கள் தான் add industriesla இப்போ Hot... மேலும் Details Note: tf.checkpoint.CheckpointManager Checkpoint Guide அறிமுகம் Checkpoint Guide அறிமுகம் சேமிப்பு Functions TensorFlow Original Python Objects இல்லாமல் மாதிரிகளை இயக்க முடியும். மற்றும் நீங்கள் ஒரு ஓட்டுநர் படித்தால் கூட TensorFlow Serving TensorFlow Lite TensorFlow Hub. TensorFlow Python இல் எழுதப்பட்ட கணக்குகளை எப்படி செய்ய வேண்டும் என்பதை அறிந்து கொள்ள வேண்டும், ஆனால் இதனை செய்ய, நீங்கள் ஒரு அதில் எழுதப்பட்ட . without the original code graph Graphs and Functions Guidance பற்றிய தகவல்கள் இந்த அட்டவணைகள் செயல்படுகின்றன அல்லது அதனால் தான் இந்த function செயல்படுகிறது. OPS You can define a graph in the model above by adding the இந்த குறியீடு ஒரு graph ஆக செயல்பட வேண்டும் என்று கூறுகிறது. @tf.function class MySequentialModule(tf.Module): def __init__(self, name=None): super().__init__(name=name) self.dense_1 = Dense(in_features=3, out_features=3) self.dense_2 = Dense(in_features=3, out_features=2) @tf.function def __call__(self, x): x = self.dense_1(x) return self.dense_2(x) # You have made a model with a graph! my_model = MySequentialModule(name="the_model") நீங்கள் செய்த தொகுப்பு முன்பே அதே வேலை செய்கிறது. ஒவ்வொரு தனிப்பட்ட எழுத்து செயல்பாடு ஒரு தனிப்பட்ட கிராப்ட் உருவாக்கப்படுகிறது. Details பற்றி Graphs and Functions Guidance பற்றிய தகவல்கள் print(my_model([[2.0, 2.0, 2.0]])) print(my_model([[[2.0, 2.0, 2.0], [2.0, 2.0, 2.0]]])) tf.Tensor([[0.31593648 0. ]], shape=(1, 2), dtype=float32) tf.Tensor( [[[0.31593648 0. ] [0.31593648 0. ]]], shape=(1, 2, 2), dtype=float32) You can visualize the graph by tracing it within a TensorBoard summary. # Set up logging. stamp = datetime.now().strftime("%Y%m%d-%H%M%S") logdir = "logs/func/%s" % stamp writer = tf.summary.create_file_writer(logdir) # Create a new model to get a fresh trace # Otherwise the summary will not see the graph. new_model = MySequentialModule() # Bracket the function call with # tf.summary.trace_on() and tf.summary.trace_export(). tf.summary.trace_on(graph=True) tf.profiler.experimental.start(logdir) # Call only one tf.function when tracing. z = print(new_model(tf.constant([[2.0, 2.0, 2.0]]))) with writer.as_default(): tf.summary.trace_export( name="my_func_trace", step=0, profiler_outdir=logdir) tf.Tensor([[0. 0.]], shape=(1, 2), dtype=float32) TensorBoard இல் பின்னூட்டத்தைப் பார்க்கவும்: #docs_infra: no_execute %tensorboard --logdir logs/func படைப்பு A SavedModel முழுமையாக பயிற்சியடைந்த மாணவர்களைப் பயன்படுத்துவதற்கான வழிகாட்டல் இதில் ஒரு சேவை மற்றும் ஒரு சேவை சேவைகள் இருக்கின்றன. SavedModel SavedModel நீங்கள் சேமிக்க முடியும் நீங்கள் நேற்று பயிற்சி செய்த மாதிரி: tf.saved_model.save(my_model, "the_saved_model") INFO:tensorflow:Assets written to: the_saved_model/assets # Inspect the SavedModel in the directory ls -l the_saved_model total 32 drwxr-sr-x 2 kbuilder kokoro 4096 Oct 18 01:21 assets -rw-rw-r-- 1 kbuilder kokoro 58 Oct 18 01:21 fingerprint.pb -rw-rw-r-- 1 kbuilder kokoro 17704 Oct 18 01:21 saved_model.pb drwxr-sr-x 2 kbuilder kokoro 4096 Oct 18 01:21 variables # The variables/ directory contains a checkpoint of the variables ls -l the_saved_model/variables total 8 -rw-rw-r-- 1 kbuilder kokoro 490 Oct 18 01:21 variables.data-00000-of-00001 -rw-rw-r-- 1 kbuilder kokoro 356 Oct 18 01:21 variables.index உன் கோப்பு A Functional என்று கூறுவது . saved_model.pb திடீரென buffer tf.Graph Models and layers can be loaded from this representation without actually making an instance of the class that created it.This is desired in situations where you do not have (or want) a Python interpreter, such as serving at scale or on an edge device, or in situations where the original Python code is not available or practical to use. நீங்கள் புதிய பொருளாக மாதிரி பதிவிறக்க முடியும்: new_model = tf.saved_model.load("the_saved_model") , created from loading a saved model, is an internal TensorFlow user object without any of the class knowledge. . new_model SequentialModule isinstance(new_model, SequentialModule) False இந்த மாதிரி think different type விளம்பரங்கள் தான் add industriesla இப்போ Hot... print(my_model([[2.0, 2.0, 2.0]])) print(my_model([[[2.0, 2.0, 2.0], [2.0, 2.0, 2.0]]])) tf.Tensor([[0.31593648 0. ]], shape=(1, 2), dtype=float32) tf.Tensor( [[[0.31593648 0. ] [0.31593648 0. ]]], shape=(1, 2, 2), dtype=float32) எனவே, பயன்படுத்த , you are able to save TensorFlow weights and graphs using உபயோகப்படுத்துதல் பின்னர் மீண்டும் அவைகளைப் பிடித்துக் கொள்ளவும். SavedModel tf.Module முதலில் TensorFlow வலைத்தளத்தில் வெளியிடப்பட்ட, இந்த கட்டுரை ஒரு புதிய தலைப்பு கீழ் இங்கே காணப்படுகிறது மற்றும் CC BY 4.0 கீழ் உரிமம் உள்ளது. முதலில் TensorFlow வலைத்தளத்தில் வெளியிடப்பட்ட, இந்த கட்டுரை ஒரு புதிய தலைப்பு கீழ் இங்கே காணப்படுகிறது மற்றும் CC BY 4.0 கீழ் உரிமம் உள்ளது. TensorFlow இல்