როგორ დააყენოთ, გადარჩენა და გადარჩენა მოდელები TensorFlow

Content overview კონტაქტი TensorFlow მოდულები მშენებლობის მოდელები დაველოდოთ, რომ შექმნათ ვარიანტი შეინარჩუნება წონა გადარჩენის ფუნქციები შექმნა SaveModel TensorFlow- ში მანქანური სასწავლო გაკეთება, საჭიროა მოდელი განახლება, გადარჩენა და გადარჩენა. მოდელი არის, abstractly: ფუნქცია, რომელიც კომპიუტერებს არაფერი tensors (საწყისში გადაცემა) ზოგიერთი ვარიანტი, რომელიც შეიძლება განახლდეს პასუხი ტრენინგი ამ მიმოხილვა, თუ როგორ TensorFlow მოდელები შედგება და მოდელები, ისევე, როგორც მათ გადარჩენა და აღდგენა. კონტაქტი import tensorflow as tf import keras from datetime import datetime %load_ext tensorboard 2023-10-18 01:21:05.536666: E tensorflow/compiler/xla/stream_executor/cuda/cuda_dnn.cc:9342] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2023-10-18 01:21:05.536712: E tensorflow/compiler/xla/stream_executor/cuda/cuda_fft.cc:609] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2023-10-18 01:21:05.536766: E tensorflow/compiler/xla/stream_executor/cuda/cuda_blas.cc:1518] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered TensorFlow მოდულები ყველაზე მოდელები მზადდება ფართობი. ფართობი არის ფუნქციები, რომელიც ცნობილი მექანიკური სტრუქტურა, რომელიც შეიძლება გამოყენებულ იქნას და აქვს სასწავლო ვარიანტი. TensorFlow- ში, ყველაზე მაღალი დონეზე განახლება ფართობი და მოდელები, როგორიცაა Keras ან , განკუთვნილია იგივე ძირითადი კლასის: . სონტა tf.Module მშენებლობის მოდელები აქ არის მაგალითია ძალიან მარტივი რომელიც მუშაობს scalar tensor: tf.Module class SimpleModule(tf.Module): def __init__(self, name=None): super().__init__(name=name) self.a_variable = tf.Variable(5.0, name="train_me") self.non_trainable_variable = tf.Variable(5.0, trainable=False, name="do_not_train_me") def __call__(self, x): return self.a_variable * x + self.non_trainable_variable simple_module = SimpleModule(name="simple") simple_module(tf.constant(5.0)) 2023-10-18 01:21:08.181350: W tensorflow/core/common_runtime/gpu/gpu_device.cc:2211] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform. Skipping registering GPU devices... მოდულები და, როგორც გაფართოება, დისკები არის გლუვი სწავლის ტერმინოლოგია "გონები": მათ აქვს ინტერიერის სტრუქტურა, და მეთოდები, რომლებიც ამ სტრუქტურას გამოიყენებენ. არაფერი განსაკუთრებული არ არის გარდა ამისა, როგორც a თქვენ შეგიძლიათ მოვუწოდოთ თქვენი მოდელები ნებისმიერი ფუნქციონით, რაც გსურთ. __call__ Python კითხვები თქვენ შეგიძლიათ დააყენოთ მოცულობა მოცულობა და off ნებისმიერ მიზეზით, მათ შორის შეზღუდვის ფართობი და მოცულობა დროს fin-tuning. შენიშვნა: tf.Module არის ძირითადი კლასის ორივე tf.keras.layers.Layer და tf.keras.Model, ასე რომ ყველაფერი, რაც თქვენ შეხვდება აქ, ასევე გამოიყენება Keras. ისტორიული თავსებადი მიზეზით Keras კლასები არ იკავებს მოდულებს, ასე რომ თქვენი მოდელები უნდა გამოიყენოთ მხოლოდ მოდულები ან მხოლოდ Keras კლასები. თუმცა, ქვემოთ ნაჩვენები მეთოდები შეამოწმებლად მოდულები არის იგივე ორივე შემთხვევაში. ეს არის ძირითადი კლასის ორივე და , ასე რომ ყველაფერი, რაც თქვენ აქ შეხვდება, ასევე გამოიყენება Keras- ში. ისტორიული თავსებადი მიზეზების გამო, Keras- ის ფართები მოდულებს არ იღებენ, ასე რომ თქვენი მოდელები უნდა გამოიყენოთ მხოლოდ მოდულები ან მხოლოდ Keras- ის ფართები. თუმცა, ქვემოთ ნაჩვენებია მოდულების შეამოწმების მეთოდები ორივე შემთხვევაში იგივეა. Note: tf.Module tf.keras.layers.Layer tf.keras.Model Subclassification მიერ ნებისმიერი ან ამ კლასის მოვლენები ავტომატურად მოკლე იქნათ. ეს საშუალებას გაძლევთ შეინახოთ და დატვირთოთ ვარიანტიები, და ასევე შექმნათ კლასები ს tf.Module tf.Variable tf.Module tf.Module # All trainable variables print("trainable variables:", simple_module.trainable_variables) # Every variable print("all variables:", simple_module.variables) trainable variables: ( ,) all variables: ( , ) ეს არის მაგალითია ორი ფართო linear layer მოდულები. პირველი ხარისხის ხარისხის ხარისხი (Linear): class Dense(tf.Module): def __init__(self, in_features, out_features, name=None): super().__init__(name=name) self.w = tf.Variable( tf.random.normal([in_features, out_features]), name='w') self.b = tf.Variable(tf.zeros([out_features]), name='b') def __call__(self, x): y = tf.matmul(x, self.w) + self.b return tf.nn.relu(y) და შემდეგ სრული მოდელი, რომელიც აწარმოებს ორი layer instances და გამოიყენებს მათ: class SequentialModule(tf.Module): def __init__(self, name=None): super().__init__(name=name) self.dense_1 = Dense(in_features=3, out_features=3) self.dense_2 = Dense(in_features=3, out_features=2) def __call__(self, x): x = self.dense_1(x) return self.dense_2(x) # You have made a model! my_model = SequentialModule(name="the_model") # Call it, with random results print("Model results:", my_model(tf.constant([[2.0, 2.0, 2.0]]))) Model results: tf.Tensor([[0. 3.415034]], shape=(1, 2), dtype=float32) ავტომატურად მოკლე, recursively, ნებისმიერი ან ეს საშუალებას გაძლევთ შენარჩუნება. ეს საშუალებას გაძლევთ შექმნას s ერთად ერთი მოდელი instance, და შენახვა და ჩამოტვირთვა მთელი მოდელები. tf.Module tf.Variable tf.Module tf.Module print("Submodules:", my_model.submodules) Submodules: ( , ) for var in my_model.variables: print(var, "\n") დაველოდოთ, რომ შექმნათ ვარიანტი თქვენ შეიძლება შეამოწმოთ აქ, რომ თქვენ უნდა დააყენოთ ორივე input და output ზომები დისკზე. ეს არის ასე რომ ვარიანტი აქვს ცნობილი ფორმა და შეუძლია გააქტიურება. w მასშტაბით, როდესაც მოდულების შექმნა პირველ რიგში აირჩიეთ კონკრეტული ინტენსიურ ფორმაზე, თქვენ არ უნდა დააყენოთ ინტენსიური ზომა წინასწარ. class FlexibleDenseModule(tf.Module): # Note: No need for `in_features` def __init__(self, out_features, name=None): super().__init__(name=name) self.is_built = False self.out_features = out_features def __call__(self, x): # Create variables on first call. if not self.is_built: self.w = tf.Variable( tf.random.normal([x.shape[-1], self.out_features]), name='w') self.b = tf.Variable(tf.zeros([self.out_features]), name='b') self.is_built = True y = tf.matmul(x, self.w) + self.b return tf.nn.relu(y) # Used in a module class MySequentialModule(tf.Module): def __init__(self, name=None): super().__init__(name=name) self.dense_1 = FlexibleDenseModule(out_features=3) self.dense_2 = FlexibleDenseModule(out_features=2) def __call__(self, x): x = self.dense_1(x) return self.dense_2(x) my_model = MySequentialModule(name="the_model") print("Model results:", my_model(tf.constant([[2.0, 2.0, 2.0]]))) Model results: tf.Tensor([[0. 0.]], shape=(1, 2), dtype=float32) ეს მოქნილობა იმიტომ, რომ TensorFlow ფართები ხშირად მხოლოდ უნდა დააყენოთ ფორმა მათი გამოცემები, როგორიცაა , ვიდრე ორივე input და output ზომა. tf.keras.layers.Dense შეინარჩუნება წონა თქვენ შეგიძლიათ გადარჩენა a როგორც ორივე a და a . tf.Module კონტაქტი მოდელი Checkpoints არის მხოლოდ წონა (მაგ. ღირებულება კომპლექტი მოდულზე და მისი ქვემოთ მოდულები): chkp_path = "my_checkpoint" checkpoint = tf.train.Checkpoint(model=my_model) checkpoint.write(chkp_path) 'my_checkpoint' Checkpoints შედგება ორი სახის ფაილი: მონაცემები და index ფაილი metadata. index ფაილი შეინახავს, რა არის რეალურად გადარჩენა და ნომერი checkpoints, ხოლო checkpoint მონაცემები შეიცავს შეცვლის ღირებულებები და მათი attribute searchup გზა. ls my_checkpoint* my_checkpoint.data-00000-of-00001 my_checkpoint.index თქვენ შეგიძლიათ იხილოთ კონცენტში, რათა უზრუნველყოს, რომ მთელი კოლექცია ვარიანტებს შეინახავს, შეიტანებული Python ოფისში, რომელიც მათ შეიცავს. tf.train.list_variables(chkp_path) [('_CHECKPOINTABLE_OBJECT_GRAPH', []), ('model/dense_1/b/.ATTRIBUTES/VARIABLE_VALUE', [3]), ('model/dense_1/w/.ATTRIBUTES/VARIABLE_VALUE', [3, 3]), ('model/dense_2/b/.ATTRIBUTES/VARIABLE_VALUE', [2]), ('model/dense_2/w/.ATTRIBUTES/VARIABLE_VALUE', [3, 2])] გაფართოებული (მუთი მანქანა) ტრენინგის დროს ისინი შეიძლება გაფართოდეს, ამიტომ მათ ნომერი (გალითად, '00000-of-00001'). ამ შემთხვევაში, თუმცა, მხოლოდ ერთი გაფართოება არსებობს. როდესაც მოდელები დატვირთვა, თქვენ დატვირთვა ღირებულებები თქვენი Python მოდელი. new_model = MySequentialModule() new_checkpoint = tf.train.Checkpoint(model=new_model) new_checkpoint.restore("my_checkpoint") # Should be the same result as above new_model(tf.constant([[2.0, 2.0, 2.0]])) შეტყობინება: როგორც შეტყობინებები ძირითადად გრძელვადიანი სასწავლო workflows tf.checkpoint.CheckpointManager არის დახმარების კლასის, რომელიც იძლევა შეტყობინებები მართვის ძალიან მარტივი. იხილეთ სასწავლო შეტყობინებები მიმოხილვა დამატებითი დეტალები. შეტყობინება: როგორც შეტყობინებები ძირითადად გრძელვადიანი სასწავლო workflows tf.checkpoint.CheckpointManager არის დახმარების კლასის, რომელიც იძლევა შეტყობინებები მართვის ძალიან მარტივი. იხილეთ სასწავლო შეტყობინებები მიმოხილვა დამატებითი დეტალები. სასწავლო Checkpoints Guide გადარჩენის ფუნქციები TensorFlow შეუძლია აწარმოოს მოდელები გარეშე Original Python Objects, როგორც აჩვენა და , მაშინაც კი, როდესაც თქვენ ჩამოტვირთეთ სასწავლო მოდელი TensorFlow Serving TensorFlow Lite TensorFlow Hub. TensorFlow უნდა იცოდეთ, თუ როგორ უნდა გააკეთოთ კომპიუტერები, რომელიც აღწერილი Python, მაგრამ იმისათვის, რომ გააკეთოთ ეს, შეგიძლიათ გააკეთოთ რა თქმა უნდა, რომელიც გამოქვეყნდა The . without the original code graph გრაფიკების და ფუნქციების მიმოხილვა ეს გრაფიკი შეიცავს ოპერაციები, ან ეს გამოიყენებს ფუნქციას. OPS თქვენ შეგიძლიათ აირჩიოთ გრაფიკული მოდელი ზედაპირზე, დაამატოთ გრაფიკული გრაფიკული გრაფიკული გრაფიკული გრაფიკული გრაფიკული გრაფიკული გრაფიკული გრაფიკული გრაფიკული გრაფიკული გრაფიკული გრაფიკული გრაფიკული გრაფიკული გრაფიკული გრაფიკული გრაფიკული @tf.function class MySequentialModule(tf.Module): def __init__(self, name=None): super().__init__(name=name) self.dense_1 = Dense(in_features=3, out_features=3) self.dense_2 = Dense(in_features=3, out_features=2) @tf.function def __call__(self, x): x = self.dense_1(x) return self.dense_2(x) # You have made a model with a graph! my_model = MySequentialModule(name="the_model") მოდული, რომელიც თქვენ შექმნილია მუშაობს ისევე, როგორც წინ. თითოეული უნიკალური შეტყობინება, რომელიც გადაცემა ფუნქციას, შექმნა განსხვავებული გრაფიკი. შეამოწმეთ დეტალებისთვის გრაფიკების და ფუნქციების მიმოხილვა print(my_model([[2.0, 2.0, 2.0]])) print(my_model([[[2.0, 2.0, 2.0], [2.0, 2.0, 2.0]]])) tf.Tensor([[0.31593648 0. ]], shape=(1, 2), dtype=float32) tf.Tensor( [[[0.31593648 0. ] [0.31593648 0. ]]], shape=(1, 2, 2), dtype=float32) თქვენ შეგიძლიათ ვიზუალიზოთ გრაფიკს, რათა გააჩნოს მას TensorBoard შეტყობინებები. # Set up logging. stamp = datetime.now().strftime("%Y%m%d-%H%M%S") logdir = "logs/func/%s" % stamp writer = tf.summary.create_file_writer(logdir) # Create a new model to get a fresh trace # Otherwise the summary will not see the graph. new_model = MySequentialModule() # Bracket the function call with # tf.summary.trace_on() and tf.summary.trace_export(). tf.summary.trace_on(graph=True) tf.profiler.experimental.start(logdir) # Call only one tf.function when tracing. z = print(new_model(tf.constant([[2.0, 2.0, 2.0]]))) with writer.as_default(): tf.summary.trace_export( name="my_func_trace", step=0, profiler_outdir=logdir) tf.Tensor([[0. 0.]], shape=(1, 2), dtype=float32) დაწყეთ TensorBoard, რათა იხილოთ შემდეგი ტანსაცმელი: #docs_infra: no_execute %tensorboard --logdir logs/func შექმნა a SavedModel რეკომენდირებული გზა გაზიარება სრულიად სასწავლო მოდელები არის გამოყენება შეიცავს ორივე ფუნქციების კოლექცია და კოლექცია წონა. SavedModel SavedModel თქვენ შეგიძლიათ შეინარჩუნოთ მოდელი, რომელიც თქვენ უბრალოდ სასწავლოთ შემდეგი: tf.saved_model.save(my_model, "the_saved_model") INFO:tensorflow:Assets written to: the_saved_model/assets # Inspect the SavedModel in the directory ls -l the_saved_model total 32 drwxr-sr-x 2 kbuilder kokoro 4096 Oct 18 01:21 assets -rw-rw-r-- 1 kbuilder kokoro 58 Oct 18 01:21 fingerprint.pb -rw-rw-r-- 1 kbuilder kokoro 17704 Oct 18 01:21 saved_model.pb drwxr-sr-x 2 kbuilder kokoro 4096 Oct 18 01:21 variables # The variables/ directory contains a checkpoint of the variables ls -l the_saved_model/variables total 8 -rw-rw-r-- 1 kbuilder kokoro 490 Oct 18 01:21 variables.data-00000-of-00001 -rw-rw-r-- 1 kbuilder kokoro 356 Oct 18 01:21 variables.index ეს ფაილი A ფუნქციონალური აღწერა . saved_model.pb კონტაქტი Buffer tf.Graph მოდელები და ფართები შეუძლია დატვირთოთ ამ რეპუტაციაზე გარეშე, რომ ნამდვილად შექმნათ კლასის ნიმუში, რომელიც იგი შექმნა. ეს სასურველია situations where you don't have (or want) a Python interpreter, such as serving at scale or on an edge device, or in situations where the original Python code is not available or practical to use. თქვენ შეგიძლიათ ჩამოტვირთოთ მოდელი როგორც ახალი მოდელი: new_model = tf.saved_model.load("the_saved_model") , რომელიც შექმნილია დატვირთვის შეზღუდული მოდელი, არის შიდა TensorFlow მომხმარებლის ობიექტს გარეშე ნებისმიერი კლასის ცოდნა. ეს არ არის ტიპის . new_model SequentialModule isinstance(new_model, SequentialModule) False ეს ახალი მოდელი მუშაობს დასაწყისში განახლებული შეტყობინებები. თქვენ არ შეგიძლიათ დაამატოთ მეტი შეტყობინებები მოდელი განახლებული, როგორც ეს. print(my_model([[2.0, 2.0, 2.0]])) print(my_model([[[2.0, 2.0, 2.0], [2.0, 2.0, 2.0]]])) tf.Tensor([[0.31593648 0. ]], shape=(1, 2), dtype=float32) tf.Tensor( [[[0.31593648 0. ] [0.31593648 0. ]]], shape=(1, 2, 2), dtype=float32) ასე რომ, გამოყენებით , თქვენ შეგიძლიათ შეინახოთ TensorFlow წონა და გრაფიკები გამოყენებით და შემდეგ დატვირთეთ მათ კიდევ ერთხელ. SavedModel tf.Module დასაწყისი გამოქვეყნდა TensorFlow ვებ-გვერდზე, ამ სტატიაში გამოქვეყნდა ახალი სატელევიზიო და ლიცენზია CC BY 4.0. კოდი ნიმუშები გამოქვეყნდა Apache 2.0 ლიცენზია. დასაწყისი გამოქვეყნდა TensorFlow ვებ-გვერდზე, ამ სტატიაში გამოქვეყნდა ახალი სატელევიზიო და ლიცენზია CC BY 4.0. კოდი ნიმუშები გამოქვეყნდა Apache 2.0 ლიცენზია. TensorFlow