Content overview 
 
 
 
 
 
 
 
 Thiết lập Mô-đun TensorFlow Xây dựng Module Chờ đợi để tạo các biến Tiết kiệm trọng lượng chức năng tiết kiệm Tạo một SavedModel Để thực hiện máy học trong TensorFlow, bạn có thể cần xác định, lưu và khôi phục một mô hình. Một mô hình là, trừu tượng: 
 
 
 Một hàm tính toán một cái gì đó trên các tensor (một forward pass) Một số biến có thể được cập nhật để đáp ứng với đào tạo Trong hướng dẫn này, bạn sẽ đi dưới bề mặt của Keras để xem các mô hình TensorFlow được định nghĩa như thế nào. Thiết lập import tensorflow as tf
import keras
from datetime import datetime

%load_ext tensorboard
 2023-10-18 01:21:05.536666: E tensorflow/compiler/xla/stream_executor/cuda/cuda_dnn.cc:9342] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered
2023-10-18 01:21:05.536712: E tensorflow/compiler/xla/stream_executor/cuda/cuda_fft.cc:609] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered
2023-10-18 01:21:05.536766: E tensorflow/compiler/xla/stream_executor/cuda/cuda_blas.cc:1518] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered
 Mô-đun TensorFlow Hầu hết các mô hình được làm bằng các lớp. Các lớp là các chức năng có cấu trúc toán học được biết đến có thể được tái sử dụng và có các biến có thể được đào tạo. Trong TensorFlow, hầu hết các ứng dụng cấp cao của các lớp và mô hình, chẳng hạn như Keras hoặc , được xây dựng trên cùng một lớp nền tảng: . Sonnet tf.Module Xây dựng Module Dưới đây là một ví dụ về một cách đơn giản Nó hoạt động trên một tensor scalar: tf.Module class SimpleModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)
    self.a_variable = tf.Variable(5.0, name="train_me")
    self.non_trainable_variable = tf.Variable(5.0, trainable=False, name="do_not_train_me")
  def __call__(self, x):
    return self.a_variable * x + self.non_trainable_variable

simple_module = SimpleModule(name="simple")

simple_module(tf.constant(5.0))
 2023-10-18 01:21:08.181350: W tensorflow/core/common_runtime/gpu/gpu_device.cc:2211] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform.
Skipping registering GPU devices...
<tf.Tensor: shape=(), dtype=float32, numpy=30.0>
 Các mô-đun và, theo phần mở rộng, các lớp là thuật ngữ học sâu cho "vật thể": chúng có trạng thái nội bộ, và các phương pháp sử dụng trạng thái đó. Không có gì đặc biệt về Trừ việc hành động như một ; bạn có thể gọi các mô hình của bạn với bất kỳ chức năng nào bạn muốn. __call__ Python gọi Bạn có thể thiết lập khả năng huấn luyện của các biến trên và ngoài vì bất kỳ lý do nào, bao gồm đóng băng các lớp và biến trong quá trình điều chỉnh tốt. 
 
 Lưu ý: tf.Module là lớp cơ bản cho cả tf.keras.layers.Layer và tf.keras.Model, vì vậy mọi thứ bạn gặp ở đây cũng áp dụng cho Keras. Vì lý do tương thích lịch sử, các lớp Keras không thu thập các biến từ các mô-đun, vì vậy các mô-đun của bạn chỉ nên sử dụng các mô-đun hoặc chỉ các lớp Keras. Tuy nhiên, các phương pháp được hiển thị dưới đây để kiểm tra các biến đều giống nhau trong cả hai trường hợp.   là lớp cơ bản cho cả hai và Vì lý do tương thích lịch sử, các lớp Keras không thu thập các biến từ các mô-đun, vì vậy các mô-đun của bạn nên chỉ sử dụng các mô-đun hoặc chỉ các lớp Keras. Note: tf.Module tf.keras.layers.Layer tf.keras.Model bởi subclassing Bất kỳ hoặc các trường hợp được gán cho các thuộc tính của đối tượng này được tự động thu thập. Điều này cho phép bạn lưu và tải các biến, và cũng tạo các bộ sưu tập của của s. tf.Module tf.Variable tf.Module tf.Module # All trainable variables
print("trainable variables:", simple_module.trainable_variables)
# Every variable
print("all variables:", simple_module.variables)
 trainable variables: (<tf.Variable 'train_me:0' shape=() dtype=float32, numpy=5.0>,)
all variables: (<tf.Variable 'train_me:0' shape=() dtype=float32, numpy=5.0>, <tf.Variable 'do_not_train_me:0' shape=() dtype=float32, numpy=5.0>)
 Đây là một ví dụ về một mô hình lớp tuyến tính hai lớp được tạo thành từ các mô-đun. Đầu tiên là một lớp dense (linear): class Dense(tf.Module):
  def __init__(self, in_features, out_features, name=None):
    super().__init__(name=name)
    self.w = tf.Variable(
      tf.random.normal([in_features, out_features]), name='w')
    self.b = tf.Variable(tf.zeros([out_features]), name='b')
  def __call__(self, x):
    y = tf.matmul(x, self.w) + self.b
    return tf.nn.relu(y)
 Và sau đó là mô hình hoàn chỉnh, tạo ra hai trường hợp lớp và áp dụng chúng: class SequentialModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)

    self.dense_1 = Dense(in_features=3, out_features=3)
    self.dense_2 = Dense(in_features=3, out_features=2)

  def __call__(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

# You have made a model!
my_model = SequentialModule(name="the_model")

# Call it, with random results
print("Model results:", my_model(tf.constant([[2.0, 2.0, 2.0]])))
 Model results: tf.Tensor([[0.       3.415034]], shape=(1, 2), dtype=float32)
 các trường hợp sẽ tự động thu thập, lặp lại, bất kỳ hoặc các trường hợp được gán cho nó. Điều này cho phép bạn quản lý bộ sưu tập s với một trường hợp mô hình duy nhất, và lưu và tải toàn bộ mô hình. tf.Module tf.Variable tf.Module tf.Module print("Submodules:", my_model.submodules)
 Submodules: (<__main__.Dense object at 0x7f7931aea250>, <__main__.Dense object at 0x7f77ed5b8a00>)
 for var in my_model.variables:
  print(var, "\n")
 <tf.Variable 'b:0' shape=(3,) dtype=float32, numpy=array([0., 0., 0.], dtype=float32)> 

<tf.Variable 'w:0' shape=(3, 3) dtype=float32, numpy=
array([[-2.8161757, -2.6065955,  1.9061812],
       [-0.9430401, -0.4624743, -0.4531979],
       [-1.3428234,  0.7062293,  0.7874674]], dtype=float32)> 

<tf.Variable 'b:0' shape=(2,) dtype=float32, numpy=array([0., 0.], dtype=float32)> 

<tf.Variable 'w:0' shape=(3, 2) dtype=float32, numpy=
array([[ 1.0474309 , -0.6920227 ],
       [ 1.2405277 ,  0.36411622],
       [-1.6990206 ,  0.762131  ]], dtype=float32)>
 Chờ đợi để tạo các biến Bạn có thể đã nhận thấy ở đây rằng bạn phải xác định cả kích thước đầu vào và đầu ra cho lớp. biến có hình dạng đã biết và có thể được phân bổ. w Bằng cách hoãn tạo biến cho lần đầu tiên mô-đun được gọi với hình dạng đầu vào cụ thể, bạn không cần phải chỉ định kích thước đầu vào ở phía trước. class FlexibleDenseModule(tf.Module):
  # Note: No need for `in_features`
  def __init__(self, out_features, name=None):
    super().__init__(name=name)
    self.is_built = False
    self.out_features = out_features

  def __call__(self, x):
    # Create variables on first call.
    if not self.is_built:
      self.w = tf.Variable(
        tf.random.normal([x.shape[-1], self.out_features]), name='w')
      self.b = tf.Variable(tf.zeros([self.out_features]), name='b')
      self.is_built = True

    y = tf.matmul(x, self.w) + self.b
    return tf.nn.relu(y)
 # Used in a module
class MySequentialModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)

    self.dense_1 = FlexibleDenseModule(out_features=3)
    self.dense_2 = FlexibleDenseModule(out_features=2)

  def __call__(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

my_model = MySequentialModule(name="the_model")
print("Model results:", my_model(tf.constant([[2.0, 2.0, 2.0]])))
 Model results: tf.Tensor([[0. 0.]], shape=(1, 2), dtype=float32)
 Sự linh hoạt này là lý do tại sao các lớp TensorFlow thường chỉ cần xác định hình dạng của đầu ra của chúng, chẳng hạn như trong , thay vì cả kích thước đầu vào và đầu ra. tf.keras.layers.Dense Tiết kiệm trọng lượng Bạn có thể cứu a Như cả hai a và a . tf.Module Checkpoint Mô hình Các điểm kiểm tra chỉ là trọng lượng (tức là các giá trị của tập hợp các biến bên trong mô-đun và các mô-đun con của nó): chkp_path = "my_checkpoint"
checkpoint = tf.train.Checkpoint(model=my_model)
checkpoint.write(chkp_path)
 'my_checkpoint'
 Điểm kiểm bao gồm hai loại tệp: dữ liệu chính nó và tệp chỉ mục cho siêu dữ liệu. tệp chỉ mục theo dõi những gì thực sự được lưu và số điểm kiểm tra, trong khi dữ liệu điểm kiểm tra chứa các giá trị biến và các đường dẫn tìm kiếm thuộc tính của chúng. ls my_checkpoint*
 my_checkpoint.data-00000-of-00001  my_checkpoint.index
 Bạn có thể nhìn vào bên trong một điểm kiểm tra để chắc chắn rằng toàn bộ tập hợp các biến được lưu, sắp xếp theo đối tượng Python chứa chúng. tf.train.list_variables(chkp_path)
 [('_CHECKPOINTABLE_OBJECT_GRAPH', []),
 ('model/dense_1/b/.ATTRIBUTES/VARIABLE_VALUE', [3]),
 ('model/dense_1/w/.ATTRIBUTES/VARIABLE_VALUE', [3, 3]),
 ('model/dense_2/b/.ATTRIBUTES/VARIABLE_VALUE', [2]),
 ('model/dense_2/w/.ATTRIBUTES/VARIABLE_VALUE', [3, 2])]
 Trong quá trình đào tạo phân tán (multi-machine), chúng có thể bị phân tách, đó là lý do tại sao chúng được đánh số (ví dụ, '00000-of-00001'). Khi bạn tải lại các mô hình, bạn viết lại các giá trị trong đối tượng Python của bạn. new_model = MySequentialModule()
new_checkpoint = tf.train.Checkpoint(model=new_model)
new_checkpoint.restore("my_checkpoint")

# Should be the same result as above
new_model(tf.constant([[2.0, 2.0, 2.0]]))
 <tf.Tensor: shape=(1, 2), dtype=float32, numpy=array([[0., 0.]], dtype=float32)>
 
 
 Lưu ý: Vì các điểm kiểm tra là trung tâm của các dòng công việc đào tạo dài, hãy xem t.checkpoint.CheckpointManager là một lớp trợ giúp giúp giúp quản lý điểm kiểm tra dễ dàng hơn nhiều. Lưu ý: Vì các điểm kiểm tra là trung tâm của các dòng công việc đào tạo dài, hãy xem t.checkpoint.CheckpointManager là một lớp trợ giúp giúp giúp quản lý điểm kiểm tra dễ dàng hơn nhiều. Hướng dẫn đào tạo checkpoint chức năng tiết kiệm TensorFlow có thể chạy các mô hình mà không có các đối tượng Python ban đầu, như được chứng minh bởi và , ngay cả khi bạn tải xuống một mô hình được đào tạo từ TensorFlow Serving TensorFlow Lite TensorFlow Hub. TensorFlow cần biết làm thế nào để thực hiện các phép tính được mô tả trong Python, nhưng Để làm điều này, bạn có thể thực hiện một , được mô tả trong . without the original code graph Giới thiệu về Graphs and Functions Guide Biểu đồ này chứa các hoạt động, hoặc Điều này thực hiện chức năng OPS Bạn có thể xác định một biểu đồ trong mô hình ở trên bằng cách thêm decorator để chỉ ra rằng mã này nên chạy dưới dạng biểu đồ. @tf.function class MySequentialModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)

    self.dense_1 = Dense(in_features=3, out_features=3)
    self.dense_2 = Dense(in_features=3, out_features=2)

  @tf.function
  def __call__(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

# You have made a model with a graph!
my_model = MySequentialModule(name="the_model")
 Mô-đun bạn đã tạo hoạt động chính xác như trước đây. Mỗi chữ ký duy nhất được truyền vào hàm tạo ra một biểu đồ riêng biệt. Đối với chi tiết Giới thiệu về Graphs and Functions Guide print(my_model([[2.0, 2.0, 2.0]]))
print(my_model([[[2.0, 2.0, 2.0], [2.0, 2.0, 2.0]]]))
 tf.Tensor([[0.31593648 0.        ]], shape=(1, 2), dtype=float32)
tf.Tensor(
[[[0.31593648 0.        ]
  [0.31593648 0.        ]]], shape=(1, 2, 2), dtype=float32)
 Bạn có thể hình dung biểu đồ bằng cách theo dõi nó trong tóm tắt TensorBoard. # Set up logging.
stamp = datetime.now().strftime("%Y%m%d-%H%M%S")
logdir = "logs/func/%s" % stamp
writer = tf.summary.create_file_writer(logdir)

# Create a new model to get a fresh trace
# Otherwise the summary will not see the graph.
new_model = MySequentialModule()

# Bracket the function call with
# tf.summary.trace_on() and tf.summary.trace_export().
tf.summary.trace_on(graph=True)
tf.profiler.experimental.start(logdir)
# Call only one tf.function when tracing.
z = print(new_model(tf.constant([[2.0, 2.0, 2.0]])))
with writer.as_default():
  tf.summary.trace_export(
      name="my_func_trace",
      step=0,
      profiler_outdir=logdir)
 tf.Tensor([[0. 0.]], shape=(1, 2), dtype=float32)
 Khởi động TensorBoard để xem kết quả theo dõi: #docs_infra: no_execute
%tensorboard --logdir logs/func
 Tạo a SavedModel Cách được đề nghị để chia sẻ các mô hình được đào tạo đầy đủ là sử dụng của chứa cả một bộ sưu tập các chức năng và một bộ sưu tập trọng lượng. SavedModel SavedModel Bạn có thể lưu mô hình mà bạn vừa đào tạo như sau: tf.saved_model.save(my_model, "the_saved_model")
 INFO:tensorflow:Assets written to: the_saved_model/assets
 # Inspect the SavedModel in the directory
ls -l the_saved_model
 total 32
drwxr-sr-x 2 kbuilder kokoro  4096 Oct 18 01:21 assets
-rw-rw-r-- 1 kbuilder kokoro    58 Oct 18 01:21 fingerprint.pb
-rw-rw-r-- 1 kbuilder kokoro 17704 Oct 18 01:21 saved_model.pb
drwxr-sr-x 2 kbuilder kokoro  4096 Oct 18 01:21 variables
 # The variables/ directory contains a checkpoint of the variables
ls -l the_saved_model/variables
 total 8
-rw-rw-r-- 1 kbuilder kokoro 490 Oct 18 01:21 variables.data-00000-of-00001
-rw-rw-r-- 1 kbuilder kokoro 356 Oct 18 01:21 variables.index
 Các File là a Mô tả chức năng . saved_model.pb Giao thức buffer tf.Graph Mô hình và lớp có thể được tải từ đại diện này mà không thực sự tạo ra một trường hợp của lớp tạo ra nó.Điều này là mong muốn trong các tình huống mà bạn không có (hoặc muốn) một người giải thích Python, chẳng hạn như phục vụ ở quy mô hoặc trên một thiết bị cạnh, hoặc trong các tình huống nơi mã Python gốc không có sẵn hoặc thực tế để sử dụng. Bạn có thể tải mô hình dưới dạng đối tượng mới: new_model = tf.saved_model.load("the_saved_model")
 , được tạo từ việc tải một mô hình đã lưu, là một đối tượng người dùng TensorFlow nội bộ mà không có bất kỳ kiến thức lớp nào. . new_model SequentialModule isinstance(new_model, SequentialModule)
 False
 Mô hình mới này hoạt động trên các chữ ký đầu vào đã được xác định. Bạn không thể thêm nhiều chữ ký vào một mô hình được khôi phục như thế này. print(my_model([[2.0, 2.0, 2.0]]))
print(my_model([[[2.0, 2.0, 2.0], [2.0, 2.0, 2.0]]]))
 tf.Tensor([[0.31593648 0.        ]], shape=(1, 2), dtype=float32)
tf.Tensor(
[[[0.31593648 0.        ]
  [0.31593648 0.        ]]], shape=(1, 2, 2), dtype=float32)
 Do đó, sử dụng , bạn có thể lưu trọng lượng TensorFlow và biểu đồ bằng cách sử dụng Và sau đó tải chúng một lần nữa. SavedModel tf.Module 
 
 Ban đầu được xuất bản trên trang web TensorFlow, bài viết này xuất hiện ở đây dưới tiêu đề mới và được cấp phép theo CC BY 4.0. Ban đầu được xuất bản trên trang web TensorFlow, bài viết này xuất hiện ở đây dưới tiêu đề mới và được cấp phép theo CC BY 4.0. TensorFlow

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

dài quá đọc không nổi

Make resilience your competitive advantage

Cách định nghĩa, lưu và khôi phục mô hình trong TensorFlow

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

179 Stories To Learn About Reading

189 Stories To Learn About Reading Books

61 Stories To Learn About Polotical Philosophy

287 Stories To Learn About Blockchain Development

179 Stories To Learn About Reading

189 Stories To Learn About Reading Books

61 Stories To Learn About Polotical Philosophy

287 Stories To Learn About Blockchain Development

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps