Nội dung Overview 
 
 
 
 
 
 
 
 
 
 Thiết lập Tiết kiệm từ tf.keras đào tạo API Viết checkpoints Kiểm tra thủ công Tải Mechanics Phục hồi trì hoãn Kiểm tra thủ công các điểm kiểm tra Theo dõi đối tượng Kết luận Các cụm từ "giữ một mô hình TensorFlow" thường có nghĩa là một trong hai điều: 
 
 
 Các điểm kiểm tra, hoặc Mô hình cứu hộ Các điểm kiểm tra ghi lại giá trị chính xác của tất cả các thông số ( Các điểm kiểm tra không chứa bất kỳ mô tả nào về tính toán được xác định bởi mô hình và do đó thường chỉ hữu ích khi mã nguồn sẽ sử dụng các giá trị tham số được lưu. tf.Variable Định dạng SavedModel, mặt khác, bao gồm một mô tả hàng loạt về tính toán được xác định bởi mô hình ngoài các giá trị tham số (checkpoint). Các mô hình trong định dạng này là độc lập với mã nguồn tạo ra mô hình. do đó, chúng phù hợp để triển khai thông qua TensorFlow Serving, TensorFlow Lite, TensorFlow.js, hoặc các chương trình trong các ngôn ngữ lập trình khác (các C, C++, Java, Go, Rust, C# vv TensorFlow API). Hướng dẫn này bao gồm các API để viết và đọc các điểm kiểm tra. Thiết lập import tensorflow as tf
 class Net(tf.keras.Model):
  """A simple linear model."""

  def __init__(self):
    super(Net, self).__init__()
    self.l1 = tf.keras.layers.Dense(5)

  def call(self, x):
    return self.l1(x)
 net = Net()
 Tiết kiệm từ Đào tạo APIs tf.keras TF.Công ty Xem The Hướng dẫn cách tiết kiệm và khôi phục tf.keras Lưu một điểm kiểm tra TensorFlow. tf.keras.Model.save_weights net.save_weights('easy_checkpoint')
 Viết checkpoints trạng thái vĩnh viễn của một mô hình TensorFlow được lưu trữ trong Các đối tượng này có thể được xây dựng trực tiếp, nhưng thường được tạo ra thông qua các API cấp cao như hoặc . tf.Variable tf.keras.layers tf.keras.Model Cách dễ nhất để quản lý các biến là gắn chúng vào các đối tượng Python, sau đó tham chiếu các đối tượng đó. Subclasses của , và tự động theo dõi các biến được gán cho các thuộc tính của chúng. ví dụ sau đây xây dựng một mô hình tuyến tính đơn giản, sau đó viết các điểm kiểm tra có chứa giá trị cho tất cả các biến của mô hình. tf.train.Checkpoint tf.keras.layers.Layer tf.keras.Model Bạn có thể dễ dàng lưu một mô hình-checkpoint với . Model.save_weights Kiểm tra thủ công Thiết lập Để giúp thể hiện tất cả các tính năng của , xác định một tập dữ liệu đồ chơi và bước tối ưu hóa: tf.train.Checkpoint def toy_dataset():
  inputs = tf.range(10.)[:, None]
  labels = inputs * 5. + tf.range(5.)[None, :]
  return tf.data.Dataset.from_tensor_slices(
    dict(x=inputs, y=labels)).repeat().batch(2)
 def train_step(net, example, optimizer):
  """Trains `net` on `example` using `optimizer`."""
  with tf.GradientTape() as tape:
    output = net(example['x'])
    loss = tf.reduce_mean(tf.abs(output - example['y']))
  variables = net.trainable_variables
  gradients = tape.gradient(loss, variables)
  optimizer.apply_gradients(zip(gradients, variables))
  return loss
 Tạo các đối tượng Checkpoint Sử dụng a đối tượng để tạo thủ công một điểm kiểm tra, nơi các đối tượng bạn muốn điểm kiểm tra được đặt là thuộc tính trên đối tượng. tf.train.Checkpoint a là Nó cũng có thể hữu ích cho việc quản lý nhiều điểm kiểm tra. tf.train.CheckpointManager opt = tf.keras.optimizers.Adam(0.1)
dataset = toy_dataset()
iterator = iter(dataset)
ckpt = tf.train.Checkpoint(step=tf.Variable(1), optimizer=opt, net=net, iterator=iterator)
manager = tf.train.CheckpointManager(ckpt, './tf_ckpts', max_to_keep=3)
 Train và checkpoint mô hình Các vòng đào tạo sau đây tạo ra một trường hợp của mô hình và của một tối ưu hóa, sau đó thu thập chúng vào một Nó gọi bước đào tạo trong một vòng tròn trên mỗi lô dữ liệu, và định kỳ viết các điểm kiểm tra vào đĩa. tf.train.Checkpoint def train_and_checkpoint(net, manager):
  ckpt.restore(manager.latest_checkpoint)
  if manager.latest_checkpoint:
    print("Restored from {}".format(manager.latest_checkpoint))
  else:
    print("Initializing from scratch.")

  for _ in range(50):
    example = next(iterator)
    loss = train_step(net, example, opt)
    ckpt.step.assign_add(1)
    if int(ckpt.step) % 10 == 0:
      save_path = manager.save()
      print("Saved checkpoint for step {}: {}".format(int(ckpt.step), save_path))
      print("loss {:1.2f}".format(loss.numpy()))
 train_and_checkpoint(net, manager)
 Khôi phục và tiếp tục đào tạo Sau chu kỳ đào tạo đầu tiên, bạn có thể vượt qua một mô hình và quản lý mới, nhưng nhận được đào tạo chính xác nơi bạn ngừng lại: opt = tf.keras.optimizers.Adam(0.1)
net = Net()
dataset = toy_dataset()
iterator = iter(dataset)
ckpt = tf.train.Checkpoint(step=tf.Variable(1), optimizer=opt, net=net, iterator=iterator)
manager = tf.train.CheckpointManager(ckpt, './tf_ckpts', max_to_keep=3)

train_and_checkpoint(net, manager)
 Các object xóa các điểm kiểm cũ. Trên đó nó được cấu hình để chỉ giữ lại ba điểm kiểm gần đây nhất. tf.train.CheckpointManager print(manager.checkpoints)  # List the three remaining checkpoints
 Những con đường này, g. , không phải là tệp trên đĩa. Thay vào đó, chúng là tiền tố cho một tập tin và một hoặc nhiều tập tin dữ liệu có chứa các giá trị biến. các tiền tố này được nhóm lại với nhau trong một Tài liệu ( (Nơi mà cứu nhà nước của mình. './tf_ckpts/ckpt-10' index checkpoint './tf_ckpts/checkpoint' CheckpointManager ls ./tf_ckpts
 Tải Mechanics TensorFlow khớp các biến với các giá trị được đánh dấu bằng cách vượt qua một biểu đồ được định hướng với các cạnh được đặt tên, bắt đầu từ đối tượng đang được tải. tên cạnh thường đến từ tên thuộc tính trong các đối tượng, chẳng hạn như Trong của sử dụng tên đối số từ khóa của nó, như trong Trong . "l1" self.l1 = tf.keras.layers.Dense(5) tf.train.Checkpoint "step" tf.train.Checkpoint(step=...) Biểu đồ phụ thuộc từ ví dụ ở trên trông như thế này: Tối ưu hóa là màu đỏ, các biến thông thường là màu xanh và các biến khe tối ưu hóa là màu cam. Các nút khác - ví dụ, đại diện cho - Có trong đen. tf.train.Checkpoint Các biến khe là một phần của trạng thái của bộ tối ưu hóa, nhưng được tạo cho một biến cụ thể. Các cạnh trên tương ứng với động lực, mà Adam optimizer theo dõi cho mỗi biến. các biến khe chỉ được lưu vào một điểm kiểm tra nếu cả biến và optimizer đều được lưu, do đó các cạnh bị cắt. 'm' gọi Có a đối tượng hàng đợi các khôi phục được yêu cầu, khôi phục các giá trị biến ngay khi có một con đường phù hợp từ Ví dụ, bạn chỉ có thể tải các bias từ mô hình bạn đã xác định ở trên bằng cách xây dựng lại một con đường đến nó thông qua mạng và lớp. restore tf.train.Checkpoint Checkpoint to_restore = tf.Variable(tf.zeros([5]))
print(to_restore.numpy())  # All zeros
fake_layer = tf.train.Checkpoint(bias=to_restore)
fake_net = tf.train.Checkpoint(l1=fake_layer)
new_root = tf.train.Checkpoint(net=fake_net)
status = new_root.restore(tf.train.latest_checkpoint('./tf_ckpts/'))
print(to_restore.numpy())  # This gets the restored value.
 Biểu đồ phụ thuộc cho các đối tượng mới này là một tiểu biểu đồ nhỏ hơn nhiều so với điểm kiểm tra lớn hơn mà bạn đã viết ở trên. Sử dụng số điểm kiểm tra. tf.train.Checkpoint Trả về một đối tượng trạng thái, có các tuyên bố tùy chọn. Tất cả các đối tượng được tạo trong đã được khôi phục, do đó Vượt qua restore Checkpoint status.assert_existing_objects_matched status.assert_existing_objects_matched()
 Có rất nhiều đối tượng trong điểm kiểm tra không phù hợp, bao gồm cả lõi lớp và các biến của bộ tối ưu hóa. chỉ vượt qua nếu điểm kiểm tra và chương trình khớp chính xác, và sẽ ném một ngoại lệ ở đây. status.assert_consumed Phục hồi trì hoãn Các đối tượng trong TensorFlow có thể trì hoãn việc tạo các biến cho cuộc gọi đầu tiên của chúng, khi các hình dạng đầu vào có sẵn. lõi của lớp phụ thuộc vào cả hình dạng đầu vào và hình dạng đầu ra của lớp, và do đó hình dạng đầu ra được yêu cầu như là một đối số constructor không đủ thông tin để tạo biến một mình. cũng đọc giá trị của biến, một khôi phục phải xảy ra giữa việc tạo biến và lần sử dụng đầu tiên của nó. Layer Dense Layer Để hỗ trợ ngôn ngữ này, Defers khôi phục mà chưa có một biến phù hợp. tf.train.Checkpoint deferred_restore = tf.Variable(tf.zeros([1, 5]))
print(deferred_restore.numpy())  # Not restored; still zeros
fake_layer.kernel = deferred_restore
print(deferred_restore.numpy())  # Restored
 Kiểm tra thủ công các điểm kiểm tra Trở lại a cung cấp quyền truy cập cấp thấp hơn vào nội dung điểm kiểm. Nó chứa bản đồ từ khóa của mỗi biến, đến hình dạng và dtype cho mỗi biến trong điểm kiểm. Chìa khóa của biến là con đường đối tượng của nó, như trong các biểu đồ hiển thị ở trên. tf.train.load_checkpoint CheckpointReader 
 
 Lưu ý: Không có cấu trúc cấp cao hơn cho điểm kiểm tra. nó chỉ biết các con đường và giá trị cho các biến, và không có khái niệm về mô hình, lớp hoặc cách chúng được kết nối. Lưu ý: Không có cấu trúc cấp cao hơn cho điểm kiểm tra. nó chỉ biết các con đường và giá trị cho các biến, và không có khái niệm về mô hình, lớp hoặc cách chúng được kết nối. reader = tf.train.load_checkpoint('./tf_ckpts/')
shape_from_key = reader.get_variable_to_shape_map()
dtype_from_key = reader.get_variable_to_dtype_map()

sorted(shape_from_key.keys())
 Nếu bạn quan tâm đến giá trị của Bạn có thể nhận được giá trị với mã sau: net.l1.kernel key = 'net/l1/kernel/.ATTRIBUTES/VARIABLE_VALUE'

print("Shape:", shape_from_key[key])
print("Dtype:", dtype_from_key[key].name)
 Nó cũng cung cấp a phương pháp cho phép bạn kiểm tra giá trị của một biến: get_tensor reader.get_tensor(key)
 Theo dõi đối tượng Checkpoints lưu và khôi phục các giá trị của đối tượng bằng cách "tracking" bất kỳ đối tượng biến hoặc có thể theo dõi nào được đặt trong một trong các thuộc tính của nó.Khi thực hiện lưu, các biến được thu thập lặp lại từ tất cả các đối tượng được theo dõi có thể đạt được. tf.Variable Giống như với các thuộc tính trực tiếp như , gán danh sách và từ điển cho các thuộc tính sẽ theo dõi nội dung của chúng. self.l1 = tf.keras.layers.Dense(5) save = tf.train.Checkpoint()
save.listed = [tf.Variable(1.)]
save.listed.append(tf.Variable(2.))
save.mapped = {'one': save.listed[0]}
save.mapped['two'] = save.listed[1]
save_path = save.save('./tf_list_example')

restore = tf.train.Checkpoint()
v2 = tf.Variable(0.)
assert 0. == v2.numpy()  # Not restored yet
restore.mapped = {'two': v2}
restore.restore(save_path)
assert 2. == v2.numpy()
 Bạn có thể nhận thấy các đối tượng bao bì cho danh sách và từ điển. Những bao bì này là các phiên bản có thể kiểm tra các cấu trúc dữ liệu cơ bản. Giống như tải dựa trên thuộc tính, những bao bì này khôi phục giá trị của một biến ngay khi nó được thêm vào thùng chứa. restore.listed = []
print(restore.listed)  # ListWrapper([])
v1 = tf.Variable(0.)
restore.listed.append(v1)  # Restores v1, from restore() in the previous cell
assert 1. == v1.numpy()
 Các đối tượng có thể theo dõi bao gồm , và các tầng lớp của nó (ví dụ: và , và các container Python được công nhận: tf.train.Checkpoint tf.Module keras.layers.Layer keras.Model 
 
 
 
 dict (và collections.OrderedDict) Danh sách tuple (và collections.namedtuple, typing.NamedTuple) Các loại container khác , bao gồm: not supported 
 
 
 Trang chủ > Defaultdict set Tất cả các đối tượng Python khác đều , bao gồm: ignored 
 
 
 
 int String float Kết luận Các đối tượng TensorFlow cung cấp một cơ chế tự động dễ dàng để lưu và khôi phục các giá trị của các biến mà chúng sử dụng. 
 
 Ban đầu được xuất bản trên trang web TensorFlow, bài viết này xuất hiện ở đây dưới tiêu đề mới và được cấp phép theo CC BY 4.0. Ban đầu được xuất bản trên trang web TensorFlow, bài viết này xuất hiện ở đây dưới tiêu đề mới và được cấp phép theo CC BY 4.0. TensorFlow TensorFlow

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

Cách lưu và tải các mô hình TensorFlow

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

145 Stories To Learn About Book

223 Stories To Learn About Science

72 Stories To Learn About Adam Smith

85 Stories To Learn About Travel

145 Stories To Learn About Book

223 Stories To Learn About Science

72 Stories To Learn About Adam Smith

85 Stories To Learn About Travel

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps