Content overview 
 
 
 
 
 
 
 
 设置 TensorFlow 模块 建设模块 等待创建变量 节省体重 节省功能 创建一个SavedModel 要在 TensorFlow 中进行机器学习,您可能需要定义、保存和恢复模型。 一个模型是,抽象: 
 
 
 一个函数计算在压缩器上的一些东西(前进通行) 一些可根据培训进行更新的变量 在本指南中,您将前往Keras的表面下方,看看TensorFlow模型是如何定义的,看看TensorFlow如何收集变量和模型,以及如何保存和恢复它们。 设置 import tensorflow as tf
import keras
from datetime import datetime

%load_ext tensorboard
 2023-10-18 01:21:05.536666: E tensorflow/compiler/xla/stream_executor/cuda/cuda_dnn.cc:9342] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered
2023-10-18 01:21:05.536712: E tensorflow/compiler/xla/stream_executor/cuda/cuda_fft.cc:609] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered
2023-10-18 01:21:05.536766: E tensorflow/compiler/xla/stream_executor/cuda/cuda_blas.cc:1518] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered
 TensorFlow 模块 大多数模型都是由层组成的。层是具有已知数学结构的函数,可重复使用,并具有可训练的变量。 ,是建立在同一基础类: . 阳光 tf.Module 建设模块 这是一个非常简单的例子。 它运行在一个扫描压缩器上: tf.Module class SimpleModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)
    self.a_variable = tf.Variable(5.0, name="train_me")
    self.non_trainable_variable = tf.Variable(5.0, trainable=False, name="do_not_train_me")
  def __call__(self, x):
    return self.a_variable * x + self.non_trainable_variable

simple_module = SimpleModule(name="simple")

simple_module(tf.constant(5.0))
 2023-10-18 01:21:08.181350: W tensorflow/core/common_runtime/gpu/gpu_device.cc:2211] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform.
Skipping registering GPU devices...
<tf.Tensor: shape=(), dtype=float32, numpy=30.0>
 模块和,通过扩展,层是“对象”的深度学习术语:它们有内部状态,并使用该状态的方法。 没有什么特别的关于 除非作为一个 ;你可以用你想要的任何功能召唤你的模型。 __call__ Python 可用 您可以为任何原因设置变量的可训练性,包括在精细调节过程中冻结层和变量。 
 
 注意: tf.Module 是 tf.keras.layers.Layer 和 tf.keras.Model 的基本类,所以您在这里遇到的一切也适用于 Keras. 由于历史兼容性原因,Keras 层不会从模块中收集变量,因此您的模型应该只使用模块或仅使用 Keras 层。   是两者的基本班级 和 ,所以你在这里遇到的一切也适用于Keras。由于历史兼容性原因,Keras层不会从模块中收集变量,所以你的模型应该只使用模块或只使用Keras层。 Note: tf.Module tf.keras.layers.Layer tf.keras.Model 通过分类 任何 或 对该对象的属性分配的实例会自动收集,这允许您保存和加载变量,并创建 斯。 tf.Module tf.Variable tf.Module tf.Module # All trainable variables
print("trainable variables:", simple_module.trainable_variables)
# Every variable
print("all variables:", simple_module.variables)
 trainable variables: (<tf.Variable 'train_me:0' shape=() dtype=float32, numpy=5.0>,)
all variables: (<tf.Variable 'train_me:0' shape=() dtype=float32, numpy=5.0>, <tf.Variable 'do_not_train_me:0' shape=() dtype=float32, numpy=5.0>)
 这是由模块组成的两层线性层模型的一个例子。 首先是一个密集的(线性)层: class Dense(tf.Module):
  def __init__(self, in_features, out_features, name=None):
    super().__init__(name=name)
    self.w = tf.Variable(
      tf.random.normal([in_features, out_features]), name='w')
    self.b = tf.Variable(tf.zeros([out_features]), name='b')
  def __call__(self, x):
    y = tf.matmul(x, self.w) + self.b
    return tf.nn.relu(y)
 然后是完整的模型,它制造了两个层次的实例并应用了它们: class SequentialModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)

    self.dense_1 = Dense(in_features=3, out_features=3)
    self.dense_2 = Dense(in_features=3, out_features=2)

  def __call__(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

# You have made a model!
my_model = SequentialModule(name="the_model")

# Call it, with random results
print("Model results:", my_model(tf.constant([[2.0, 2.0, 2.0]])))
 Model results: tf.Tensor([[0.       3.415034]], shape=(1, 2), dtype=float32)
 实例会自动收集,反复收集,任何 或 被分配给它的实例. 这允许您管理 使用单个模型实例,并保存和加载完整的模型。 tf.Module tf.Variable tf.Module tf.Module print("Submodules:", my_model.submodules)
 Submodules: (<__main__.Dense object at 0x7f7931aea250>, <__main__.Dense object at 0x7f77ed5b8a00>)
 for var in my_model.variables:
  print(var, "\n")
 <tf.Variable 'b:0' shape=(3,) dtype=float32, numpy=array([0., 0., 0.], dtype=float32)> 

<tf.Variable 'w:0' shape=(3, 3) dtype=float32, numpy=
array([[-2.8161757, -2.6065955,  1.9061812],
       [-0.9430401, -0.4624743, -0.4531979],
       [-1.3428234,  0.7062293,  0.7874674]], dtype=float32)> 

<tf.Variable 'b:0' shape=(2,) dtype=float32, numpy=array([0., 0.], dtype=float32)> 

<tf.Variable 'w:0' shape=(3, 2) dtype=float32, numpy=
array([[ 1.0474309 , -0.6920227 ],
       [ 1.2405277 ,  0.36411622],
       [-1.6990206 ,  0.762131  ]], dtype=float32)>
 等待创建变量 你可能已经注意到这里,你必须定义输入和输出大小为层。 变量具有已知的形状,可以分配。 w 通过将变量创建推迟到第一个调用特定输入形状的模块时,您不需要向前指定输入大小。 class FlexibleDenseModule(tf.Module):
  # Note: No need for `in_features`
  def __init__(self, out_features, name=None):
    super().__init__(name=name)
    self.is_built = False
    self.out_features = out_features

  def __call__(self, x):
    # Create variables on first call.
    if not self.is_built:
      self.w = tf.Variable(
        tf.random.normal([x.shape[-1], self.out_features]), name='w')
      self.b = tf.Variable(tf.zeros([self.out_features]), name='b')
      self.is_built = True

    y = tf.matmul(x, self.w) + self.b
    return tf.nn.relu(y)
 # Used in a module
class MySequentialModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)

    self.dense_1 = FlexibleDenseModule(out_features=3)
    self.dense_2 = FlexibleDenseModule(out_features=2)

  def __call__(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

my_model = MySequentialModule(name="the_model")
print("Model results:", my_model(tf.constant([[2.0, 2.0, 2.0]])))
 Model results: tf.Tensor([[0. 0.]], shape=(1, 2), dtype=float32)
 这种灵活性是为什么TensorFlow层往往只需要指定其输出的形状,例如在 ,而不是输入和输出大小。 tf.keras.layers.Dense 节省体重 你可以拯救一个 正如两者A 和 A . tf.Module 检查点 拯救模型 检查点只是重量(即模块及其子模块内部变量集的值): chkp_path = "my_checkpoint"
checkpoint = tf.train.Checkpoint(model=my_model)
checkpoint.write(chkp_path)
 'my_checkpoint'
 检查点由两个类型的文件组成:数据本身和元数据的索引文件. 索引文件跟踪实际保存的内容和检查点的编号,而检查点数据包含变量值及其属性搜索路径。 ls my_checkpoint*
 my_checkpoint.data-00000-of-00001  my_checkpoint.index
 您可以查看检查点内部,以确保整个变量集被保存,按包含它们的Python对象进行排序。 tf.train.list_variables(chkp_path)
 [('_CHECKPOINTABLE_OBJECT_GRAPH', []),
 ('model/dense_1/b/.ATTRIBUTES/VARIABLE_VALUE', [3]),
 ('model/dense_1/w/.ATTRIBUTES/VARIABLE_VALUE', [3, 3]),
 ('model/dense_2/b/.ATTRIBUTES/VARIABLE_VALUE', [2]),
 ('model/dense_2/w/.ATTRIBUTES/VARIABLE_VALUE', [3, 2])]
 在分布式(多机器)训练中,它们可以被撕裂,这就是为什么它们被编号(例如,‘00000-of-00001’)。 当您重新加载模型时,您会重写 Python 对象中的值。 new_model = MySequentialModule()
new_checkpoint = tf.train.Checkpoint(model=new_model)
new_checkpoint.restore("my_checkpoint")

# Should be the same result as above
new_model(tf.constant([[2.0, 2.0, 2.0]]))
 <tf.Tensor: shape=(1, 2), dtype=float32, numpy=array([[0., 0.]], dtype=float32)>
 
 
 注意:由于检查点是长期培训工作流程的核心,请参阅checkpoint.CheckpointManager是一个帮助类,使检查点管理更容易。 因为检查点是长期培训工作流程的核心 这是一个帮助类,使检查点管理更容易。 为了更多细节。 Note: tf.checkpoint.CheckpointManager 培训检查站指南 培训检查站指南 节省功能 TensorFlow 可以运行模型,而无需原始 Python 对象,如下所示: 和 ,即使您下载了从 TensorFlow Serving TensorFlow Lite TensorFlow Hub. TensorFlow 需要知道如何执行 Python 中描述的计算,但 为了做到这一点,你可以做一个 所描述的,在 . without the original code graph 图表和函数指南的介绍 此图表包含操作,或 这就是执行这个功能。 OPS 的 您可以通过添加上面的模型中定义图表 表示此代码应该作为图形运行。 @tf.function class MySequentialModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)

    self.dense_1 = Dense(in_features=3, out_features=3)
    self.dense_2 = Dense(in_features=3, out_features=2)

  @tf.function
  def __call__(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

# You have made a model with a graph!
my_model = MySequentialModule(name="the_model")
 您创建的模块工作与以前完全相同. 每个传入函数的独特签名会创建一个单独的图表。 为了细节。 图表和函数指南的介绍 print(my_model([[2.0, 2.0, 2.0]]))
print(my_model([[[2.0, 2.0, 2.0], [2.0, 2.0, 2.0]]]))
 tf.Tensor([[0.31593648 0.        ]], shape=(1, 2), dtype=float32)
tf.Tensor(
[[[0.31593648 0.        ]
  [0.31593648 0.        ]]], shape=(1, 2, 2), dtype=float32)
 您可以通过在 TensorBoard 摘要中跟踪图表来可视化图表。 # Set up logging.
stamp = datetime.now().strftime("%Y%m%d-%H%M%S")
logdir = "logs/func/%s" % stamp
writer = tf.summary.create_file_writer(logdir)

# Create a new model to get a fresh trace
# Otherwise the summary will not see the graph.
new_model = MySequentialModule()

# Bracket the function call with
# tf.summary.trace_on() and tf.summary.trace_export().
tf.summary.trace_on(graph=True)
tf.profiler.experimental.start(logdir)
# Call only one tf.function when tracing.
z = print(new_model(tf.constant([[2.0, 2.0, 2.0]])))
with writer.as_default():
  tf.summary.trace_export(
      name="my_func_trace",
      step=0,
      profiler_outdir=logdir)
 tf.Tensor([[0. 0.]], shape=(1, 2), dtype=float32)
 启动 TensorBoard 以查看结果的痕迹: #docs_infra: no_execute
%tensorboard --logdir logs/func
 创建 a SavedModel 推荐分享完全训练的模型的方法是使用 是的 它既包含一个函数集和一个重量集。 SavedModel SavedModel 您可以保存您刚刚训练的模型如下: tf.saved_model.save(my_model, "the_saved_model")
 INFO:tensorflow:Assets written to: the_saved_model/assets
 # Inspect the SavedModel in the directory
ls -l the_saved_model
 total 32
drwxr-sr-x 2 kbuilder kokoro  4096 Oct 18 01:21 assets
-rw-rw-r-- 1 kbuilder kokoro    58 Oct 18 01:21 fingerprint.pb
-rw-rw-r-- 1 kbuilder kokoro 17704 Oct 18 01:21 saved_model.pb
drwxr-sr-x 2 kbuilder kokoro  4096 Oct 18 01:21 variables
 # The variables/ directory contains a checkpoint of the variables
ls -l the_saved_model/variables
 total 8
-rw-rw-r-- 1 kbuilder kokoro 490 Oct 18 01:21 variables.data-00000-of-00001
-rw-rw-r-- 1 kbuilder kokoro 356 Oct 18 01:21 variables.index
 该 檔案是 a 描述功能性 . saved_model.pb 协议缓冲器 tf.Graph 模型和层可以从此表示中加载,而不实际创建创建类的实例,这在你没有(或想要)Python解释器的情况下是理想的,例如在规模或边缘设备上服务,或者在原始Python代码无法使用或实用的情况下。 您可以将模型加载为新对象: new_model = tf.saved_model.load("the_saved_model")
 ,由加载保存的模型创建,是没有任何类知识的内部 TensorFlow 用户对象。 . new_model SequentialModule isinstance(new_model, SequentialModule)
 False
 此新模型适用于已定义的输入签名. 您无法将更多的签名添加到这样恢复的模型中。 print(my_model([[2.0, 2.0, 2.0]]))
print(my_model([[[2.0, 2.0, 2.0], [2.0, 2.0, 2.0]]]))
 tf.Tensor([[0.31593648 0.        ]], shape=(1, 2), dtype=float32)
tf.Tensor(
[[[0.31593648 0.        ]
  [0.31593648 0.        ]]], shape=(1, 2, 2), dtype=float32)
 因此,使用 ,您可以使用 TensorFlow 存储重量和图表。 然后再加载它们。 SavedModel tf.Module 
 
 本文最初在 TensorFlow 网站上发表,此文在新标题下出现在这里,并在 CC BY 4.0 版下获得许可。 最初发表在The 本文在新标题下出现,并在 CC BY 4.0 许可证下发布。 腾讯 腾讯

該音頻是用故事的原始語言製作的！

太長; 讀書

Make resilience your competitive advantage

如何在 TensorFlow 中定义、保存和恢复模型

About Author

註釋

標籤

这篇文章刊登在

Related Stories

如何将您的工作流程提高 10 倍：17 个必备应用程序

想赢得 HackerNoon 写作比赛吗？以下是 #crypto-api 比赛获奖者的推荐

架构师指南：构建 AI/ML 数据湖参考架构

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

如何将您的工作流程提高 10 倍：17 个必备应用程序

想赢得 HackerNoon 写作比赛吗？以下是 #crypto-api 比赛获奖者的推荐

架构师指南：构建 AI/ML 数据湖参考架构

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps