Content overview 
 
 
 
 
 
 
 
 设置 TensorFlow 模块 建设模块 等待创建变量 节省体重 节省功能 创建一个SavedModel 要在 TensorFlow 中进行机器学习,您可能需要定义、保存和恢复模型。 一个模型是,抽象: 
 
 
 一个函数计算在压缩器上的一些东西(前进通行) 一些可根据培训进行更新的变量 在本指南中,您将前往Keras的表面下方,看看TensorFlow模型是如何定义的,看看TensorFlow如何收集变量和模型,以及如何保存和恢复它们。 设置 import tensorflow as tf
import keras
from datetime import datetime

%load_ext tensorboard
 2023-10-18 01:21:05.536666: E tensorflow/compiler/xla/stream_executor/cuda/cuda_dnn.cc:9342] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered
2023-10-18 01:21:05.536712: E tensorflow/compiler/xla/stream_executor/cuda/cuda_fft.cc:609] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered
2023-10-18 01:21:05.536766: E tensorflow/compiler/xla/stream_executor/cuda/cuda_blas.cc:1518] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered
 TensorFlow 模块 大多数模型都是由层组成的。层是具有已知数学结构的函数,可重复使用,并具有可训练的变量。 ,是建立在同一基础类: . 阳光 tf.Module 建设模块 这是一个非常简单的例子。 它运行在一个扫描压缩器上: tf.Module class SimpleModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)
    self.a_variable = tf.Variable(5.0, name="train_me")
    self.non_trainable_variable = tf.Variable(5.0, trainable=False, name="do_not_train_me")
  def __call__(self, x):
    return self.a_variable * x + self.non_trainable_variable

simple_module = SimpleModule(name="simple")

simple_module(tf.constant(5.0))
 2023-10-18 01:21:08.181350: W tensorflow/core/common_runtime/gpu/gpu_device.cc:2211] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform.
Skipping registering GPU devices...
<tf.Tensor: shape=(), dtype=float32, numpy=30.0>
 模块和,通过扩展,层是“对象”的深度学习术语:它们有内部状态,并使用该状态的方法。 没有什么特别的关于 除非作为一个 ;你可以用你想要的任何功能召唤你的模型。 __call__ Python 可用 您可以为任何原因设置变量的可训练性,包括在精细调节过程中冻结层和变量。 
 
 注意: tf.Module 是 tf.keras.layers.Layer 和 tf.keras.Model 的基本类,所以您在这里遇到的一切也适用于 Keras. 由于历史兼容性原因,Keras 层不会从模块中收集变量,因此您的模型应该只使用模块或仅使用 Keras 层。   是两者的基本班级 和 ,所以你在这里遇到的一切也适用于Keras。由于历史兼容性原因,Keras层不会从模块中收集变量,所以你的模型应该只使用模块或只使用Keras层。 Note: tf.Module tf.keras.layers.Layer tf.keras.Model 通过分类 任何 或 对该对象的属性分配的实例会自动收集,这允许您保存和加载变量,并创建 斯。 tf.Module tf.Variable tf.Module tf.Module # All trainable variables
print("trainable variables:", simple_module.trainable_variables)
# Every variable
print("all variables:", simple_module.variables)
 trainable variables: (<tf.Variable 'train_me:0' shape=() dtype=float32, numpy=5.0>,)
all variables: (<tf.Variable 'train_me:0' shape=() dtype=float32, numpy=5.0>, <tf.Variable 'do_not_train_me:0' shape=() dtype=float32, numpy=5.0>)
 这是由模块组成的两层线性层模型的一个例子。 首先是一个密集的(线性)层: class Dense(tf.Module):
  def __init__(self, in_features, out_features, name=None):
    super().__init__(name=name)
    self.w = tf.Variable(
      tf.random.normal([in_features, out_features]), name='w')
    self.b = tf.Variable(tf.zeros([out_features]), name='b')
  def __call__(self, x):
    y = tf.matmul(x, self.w) + self.b
    return tf.nn.relu(y)
 然后是完整的模型,它制造了两个层次的实例并应用了它们: class SequentialModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)

    self.dense_1 = Dense(in_features=3, out_features=3)
    self.dense_2 = Dense(in_features=3, out_features=2)

  def __call__(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

# You have made a model!
my_model = SequentialModule(name="the_model")

# Call it, with random results
print("Model results:", my_model(tf.constant([[2.0, 2.0, 2.0]])))
 Model results: tf.Tensor([[0.       3.415034]], shape=(1, 2), dtype=float32)
 实例会自动收集,反复收集,任何 或 被分配给它的实例. 这允许您管理 使用单个模型实例,并保存和加载完整的模型。 tf.Module tf.Variable tf.Module tf.Module print("Submodules:", my_model.submodules)
 Submodules: (<__main__.Dense object at 0x7f7931aea250>, <__main__.Dense object at 0x7f77ed5b8a00>)
 for var in my_model.variables:
  print(var, "\n")
 <tf.Variable 'b:0' shape=(3,) dtype=float32, numpy=array([0., 0., 0.], dtype=float32)> 

<tf.Variable 'w:0' shape=(3, 3) dtype=float32, numpy=
array([[-2.8161757, -2.6065955,  1.9061812],
       [-0.9430401, -0.4624743, -0.4531979],
       [-1.3428234,  0.7062293,  0.7874674]], dtype=float32)> 

<tf.Variable 'b:0' shape=(2,) dtype=float32, numpy=array([0., 0.], dtype=float32)> 

<tf.Variable 'w:0' shape=(3, 2) dtype=float32, numpy=
array([[ 1.0474309 , -0.6920227 ],
       [ 1.2405277 ,  0.36411622],
       [-1.6990206 ,  0.762131  ]], dtype=float32)>
 等待创建变量 你可能已经注意到这里,你必须定义输入和输出大小为层。 变量具有已知的形状,可以分配。 w 通过将变量创建推迟到第一个调用特定输入形状的模块时,您不需要向前指定输入大小。 class FlexibleDenseModule(tf.Module):
  # Note: No need for `in_features`
  def __init__(self, out_features, name=None):
    super().__init__(name=name)
    self.is_built = False
    self.out_features = out_features

  def __call__(self, x):
    # Create variables on first call.
    if not self.is_built:
      self.w = tf.Variable(
        tf.random.normal([x.shape[-1], self.out_features]), name='w')
      self.b = tf.Variable(tf.zeros([self.out_features]), name='b')
      self.is_built = True

    y = tf.matmul(x, self.w) + self.b
    return tf.nn.relu(y)
 # Used in a module
class MySequentialModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)

    self.dense_1 = FlexibleDenseModule(out_features=3)
    self.dense_2 = FlexibleDenseModule(out_features=2)

  def __call__(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

my_model = MySequentialModule(name="the_model")
print("Model results:", my_model(tf.constant([[2.0, 2.0, 2.0]])))
 Model results: tf.Tensor([[0. 0.]], shape=(1, 2), dtype=float32)
 这种灵活性是为什么TensorFlow层往往只需要指定其输出的形状,例如在 ,而不是输入和输出大小。 tf.keras.layers.Dense 节省体重 你可以拯救一个 正如两者A 和 A . tf.Module 检查点 拯救模型 检查点只是重量(即模块及其子模块内部变量集的值): chkp_path = "my_checkpoint"
checkpoint = tf.train.Checkpoint(model=my_model)
checkpoint.write(chkp_path)
 'my_checkpoint'
 检查点由两个类型的文件组成:数据本身和元数据的索引文件. 索引文件跟踪实际保存的内容和检查点的编号,而检查点数据包含变量值及其属性搜索路径。 ls my_checkpoint*
 my_checkpoint.data-00000-of-00001  my_checkpoint.index
 您可以查看检查点内部,以确保整个变量集被保存,按包含它们的Python对象进行排序。 tf.train.list_variables(chkp_path)
 [('_CHECKPOINTABLE_OBJECT_GRAPH', []),
 ('model/dense_1/b/.ATTRIBUTES/VARIABLE_VALUE', [3]),
 ('model/dense_1/w/.ATTRIBUTES/VARIABLE_VALUE', [3, 3]),
 ('model/dense_2/b/.ATTRIBUTES/VARIABLE_VALUE', [2]),
 ('model/dense_2/w/.ATTRIBUTES/VARIABLE_VALUE', [3, 2])]
 在分布式(多机器)训练中,它们可以被撕裂,这就是为什么它们被编号(例如,‘00000-of-00001’)。 当您重新加载模型时,您会重写 Python 对象中的值。 new_model = MySequentialModule()
new_checkpoint = tf.train.Checkpoint(model=new_model)
new_checkpoint.restore("my_checkpoint")

# Should be the same result as above
new_model(tf.constant([[2.0, 2.0, 2.0]]))
 <tf.Tensor: shape=(1, 2), dtype=float32, numpy=array([[0., 0.]], dtype=float32)>
 
 
 注意:由于检查点是长期培训工作流程的核心,请参阅checkpoint.CheckpointManager是一个帮助类,使检查点管理更容易。 因为检查点是长期培训工作流程的核心 这是一个帮助类,使检查点管理更容易。 为了更多细节。 Note: tf.checkpoint.CheckpointManager 培训检查站指南 培训检查站指南 节省功能 TensorFlow 可以运行模型,而无需原始 Python 对象,如下所示: 和 ,即使您下载了从 TensorFlow Serving TensorFlow Lite TensorFlow Hub. TensorFlow 需要知道如何执行 Python 中描述的计算,但 为了做到这一点,你可以做一个 所描述的,在 . without the original code graph 图表和函数指南的介绍 此图表包含操作,或 这就是执行这个功能。 OPS 的 您可以通过添加上面的模型中定义图表 表示此代码应该作为图形运行。 @tf.function class MySequentialModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)

    self.dense_1 = Dense(in_features=3, out_features=3)
    self.dense_2 = Dense(in_features=3, out_features=2)

  @tf.function
  def __call__(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

# You have made a model with a graph!
my_model = MySequentialModule(name="the_model")
 您创建的模块工作与以前完全相同. 每个传入函数的独特签名会创建一个单独的图表。 为了细节。 图表和函数指南的介绍 print(my_model([[2.0, 2.0, 2.0]]))
print(my_model([[[2.0, 2.0, 2.0], [2.0, 2.0, 2.0]]]))
 tf.Tensor([[0.31593648 0.        ]], shape=(1, 2), dtype=float32)
tf.Tensor(
[[[0.31593648 0.        ]
  [0.31593648 0.        ]]], shape=(1, 2, 2), dtype=float32)
 您可以通过在 TensorBoard 摘要中跟踪图表来可视化图表。 # Set up logging.
stamp = datetime.now().strftime("%Y%m%d-%H%M%S")
logdir = "logs/func/%s" % stamp
writer = tf.summary.create_file_writer(logdir)

# Create a new model to get a fresh trace
# Otherwise the summary will not see the graph.
new_model = MySequentialModule()

# Bracket the function call with
# tf.summary.trace_on() and tf.summary.trace_export().
tf.summary.trace_on(graph=True)
tf.profiler.experimental.start(logdir)
# Call only one tf.function when tracing.
z = print(new_model(tf.constant([[2.0, 2.0, 2.0]])))
with writer.as_default():
  tf.summary.trace_export(
      name="my_func_trace",
      step=0,
      profiler_outdir=logdir)
 tf.Tensor([[0. 0.]], shape=(1, 2), dtype=float32)
 启动 TensorBoard 以查看结果的痕迹: #docs_infra: no_execute
%tensorboard --logdir logs/func
 创建 a SavedModel 推荐分享完全训练的模型的方法是使用 是的 它既包含一个函数集和一个重量集。 SavedModel SavedModel 您可以保存您刚刚训练的模型如下: tf.saved_model.save(my_model, "the_saved_model")
 INFO:tensorflow:Assets written to: the_saved_model/assets
 # Inspect the SavedModel in the directory
ls -l the_saved_model
 total 32
drwxr-sr-x 2 kbuilder kokoro  4096 Oct 18 01:21 assets
-rw-rw-r-- 1 kbuilder kokoro    58 Oct 18 01:21 fingerprint.pb
-rw-rw-r-- 1 kbuilder kokoro 17704 Oct 18 01:21 saved_model.pb
drwxr-sr-x 2 kbuilder kokoro  4096 Oct 18 01:21 variables
 # The variables/ directory contains a checkpoint of the variables
ls -l the_saved_model/variables
 total 8
-rw-rw-r-- 1 kbuilder kokoro 490 Oct 18 01:21 variables.data-00000-of-00001
-rw-rw-r-- 1 kbuilder kokoro 356 Oct 18 01:21 variables.index
 该 檔案是 a 描述功能性 . saved_model.pb 协议缓冲器 tf.Graph 模型和层可以从此表示中加载,而不实际创建创建类的实例,这在你没有(或想要)Python解释器的情况下是理想的,例如在规模或边缘设备上服务,或者在原始Python代码无法使用或实用的情况下。 您可以将模型加载为新对象: new_model = tf.saved_model.load("the_saved_model")
 ,由加载保存的模型创建,是没有任何类知识的内部 TensorFlow 用户对象。 . new_model SequentialModule isinstance(new_model, SequentialModule)
 False
 此新模型适用于已定义的输入签名. 您无法将更多的签名添加到这样恢复的模型中。 print(my_model([[2.0, 2.0, 2.0]]))
print(my_model([[[2.0, 2.0, 2.0], [2.0, 2.0, 2.0]]]))
 tf.Tensor([[0.31593648 0.        ]], shape=(1, 2), dtype=float32)
tf.Tensor(
[[[0.31593648 0.        ]
  [0.31593648 0.        ]]], shape=(1, 2, 2), dtype=float32)
 因此,使用 ,您可以使用 TensorFlow 存储重量和图表。 然后再加载它们。 SavedModel tf.Module 
 
 本文最初在 TensorFlow 网站上发表,此文在新标题下出现在这里,并在 CC BY 4.0 版下获得许可。 最初发表在The 本文在新标题下出现,并在 CC BY 4.0 许可证下发布。 腾讯 腾讯

該音頻是用故事的原始語言製作的！

如何在 TensorFlow 中定义、保存和恢复模型

About Author

註釋

標籤

这篇文章刊登在

Related Stories

比特币 UTXO 模型，为独特的生态系统提供动力

使用这 18 种开发工具来提高你的工作效率 🚀🔥

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

Claude Sonnet 3.5 系统提示泄漏：法医分析

比特币 UTXO 模型，为独特的生态系统提供动力

使用这 18 种开发工具来提高你的工作效率 🚀🔥

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

Claude Sonnet 3.5 系统提示泄漏：法医分析

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps