Content overview 
 
 
 
 
 
 
 
 セットアップ TensorFlow モジュール 建設モジュール 変数を作成するのを待つ 体重節約 節約機能 SavedModelの作成 TensorFlow で機械学習を行うには、モデルを定義、保存、および復元する必要があります。 モデルは、抽象的に: 
 
 
 Tensors で何かを計算する関数 (a forward pass) トレーニングに応じて更新できるいくつかの変数 このガイドでは、TensorFlow モデルがどのように定義されているかを見るために Keras の表面の下に移動します. This looks at how TensorFlow collects variables and models, as well as how they are saved and restored. セットアップ import tensorflow as tf
import keras
from datetime import datetime

%load_ext tensorboard
 2023-10-18 01:21:05.536666: E tensorflow/compiler/xla/stream_executor/cuda/cuda_dnn.cc:9342] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered
2023-10-18 01:21:05.536712: E tensorflow/compiler/xla/stream_executor/cuda/cuda_fft.cc:609] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered
2023-10-18 01:21:05.536766: E tensorflow/compiler/xla/stream_executor/cuda/cuda_blas.cc:1518] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered
 TensorFlow モジュール ほとんどのモデルはレイヤーで構成されています。レイヤーは、再利用可能でトレーニング可能な変数を持つ既知の数学構造を持つ機能です。 , は、同じ基礎クラスに構築されています: . ソニー tf.Module 建設モジュール 以下は、非常にシンプルな例です。 scalar tensor で動作する: tf.Module class SimpleModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)
    self.a_variable = tf.Variable(5.0, name="train_me")
    self.non_trainable_variable = tf.Variable(5.0, trainable=False, name="do_not_train_me")
  def __call__(self, x):
    return self.a_variable * x + self.non_trainable_variable

simple_module = SimpleModule(name="simple")

simple_module(tf.constant(5.0))
 2023-10-18 01:21:08.181350: W tensorflow/core/common_runtime/gpu/gpu_device.cc:2211] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform.
Skipping registering GPU devices...
<tf.Tensor: shape=(), dtype=float32, numpy=30.0>
 Modules and, by extension, layers are deep-learning terminology for "objects": they have internal state, and methods that use that state. モジュールと、拡張的に、レイヤーは「オブジェクト」の深層学習用語である。 特別なことは何もないこと まるでAとして振る舞う以外に、 ; あなたは、あなたが望むすべての機能であなたのモデルを呼び出すことができます。 __call__ Python 呼び出し 何らかの理由で変数のトレーニング能力をオンとオフに設定することもできます、フィンタリング中に層や変数を凍結することも含まれます。 
 
 注: tf.Module は tf.keras.layers.Layer と tf.keras.Model の両方のベースクラスなので、ここで出会うすべてのものは Keras にも適用されます。歴史的互換性の理由から、Keras 層はモジュールから変数を収集しませんので、あなたのモデルはモジュールのみまたは Keras 層のみを使用する必要があります。   両方ともベースクラスです。 そして 歴史的互換性の理由のために、Keras レイヤーはモジュールから変数を収集しませんので、あなたのモデルはモジュールのみまたは Keras レイヤーのみを使用する必要があります。 Note: tf.Module tf.keras.layers.Layer tf.keras.Model サブクラス なんでも または このオブジェクトの属性に割り当てられたインスタンスは自動的に収集されます. This allows you to save and load variables, and also create collections of Sさん tf.Module tf.Variable tf.Module tf.Module # All trainable variables
print("trainable variables:", simple_module.trainable_variables)
# Every variable
print("all variables:", simple_module.variables)
 trainable variables: (<tf.Variable 'train_me:0' shape=() dtype=float32, numpy=5.0>,)
all variables: (<tf.Variable 'train_me:0' shape=() dtype=float32, numpy=5.0>, <tf.Variable 'do_not_train_me:0' shape=() dtype=float32, numpy=5.0>)
 これは、モジュールから構成された2層の線形層モデルの例です。 まずは、直線層(Dense Layer)です。 class Dense(tf.Module):
  def __init__(self, in_features, out_features, name=None):
    super().__init__(name=name)
    self.w = tf.Variable(
      tf.random.normal([in_features, out_features]), name='w')
    self.b = tf.Variable(tf.zeros([out_features]), name='b')
  def __call__(self, x):
    y = tf.matmul(x, self.w) + self.b
    return tf.nn.relu(y)
 そして次に、2 つの層のインスタンスを作成し、それらを適用する完全なモデルです。 class SequentialModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)

    self.dense_1 = Dense(in_features=3, out_features=3)
    self.dense_2 = Dense(in_features=3, out_features=2)

  def __call__(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

# You have made a model!
my_model = SequentialModule(name="the_model")

# Call it, with random results
print("Model results:", my_model(tf.constant([[2.0, 2.0, 2.0]])))
 Model results: tf.Tensor([[0.       3.415034]], shape=(1, 2), dtype=float32)
 インスタンスは自動的に収集し、再発的に、あらゆる または これにより、コレクションのコレクションを管理できます。 単一のモデルインスタンスを使用して、全体のモデルを保存してロードします。 tf.Module tf.Variable tf.Module tf.Module print("Submodules:", my_model.submodules)
 Submodules: (<__main__.Dense object at 0x7f7931aea250>, <__main__.Dense object at 0x7f77ed5b8a00>)
 for var in my_model.variables:
  print(var, "\n")
 <tf.Variable 'b:0' shape=(3,) dtype=float32, numpy=array([0., 0., 0.], dtype=float32)> 

<tf.Variable 'w:0' shape=(3, 3) dtype=float32, numpy=
array([[-2.8161757, -2.6065955,  1.9061812],
       [-0.9430401, -0.4624743, -0.4531979],
       [-1.3428234,  0.7062293,  0.7874674]], dtype=float32)> 

<tf.Variable 'b:0' shape=(2,) dtype=float32, numpy=array([0., 0.], dtype=float32)> 

<tf.Variable 'w:0' shape=(3, 2) dtype=float32, numpy=
array([[ 1.0474309 , -0.6920227 ],
       [ 1.2405277 ,  0.36411622],
       [-1.6990206 ,  0.762131  ]], dtype=float32)>
 変数を作成するのを待つ あなたはここで、あなたがレイヤーの入力と出力の両方のサイズを定義しなければならないことに気づいたかもしれません。 変数は既知の形を持っており、割り当てられる。 w 特定の入力形状でモジュールを最初に呼び出したときに変数作成を延期することにより、入力サイズを前面に指定する必要はありません。 class FlexibleDenseModule(tf.Module):
  # Note: No need for `in_features`
  def __init__(self, out_features, name=None):
    super().__init__(name=name)
    self.is_built = False
    self.out_features = out_features

  def __call__(self, x):
    # Create variables on first call.
    if not self.is_built:
      self.w = tf.Variable(
        tf.random.normal([x.shape[-1], self.out_features]), name='w')
      self.b = tf.Variable(tf.zeros([self.out_features]), name='b')
      self.is_built = True

    y = tf.matmul(x, self.w) + self.b
    return tf.nn.relu(y)
 # Used in a module
class MySequentialModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)

    self.dense_1 = FlexibleDenseModule(out_features=3)
    self.dense_2 = FlexibleDenseModule(out_features=2)

  def __call__(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

my_model = MySequentialModule(name="the_model")
print("Model results:", my_model(tf.constant([[2.0, 2.0, 2.0]])))
 Model results: tf.Tensor([[0. 0.]], shape=(1, 2), dtype=float32)
 この柔軟性は、TensorFlow レイヤーがしばしば出力の形を指定する必要がある理由です。 入力と出力の両方ではなく、 tf.keras.layers.Dense 体重節約 あなたはAを救うことができます 両方A そしてA . tf.Module チェックポイント 保存モデル Checkpoints are just the weights (that is, the values of the set of variables inside the module and its submodules): チェックポイントは単に重量(つまり、モジュールおよびそのサブモジュール内の変数のセットの値)です。 chkp_path = "my_checkpoint"
checkpoint = tf.train.Checkpoint(model=my_model)
checkpoint.write(chkp_path)
 'my_checkpoint'
 チェックポイントは、データそのものとメタデータのインデックスファイルの2種類から構成されています.The index file keeps track of what is actually saved and the numbering of checkpoints, while the checkpoint data contains the variable values and their attribute lookup paths. インデックスファイルは、実際に保存されているものとチェックポイントの番号を追跡します。 ls my_checkpoint*
 my_checkpoint.data-00000-of-00001  my_checkpoint.index
 チェックポイントの内部を覗いて、変数の全体のコレクションが保存され、それらを含むPythonオブジェクトによって分類されることを確認できます。 tf.train.list_variables(chkp_path)
 [('_CHECKPOINTABLE_OBJECT_GRAPH', []),
 ('model/dense_1/b/.ATTRIBUTES/VARIABLE_VALUE', [3]),
 ('model/dense_1/w/.ATTRIBUTES/VARIABLE_VALUE', [3, 3]),
 ('model/dense_2/b/.ATTRIBUTES/VARIABLE_VALUE', [2]),
 ('model/dense_2/w/.ATTRIBUTES/VARIABLE_VALUE', [3, 2])]
 分散式(マルチマシン)トレーニングでは、それらが分割されることができ、そのため番号化されている(例えば「00000-of-00001」)。 モデルを再ロードすると、Python オブジェクトの値を書き込みます。 new_model = MySequentialModule()
new_checkpoint = tf.train.Checkpoint(model=new_model)
new_checkpoint.restore("my_checkpoint")

# Should be the same result as above
new_model(tf.constant([[2.0, 2.0, 2.0]]))
 <tf.Tensor: shape=(1, 2), dtype=float32, numpy=array([[0., 0.]], dtype=float32)>
 
 
 注: チェックポイントは長期的なトレーニングワークフローの中心であるため、チェックポイント マネージャーは、チェックポイントの管理をより容易にするヘルパークラスです。 注: チェックポイントは長期的なトレーニングワークフローの中心であるため、チェックポイント マネージャーは、チェックポイントの管理をより容易にするヘルパークラスです。 トレーニングチェックポイントガイド 節約機能 TensorFlow は、オリジナル Python オブジェクトなしでモデルを実行できます。 そして , even when you download a trained model from トレーニングモデルをダウンロードする場合 TensorFlow Serving TensorFlow Lite TensorFlow Hub. TensorFlow は Python で説明された計算をどのように行うかを知る必要がありますが、 これを行うには、あなたはA で描かれているもの。 . without the original code graph グラフと関数ガイドの紹介 このグラフには操作が含まれているか、または それが機能を実行する。 OPS You can define a graph in the model above by adding the このコードがグラフとして実行されることを示すデコレータ。 @tf.function class MySequentialModule(tf.Module):
  def __init__(self, name=None):
    super().__init__(name=name)

    self.dense_1 = Dense(in_features=3, out_features=3)
    self.dense_2 = Dense(in_features=3, out_features=2)

  @tf.function
  def __call__(self, x):
    x = self.dense_1(x)
    return self.dense_2(x)

# You have made a model with a graph!
my_model = MySequentialModule(name="the_model")
 あなたが作成したモジュールは以前と同じように動作します. 関数に転送された各ユニークな署名は別々のグラフを作成します. Check the 詳細について グラフと関数ガイドの紹介 print(my_model([[2.0, 2.0, 2.0]]))
print(my_model([[[2.0, 2.0, 2.0], [2.0, 2.0, 2.0]]]))
 tf.Tensor([[0.31593648 0.        ]], shape=(1, 2), dtype=float32)
tf.Tensor(
[[[0.31593648 0.        ]
  [0.31593648 0.        ]]], shape=(1, 2, 2), dtype=float32)
 グラフをTensorBoardの概要で追跡することで視覚化できます。 # Set up logging.
stamp = datetime.now().strftime("%Y%m%d-%H%M%S")
logdir = "logs/func/%s" % stamp
writer = tf.summary.create_file_writer(logdir)

# Create a new model to get a fresh trace
# Otherwise the summary will not see the graph.
new_model = MySequentialModule()

# Bracket the function call with
# tf.summary.trace_on() and tf.summary.trace_export().
tf.summary.trace_on(graph=True)
tf.profiler.experimental.start(logdir)
# Call only one tf.function when tracing.
z = print(new_model(tf.constant([[2.0, 2.0, 2.0]])))
with writer.as_default():
  tf.summary.trace_export(
      name="my_func_trace",
      step=0,
      profiler_outdir=logdir)
 tf.Tensor([[0. 0.]], shape=(1, 2), dtype=float32)
 TensorBoard を起動して、結果を表示します: #docs_infra: no_execute
%tensorboard --logdir logs/func
 創るA SavedModel 完全に訓練されたモデルを共有するための推奨方法は、 で。 機能のコレクションと重量のコレクションを含む。 SavedModel SavedModel 次のように訓練したモデルを保存できます。 tf.saved_model.save(my_model, "the_saved_model")
 INFO:tensorflow:Assets written to: the_saved_model/assets
 # Inspect the SavedModel in the directory
ls -l the_saved_model
 total 32
drwxr-sr-x 2 kbuilder kokoro  4096 Oct 18 01:21 assets
-rw-rw-r-- 1 kbuilder kokoro    58 Oct 18 01:21 fingerprint.pb
-rw-rw-r-- 1 kbuilder kokoro 17704 Oct 18 01:21 saved_model.pb
drwxr-sr-x 2 kbuilder kokoro  4096 Oct 18 01:21 variables
 # The variables/ directory contains a checkpoint of the variables
ls -l the_saved_model/variables
 total 8
-rw-rw-r-- 1 kbuilder kokoro 490 Oct 18 01:21 variables.data-00000-of-00001
-rw-rw-r-- 1 kbuilder kokoro 356 Oct 18 01:21 variables.index
 THE ファイルはA 機能を説明する . saved_model.pb プロトコルバッファ tf.Graph モデルやレイヤーは、実際に作成したクラスのインスタンスを作成することなく、この表示から読み込むことができます. This is desired in situations where you don't have (or want) a Python interpreter, such as serving at scale or on an edge device, or in situations where the original Python code is not available or practical to use. あなたがPythonの通訳を持っていない場合(または望む場合)、例えば、スケールやエッジデバイスでサービスする場合、またはオリジナルPythonコードが利用可能でない場合。 モデルを新しいオブジェクトとしてロードできます: new_model = tf.saved_model.load("the_saved_model")
 , created from loading a saved model, is an internal TensorFlow user object without any of the class knowledge. It is not of type . new_model SequentialModule isinstance(new_model, SequentialModule)
 False
 この新しいモデルは、既に定義済みの入力署名で動作します. You can't add more signatures to a model restored like this. このように復元されたモデルには、これ以上の署名を追加することはできません。 print(my_model([[2.0, 2.0, 2.0]]))
print(my_model([[[2.0, 2.0, 2.0], [2.0, 2.0, 2.0]]]))
 tf.Tensor([[0.31593648 0.        ]], shape=(1, 2), dtype=float32)
tf.Tensor(
[[[0.31593648 0.        ]
  [0.31593648 0.        ]]], shape=(1, 2, 2), dtype=float32)
 したがって、使用 , you are able to save TensorFlow weights and graphs using で TensorFlowの重量とグラフを保存できます。 その後、再び充電します。 SavedModel tf.Module 
 
 最初はTensorFlowのウェブサイトに掲載され、この記事はここに新しいタイトルの下に表示され、CC BY 4.0でライセンスを受けています。 オリジナルに掲載されたThe この記事は新しいタイトルの下に現れ、CC BY 4.0 でライセンスを受けています。 TensorFlowについて TensorFlowについて

このオーディオは、ストーリーの元の言語で制作されています。

TensorFlowでモデルを定義、保存、および復元する方法

About Author

コメント

ラベル

この記事は

Related Stories

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps