コンテンツ概要 
 
 
 
 
 
 
 
 
 
 セットアップ tf.keras トレーニング API からの保存 チェックポイントの書き方 マニュアルチェックポイント ロードメカニズム 延期修復 チェックポイントの手動検査 物体追跡 概要 「TensorFlow モデルを保存する」という用語は、通常、以下の 2 つのことの 1 つを意味します。 
 
 
 チェックポイント、または 保存モデル チェックポイントは、すべてのパラメータの正確な値をキャプチャします( チェックポイントは、モデルによって定義された計算のいかなる記述も含まないため、保存されたパラメーター値を使用するソースコードが利用可能な場合にのみ有用である。 tf.Variable SavedModel形式には、パラメーター値(チェックポイント)に加えて、モデルによって定義された計算の連続的な説明が含まれています。この形式のモデルは、モデルを作成したソースコードとは独立しています。それゆえ、TensorFlow Serving、TensorFlow Lite、TensorFlow.js、または他のプログラミング言語(C、C++、Java、Go、Rust、C#などのTensorFlow API)のプログラムを介して展開するのに適しています。 このガイドは、チェックポイントの書き込みと読み込みのためのAPIをカバーしています。 セットアップ import tensorflow as tf
 class Net(tf.keras.Model):
  """A simple linear model."""

  def __init__(self):
    super(Net, self).__init__()
    self.l1 = tf.keras.layers.Dense(5)

  def call(self, x):
    return self.l1(x)
 net = Net()
 節約から APIsトレーニング TF・ケラス TF・ケラス 見る The 保存と復元のためのガイド tf.keras TensorFlow チェックポイントを保存します。 tf.keras.Model.save_weights net.save_weights('easy_checkpoint')
 チェックポイントの書き方 TensorFlow モデルの永続状態は、 これらは直接構築することができますが、しばしば高レベルのAPIを介して作成されます。 または . tf.Variable tf.keras.layers tf.keras.Model 変数を管理する最も簡単な方法は、それらをPythonオブジェクトに付加し、それらのオブジェクトを参照することです。 サブクラス で、 そして、 次の例では、シンプルな線形モデルを構築し、モデルのすべての変数の値を含むチェックポイントを書きます。 tf.train.Checkpoint tf.keras.layers.Layer tf.keras.Model モデルチェックポイントを簡単に保存できます。 . Model.save_weights マニュアルチェックポイント セットアップ すべての特徴を示すために、 ゲームデータセットと最適化ステップを定義する: tf.train.Checkpoint def toy_dataset():
  inputs = tf.range(10.)[:, None]
  labels = inputs * 5. + tf.range(5.)[None, :]
  return tf.data.Dataset.from_tensor_slices(
    dict(x=inputs, y=labels)).repeat().batch(2)
 def train_step(net, example, optimizer):
  """Trains `net` on `example` using `optimizer`."""
  with tf.GradientTape() as tape:
    output = net(example['x'])
    loss = tf.reduce_mean(tf.abs(output - example['y']))
  variables = net.trainable_variables
  gradients = tape.gradient(loss, variables)
  optimizer.apply_gradients(zip(gradients, variables))
  return loss
 チェックポイントオブジェクトの作成 使用 a オブジェクトは、チェックポイントに設定するオブジェクトがオブジェクトの属性として設定されるチェックポイントを手動で作成します。 tf.train.Checkpoint A 複数のチェックポイントの管理にも役立ちます。 tf.train.CheckpointManager opt = tf.keras.optimizers.Adam(0.1)
dataset = toy_dataset()
iterator = iter(dataset)
ckpt = tf.train.Checkpoint(step=tf.Variable(1), optimizer=opt, net=net, iterator=iterator)
manager = tf.train.CheckpointManager(ckpt, './tf_ckpts', max_to_keep=3)
 電車とチェックポイント モデル 次のトレーニングループは、モデルと最適化プログラムのインスタンスを作成し、それらを 1 つに集めます。 Object. It calls the training step in a loop on each batch of data, and periodically writes checkpoints to disk. それは、データの各バッチのループでトレーニングステップを呼び出し、定期的にチェックポイントをディスクに書きます。 tf.train.Checkpoint def train_and_checkpoint(net, manager):
  ckpt.restore(manager.latest_checkpoint)
  if manager.latest_checkpoint:
    print("Restored from {}".format(manager.latest_checkpoint))
  else:
    print("Initializing from scratch.")

  for _ in range(50):
    example = next(iterator)
    loss = train_step(net, example, opt)
    ckpt.step.assign_add(1)
    if int(ckpt.step) % 10 == 0:
      save_path = manager.save()
      print("Saved checkpoint for step {}: {}".format(int(ckpt.step), save_path))
      print("loss {:1.2f}".format(loss.numpy()))
 train_and_checkpoint(net, manager)
 修復・訓練継続 最初のトレーニングサイクル後、あなたは新しいモデルとマネージャーを渡すことができますが、あなたが停止した場所に正確にトレーニングを取ります: opt = tf.keras.optimizers.Adam(0.1)
net = Net()
dataset = toy_dataset()
iterator = iter(dataset)
ckpt = tf.train.Checkpoint(step=tf.Variable(1), optimizer=opt, net=net, iterator=iterator)
manager = tf.train.CheckpointManager(ckpt, './tf_ckpts', max_to_keep=3)

train_and_checkpoint(net, manager)
 THE オブジェクトは、古いチェックポイントを削除します。上に、最新の3つのチェックポイントのみを保持するように設定されています。 tf.train.CheckpointManager print(manager.checkpoints)  # List the three remaining checkpoints
 この道のりは、g , are not files on disk. Instead they are prefixes for a ファイルと、変数値を含む 1 つまたは複数のデータファイル これらのプレフィックスは 1 つにグループ化されます。 ファイル( (Where the 国を救う。 './tf_ckpts/ckpt-10' index checkpoint './tf_ckpts/checkpoint' CheckpointManager ls ./tf_ckpts
 ロードメカニズム TensorFlow は、読み込まれているオブジェクトから始めて、命名されたエッジを持つ指向グラフを横断することによって、変数とチェックポイントされた値に匹敵します。 イン で。 キーワードの名称を用いて、例えば、 イン . "l1" self.l1 = tf.keras.layers.Dense(5) tf.train.Checkpoint "step" tf.train.Checkpoint(step=...) 上の例からの依存度グラフは、以下のようになります。 最適化は赤色で、正規変数は青色で、最適化スロット変数はオレンジ色です。 ブラックにあります。 tf.train.Checkpoint スロット変数は、最適化器の状態の一部ですが、特定の変数のために作成されます。 上のエッジは、アダムの最適化者がそれぞれの変数を追跡するペースに対応します. Slot variables are only saved in a checkpoint if the variable and the optimizer would both be saved, thus the dashed edges. スロット変数は、変数と最適化器の両方が保存される場合にのみ、チェックポイントに保存されます。 'm' 呼ぶ Aさん オブジェクトは、要求された復元を列にし、変更値を復元すると、当該パスから一致するパスが表示されるようになります。 たとえば、上記で定義したモデルからの偏見だけをロードして、ネットワークとレイヤーを通じて1つのパスを再構築できます。 restore tf.train.Checkpoint Checkpoint to_restore = tf.Variable(tf.zeros([5]))
print(to_restore.numpy())  # All zeros
fake_layer = tf.train.Checkpoint(bias=to_restore)
fake_net = tf.train.Checkpoint(l1=fake_layer)
new_root = tf.train.Checkpoint(net=fake_net)
status = new_root.restore(tf.train.latest_checkpoint('./tf_ckpts/'))
print(to_restore.numpy())  # This gets the restored value.
 これらの新しいオブジェクトの依存グラフは、上に書いたより大きなチェックポイントのより小さいサブグラフです。 チェックポイントを数えてみましょう。 tf.train.Checkpoint ステータスオブジェクトを返しますが、オプションが付いているオブジェクトです。 復元されたので、 パス restore Checkpoint status.assert_existing_objects_matched status.assert_existing_objects_matched()
 レイヤーのカーネルや最適化プロセッサの変数を含む、一致しないチェックポイントには多くのオブジェクトがあります。 チェックポイントとプログラムが正確に一致する場合にのみ通過し、ここで例外を投げます。 status.assert_consumed 延期修復 TensorFlow のオブジェクトは、入力形状が利用可能な場合に、変数の作成を最初の呼び出しに延期する場合があります。 layer's kernel depends on both the layer's input and output shapes, and so the output shape required as a constructor argument is not sufficient information to create the variable on its own. したがって、constructor argument として必要な出力形状は、変数を単独で作成するのに十分な情報ではありません。 また、変数の値を読み取ると、変数の作成と最初の使用の間で復元が起こらなければならない。 Layer Dense Layer この言葉を応援するために、 まだ一致する変数を持っていないデファーを復元します。 tf.train.Checkpoint deferred_restore = tf.Variable(tf.zeros([1, 5]))
print(deferred_restore.numpy())  # Not restored; still zeros
fake_layer.kernel = deferred_restore
print(deferred_restore.numpy())  # Restored
 チェックポイントの手動検査 戻るA チェックポイントのコンテンツへの低レベルのアクセスを提供します。 それは、各変数のキーから、チェックポイント内の各変数の形状およびdtypeへのマッピングを含みます。 tf.train.load_checkpoint CheckpointReader 
 
 注: チェックポイントに上位レベルの構造はありません. It only knows the paths and values for the variables, and has no concept of models, layers or how they are connected. それは変数のパスや値を知っており、モデル、レイヤー、またはそれらがどのように接続されているかという概念を持っていません。 チェックポイントには上位レベルの構造はありません. It only knows's the paths and values for the variables, and has no concept of で、 あるいは、どのようにつながっているか。 Note: models layers reader = tf.train.load_checkpoint('./tf_ckpts/')
shape_from_key = reader.get_variable_to_shape_map()
dtype_from_key = reader.get_variable_to_dtype_map()

sorted(shape_from_key.keys())
 だから、もしあなたが価値に興味があるなら、 以下コードで値を取得できます。 net.l1.kernel key = 'net/l1/kernel/.ATTRIBUTES/VARIABLE_VALUE'

print("Shape:", shape_from_key[key])
print("Dtype:", dtype_from_key[key].name)
 それはまた、A 変数の値をチェックする方法: get_tensor reader.get_tensor(key)
 物体追跡 チェックポイントは、値を保存し、復元します。 objects by "tracking" any variable or traceable object set in one of its attributes. When executing a save, variables are collected recursively from all of the reachable tracked objects. 保存を実行するとき、変数はすべての追跡可能なオブジェクトから回復的に収集されます。 tf.Variable たとえば、直接属性の割り当てとして、 属性にリストや辞書を割り当てると、そのコンテンツを追跡します。 self.l1 = tf.keras.layers.Dense(5) save = tf.train.Checkpoint()
save.listed = [tf.Variable(1.)]
save.listed.append(tf.Variable(2.))
save.mapped = {'one': save.listed[0]}
save.mapped['two'] = save.listed[1]
save_path = save.save('./tf_list_example')

restore = tf.train.Checkpoint()
v2 = tf.Variable(0.)
assert 0. == v2.numpy()  # Not restored yet
restore.mapped = {'two': v2}
restore.restore(save_path)
assert 2. == v2.numpy()
 リストや辞書のための包装オブジェクトに気づく場合があります これらの包装は、潜在的なデータ構造のチェックポイント可能なバージョンです。 属性ベースのロードと同様に、これらの包装は、容器に追加されたときに変数の値を復元します。 restore.listed = []
print(restore.listed)  # ListWrapper([])
v1 = tf.Variable(0.)
restore.listed.append(v1)  # Restores v1, from restore() in the previous cell
assert 1. == v1.numpy()
 追跡可能な物体は、 で、 その他のサブクラス(e.g. そして )と認識されたPythonコンテナ: tf.train.Checkpoint tf.Module keras.layers.Layer keras.Model 
 
 
 
 dict (and collections.OrderedDict) コレクション リスト tuple (and collections.namedtuple, typing.NamedTuple) 他のコンテナタイプは を含む: not supported 
 
 
 カテゴリ:DefaultDict セット Python オブジェクトはすべて を含む: ignored 
 
 
 
 int String フロート 概要 TensorFlow オブジェクトは、使用する変数の値を保存し、復元するための簡単な自動メカニズムを提供します。 
 
 最初はTensorFlowのウェブサイトに掲載され、この記事はここに新しいタイトルの下に表示され、CC BY 4.0でライセンスを受けています。 最初はTensorFlowのウェブサイトに掲載され、この記事はここに新しいタイトルの下に表示され、CC BY 4.0でライセンスを受けています。 TensorFlowについて TensorFlowについて

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

このオーディオは、ストーリーの元の言語で制作されています。

TensorFlow モデルを保存およびロードする方法

About Author

コメント

ラベル

この記事は

Related Stories

暗号通貨の成長: 効果的なユーザーペルソナの作成

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

暗号通貨の成長: 効果的なユーザーペルソナの作成

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps