컨텐츠 Overview 
 
 
 
 
 
 
 
 
 
 설치 tf.keras 훈련 API에서 저장 체크포인트 작성하기 수동 체크포인트 충전 기계 연기된 복원 체크포인트를 수동으로 검사 객체 추적 요약 "TensorFlow 모델을 저장"라는 문구는 일반적으로 두 가지 중 하나를 의미합니다. 
 
 
 체크포인트 또는 구원받는 모델 체크포인트는 모든 매개 변수의 정확한 값을 캡처합니다 ( 체크포인트는 모델에 의해 정의된 계산에 대한 어떠한 설명도 포함하지 않으며, 따라서 보통 저장된 매개 변수 값을 사용하는 소스 코드가 사용할 수 있을 때에만 유용합니다. tf.Variable SavedModel 형식은 모델에 의해 정의된 계산에 대한 세리화된 설명을 파라미터 값(체크포인트) 외에도 포함합니다.이 형식의 모델은 모델을 생성한 소스 코드에 독립적입니다.그러므로 TensorFlow Serving, TensorFlow Lite, TensorFlow.js 또는 다른 프로그래밍 언어(C, C++, Java, Go, Rust, C# 등 TensorFlow API)의 프로그램을 통해 배포하기에 적합합니다. 이 가이드는 작성 및 읽기 체크포인트에 대한 API를 다룹니다.This guide covers APIs for writing and reading checkpoints. 설치 import tensorflow as tf
 class Net(tf.keras.Model):
  """A simple linear model."""

  def __init__(self):
    super(Net, self).__init__()
    self.l1 = tf.keras.layers.Dense(5)

  def call(self, x):
    return self.l1(x)
 net = Net()
 저장하기 from APIs 교육 tf.keras TF 케라스 보기 The 저장 및 복원에 대한 지침서 tf.keras TensorFlow 체크포인트를 저장합니다. tf.keras.Model.save_weights net.save_weights('easy_checkpoint')
 체크포인트 작성하기 TensorFlow 모델의 지속 상태는 이들은 직접 구축할 수 있지만 종종 높은 수준의 API를 통해 만들어집니다. 또는 . tf.Variable tf.keras.layers tf.keras.Model 변수를 관리하는 가장 쉬운 방법은 Python 개체에 붙여 넣고 그 개체를 참조하는 것입니다. Subclasses of , 그리고 다음 예제는 간단한 선형 모델을 구축 한 다음 모델의 모든 변수에 대한 값을 포함하는 체크포인트를 작성합니다. tf.train.Checkpoint tf.keras.layers.Layer tf.keras.Model 모델 체크포인트를 쉽게 저장할 수 있습니다. . Model.save_weights 수동 체크포인트 설치 모든 특징을 보여주기 위해서는 , 장난감 데이터 세트 및 최적화 단계를 정의 : tf.train.Checkpoint def toy_dataset():
  inputs = tf.range(10.)[:, None]
  labels = inputs * 5. + tf.range(5.)[None, :]
  return tf.data.Dataset.from_tensor_slices(
    dict(x=inputs, y=labels)).repeat().batch(2)
 def train_step(net, example, optimizer):
  """Trains `net` on `example` using `optimizer`."""
  with tf.GradientTape() as tape:
    output = net(example['x'])
    loss = tf.reduce_mean(tf.abs(output - example['y']))
  variables = net.trainable_variables
  gradients = tape.gradient(loss, variables)
  optimizer.apply_gradients(zip(gradients, variables))
  return loss
 Checkpoint Objects 만들기 사용 A 체크포인트를 수동으로 만들려면, 체크포인트를 설정하려는 개체가 개체의 속성으로 설정됩니다.To manually create a checkpoint, where the objects you want to checkpoint are set as attributes on the object. tf.train.Checkpoint A 또한 여러 체크포인트를 관리하는 데 도움이 될 수 있습니다. tf.train.CheckpointManager opt = tf.keras.optimizers.Adam(0.1)
dataset = toy_dataset()
iterator = iter(dataset)
ckpt = tf.train.Checkpoint(step=tf.Variable(1), optimizer=opt, net=net, iterator=iterator)
manager = tf.train.CheckpointManager(ckpt, './tf_ckpts', max_to_keep=3)
 기차 및 체크 포인트 모델 다음 훈련 루프는 모델과 최적화기의 인스턴스를 생성한 다음, 그들을 하나에 모으고, 그것은 데이터의 각 배치에 대한 링크에서 훈련 단계를 호출하고 정기적으로 체크포인트를 디스크에 작성합니다.It calls the training step in a loop on each batch of data, and periodically writes checkpoints to disk. tf.train.Checkpoint def train_and_checkpoint(net, manager):
  ckpt.restore(manager.latest_checkpoint)
  if manager.latest_checkpoint:
    print("Restored from {}".format(manager.latest_checkpoint))
  else:
    print("Initializing from scratch.")

  for _ in range(50):
    example = next(iterator)
    loss = train_step(net, example, opt)
    ckpt.step.assign_add(1)
    if int(ckpt.step) % 10 == 0:
      save_path = manager.save()
      print("Saved checkpoint for step {}: {}".format(int(ckpt.step), save_path))
      print("loss {:1.2f}".format(loss.numpy()))
 train_and_checkpoint(net, manager)
 회복 및 지속적인 훈련 첫 번째 훈련주기 후에 새로운 모델과 매니저를 통과 할 수 있지만 훈련을 정확히 당신이 중단 한 곳으로 가져 가십시오. opt = tf.keras.optimizers.Adam(0.1)
net = Net()
dataset = toy_dataset()
iterator = iter(dataset)
ckpt = tf.train.Checkpoint(step=tf.Variable(1), optimizer=opt, net=net, iterator=iterator)
manager = tf.train.CheckpointManager(ckpt, './tf_ckpts', max_to_keep=3)

train_and_checkpoint(net, manager)
 이 오래된 체크포인트를 삭제합니다.오래된 체크포인트는 최신 3개의 체크포인트만 유지하도록 구성되어 있습니다. tf.train.CheckpointManager print(manager.checkpoints)  # List the three remaining checkpoints
 이 길을 가는 사람들, g , 디스크에 있는 파일이 아닙니다. 대신 그들은 디스크에 대한 프리픽스입니다. 파일과 변수 값을 포함하는 하나 이상의 데이터 파일.These prefixes are grouped together in a single 서류 ( (Where the 자신의 나라를 구하라. './tf_ckpts/ckpt-10' index checkpoint './tf_ckpts/checkpoint' CheckpointManager ls ./tf_ckpts
 충전 기계 TensorFlow는 로드되는 개체부터 시작하여 이름이 지정된 가장자리로 지정된 차트를 통과함으로써 변수와 체크 포인트된 값을 일치합니다.Edge names typically come from attribute names in objects, for example the object that is being loaded. 에서 열쇠 단어의 이름을 사용합니다, as in the 에서 . "l1" self.l1 = tf.keras.layers.Dense(5) tf.train.Checkpoint "step" tf.train.Checkpoint(step=...) 위의 예제의 의존성 차트는 이렇게 보입니다: The dependency graph from the example above looks like this: 최적화기는 빨간색이고, 정규 변수는 파란색이며, 최적화기 슬롯 변수는 오렌지색입니다.The other nodes—for example, representing the 검은색으로 되어 있습니다. tf.train.Checkpoint 슬롯 변수는 최적화기 상태의 일부이지만 특정 변수에 대해 만들어집니다.Slot variables are part of the optimizer's state, but are created for a specific variable. 위의 가장자리는 Adam optimizer가 각 변수에 대해 추적하는 움직임에 해당합니다.Slot variables are only saved in a checkpoint if the variable and the optimizer would both be saved, thus the dashed edges. 'm' 전화하기 는 A 원하는 복원에 대 한 객체 꼬리, 변경 값을 복원 하는 즉시 거기에서 일치 하는 경로가 있습니다 예를 들어 위에서 정의한 모델에서 단지 편향을 로드할 수 있습니다.For example, you can load only the bias from the model you defined above by reconstructing one path to it through the network and the layer. restore tf.train.Checkpoint Checkpoint to_restore = tf.Variable(tf.zeros([5]))
print(to_restore.numpy())  # All zeros
fake_layer = tf.train.Checkpoint(bias=to_restore)
fake_net = tf.train.Checkpoint(l1=fake_layer)
new_root = tf.train.Checkpoint(net=fake_net)
status = new_root.restore(tf.train.latest_checkpoint('./tf_ckpts/'))
print(to_restore.numpy())  # This gets the restored value.
 이 새로운 개체에 대한 의존성 차트는 위에서 썼던 더 큰 체크포인트의 훨씬 작은 하위 차트입니다.It includes only the bias and a save counter that 체크포인트 번호를 사용하십시오. tf.train.Checkpoint 상태 개체를 반환하여 선택적인 주장 사항이 있습니다.새롭게 생성된 모든 개체 재건되었으니 이렇게 통과하는 restore Checkpoint status.assert_existing_objects_matched status.assert_existing_objects_matched()
 레이어의 핵심과 최적화기의 변수를 포함하여 일치하지 않은 체크포인트에 많은 개체가 있습니다.There are many objects in the checkpoint that have not matched, including the layer's kernel and the optimizer's variables. 체크포인트와 프로그램이 정확하게 일치하는 경우에만 통과하고 여기에 예외를 던집니다. status.assert_consumed 연기된 복원 TensorFlow의 개체는 입력 모양이 사용할 수 있을 때 변수의 생성을 첫 번째 호출으로 지연시킬 수 있습니다.For example, the shape of a variable can be postponed to their first call, when input shapes are available. 레이어의 핵심은 레이어의 입력 및 출력 모양에 따라 달라지며, 따라서 콘크리터 논리로 요구되는 출력 모양은 변수를 스스로 만들기에 충분한 정보가 아닙니다. 또한 변수의 값을 읽고, 변수의 생성과 최초의 사용 사이에 복원이 이루어져야 한다. Layer Dense Layer 이 언어를 지지하기 위해서, 아직 일치하는 변수를 갖고 있지 않은 Defers를 복원합니다. tf.train.Checkpoint deferred_restore = tf.Variable(tf.zeros([1, 5]))
print(deferred_restore.numpy())  # Not restored; still zeros
fake_layer.kernel = deferred_restore
print(deferred_restore.numpy())  # Restored
 체크포인트를 수동으로 검사 돌아오는 A 체크포인트의 컨텐츠에 대한 낮은 레벨 액세스를 제공합니다. 그것은 각 변수의 키에서 각 변수의 모양 및 dtype에 대한 매핑을 포함합니다.A variable's key is its object path, as in the graphs displayed above. tf.train.load_checkpoint CheckpointReader 
 
 참고: 체크포인트에 더 높은 수준의 구조가 없습니다.그것은 변수의 경로와 값을 알고 있으며, 모델, 레이어 또는 그들이 어떻게 연결되어 있는지에 대한 개념이 없습니다. 체크포인트에 더 높은 수준의 구조가 없습니다.그것은 단지 변수의 경로와 값을 알고 있으며 개념이 없습니다. , 또는 그들이 어떻게 연결되어 있는지. Note: models layers reader = tf.train.load_checkpoint('./tf_ckpts/')
shape_from_key = reader.get_variable_to_shape_map()
dtype_from_key = reader.get_variable_to_dtype_map()

sorted(shape_from_key.keys())
 그래서 당신이 가치에 관심이 있다면 당신은 다음 코드와 함께 값을 얻을 수 있습니다 : net.l1.kernel key = 'net/l1/kernel/.ATTRIBUTES/VARIABLE_VALUE'

print("Shape:", shape_from_key[key])
print("Dtype:", dtype_from_key[key].name)
 그것은 또한 a 변수의 값을 검사할 수 있는 방법: method allowing you to inspect the value of a variable: get_tensor reader.get_tensor(key)
 객체 추적 체크포인트는 값을 저장하고 복원합니다.Save and restore the values of 개체는 모든 변수 또는 추적 가능한 개체를 그 속성 중 하나에 설정함으로써 "tracking"합니다.When executing a save, variables are collected recursively from all of the reachable tracked objects. tf.Variable 직접적인 자격 지정과 마찬가지로 , 목록 및 사전을 속성에 할당하면 그 내용을 추적합니다. self.l1 = tf.keras.layers.Dense(5) save = tf.train.Checkpoint()
save.listed = [tf.Variable(1.)]
save.listed.append(tf.Variable(2.))
save.mapped = {'one': save.listed[0]}
save.mapped['two'] = save.listed[1]
save_path = save.save('./tf_list_example')

restore = tf.train.Checkpoint()
v2 = tf.Variable(0.)
assert 0. == v2.numpy()  # Not restored yet
restore.mapped = {'two': v2}
restore.restore(save_path)
assert 2. == v2.numpy()
 목록 및 사전용 포장 개체를 발견할 수 있습니다.이 포장 개체는 기본 데이터 구조의 체크 포인트 가능한 버전입니다. 특성 기반 로딩과 마찬가지로 이러한 포장 개체는 컨테이너에 추가되면 변수의 값을 복원합니다. restore.listed = []
print(restore.listed)  # ListWrapper([])
v1 = tf.Variable(0.)
restore.listed.append(v1)  # Restores v1, from restore() in the previous cell
assert 1. == v1.numpy()
 추적 가능한 물체는 포함 , 그리고 그들의 서브 클래스(e.g. 그리고 , 그리고 파이썬 컨테이너를 인정 : tf.train.Checkpoint tf.Module keras.layers.Layer keras.Model 
 
 
 
 dict (and collections.OrderedDict)에 대한 리뷰 보기 리스트 Tuple (and collections.namedtuple, typing.NamedTuple) 다른 컨테이너 유형은 포함하여 : not supported 
 
 
 상품명 : DefaultDict 세트 다른 모든 Python 객체는 포함하여 : ignored 
 
 
 
 인트 String 플로어 요약 TensorFlow 개체는 그들이 사용하는 변수의 값을 저장하고 복원하는 쉬운 자동 메커니즘을 제공합니다. 
 
 원래 TensorFlow 웹사이트에 출판된 이 문서는 새로운 제목 아래에 나타나며 CC BY 4.0에 따라 라이선스가 있습니다. 원래 TensorFlow 웹사이트에 출판된 이 문서는 새로운 제목 아래에 나타나며 CC BY 4.0에 따라 라이선스가 있습니다. 센서플로우 센서플로우

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

이 오디오는 이야기의 원래 언어로 제작되었습니다!

TensorFlow 모델을 저장 및 로드하는 방법

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

이 18가지 개발자 도구로 생산성을 높이세요 🚀🔥

디지털 유목민 들어보기: 태국의 새로운 DTV 비자에 대해 알아야 할 사항

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

작업 흐름을 10배 향상하는 방법: 17가지 필수 앱

이 18가지 개발자 도구로 생산성을 높이세요 🚀🔥

디지털 유목민 들어보기: 태국의 새로운 DTV 비자에 대해 알아야 할 사항

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

작업 흐름을 10배 향상하는 방법: 17가지 필수 앱

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps