Obsahový přehled 
 
 
 
 
 
 
 
 
 
 Setup Úspora z tf.keras školení API Psaní kontrolních bodů manuální kontroly Nabíjecí mechanika Odložené restaurace Manuální kontrola kontrolních bodů Sledování objektů shrnutí Výraz "Uložení modelu TensorFlow" obvykle znamená jednu ze dvou věcí: 
 
 
 kontrolních bodů nebo Záchranný model Kontrolní body zachycují přesnou hodnotu všech parametrů ( Kontrolní body neobsahují žádný popis výpočtu definovaného modelem a jsou tedy obvykle užitečné pouze tehdy, když je k dispozici zdrojový kód, který bude používat uložené hodnoty parametrů. tf.Variable Formát SavedModel na druhé straně obsahuje serializovaný popis výpočtu definovaného modelem kromě hodnot parametrů (checkpoint). Modely v tomto formátu jsou nezávislé na zdrojovém kódu, který model vytvořil. Jsou tedy vhodné pro nasazení prostřednictvím TensorFlow Serving, TensorFlow Lite, TensorFlow.js, nebo programy v jiných programovacích jazycích (C, C++, Java, Go, Rust, C# atd. TensorFlow API). Tato příručka pokrývá rozhraní API pro psaní a čtení kontrolních bodů. Setup import tensorflow as tf
 class Net(tf.keras.Model):
  """A simple linear model."""

  def __init__(self):
    super(Net, self).__init__()
    self.l1 = tf.keras.layers.Dense(5)

  def call(self, x):
    return self.l1(x)
 net = Net()
 Ušetřete od Výcvik APIs Tf. křivky Tf. křivky Podívejte se Návod na úsporu a obnovu. tf.keras Uložení kontrolního bodu TensorFlow. tf.keras.Model.save_weights net.save_weights('easy_checkpoint')
 Psaní kontrolních bodů Trvalý stav modelu TensorFlow je uložen v Tyto objekty lze vytvořit přímo, ale často jsou vytvořeny prostřednictvím rozhraní API na vysoké úrovni, jako jsou nebo . tf.Variable tf.keras.layers tf.keras.Model Nejjednodušší způsob, jak spravovat proměnné, je připojit je k objektům Pythonu a poté tyto objekty odkazovat. Podtřídy z , , , a Následující příklad konstruuje jednoduchý lineární model a pak píše kontrolní body, které obsahují hodnoty pro všechny proměnné modelu. tf.train.Checkpoint tf.keras.layers.Layer tf.keras.Model Můžete snadno uložit modelový kontrolní bod s . Model.save_weights manuální kontroly Setup Pomáhá ukázat všechny charakteristiky , definovat datový soubor hračky a krok optimalizace: tf.train.Checkpoint def toy_dataset():
  inputs = tf.range(10.)[:, None]
  labels = inputs * 5. + tf.range(5.)[None, :]
  return tf.data.Dataset.from_tensor_slices(
    dict(x=inputs, y=labels)).repeat().batch(2)
 def train_step(net, example, optimizer):
  """Trains `net` on `example` using `optimizer`."""
  with tf.GradientTape() as tape:
    output = net(example['x'])
    loss = tf.reduce_mean(tf.abs(output - example['y']))
  variables = net.trainable_variables
  gradients = tape.gradient(loss, variables)
  optimizer.apply_gradients(zip(gradients, variables))
  return loss
 Vytvoření kontrolních bodů Použijte A objekt manuálně vytvořit kontrolní bod, kde jsou objekty, které chcete kontrolní bod jsou nastaveny jako atributy na objektu. tf.train.Checkpoint a Může být také užitečné pro správu více kontrolních bodů. tf.train.CheckpointManager opt = tf.keras.optimizers.Adam(0.1)
dataset = toy_dataset()
iterator = iter(dataset)
ckpt = tf.train.Checkpoint(step=tf.Variable(1), optimizer=opt, net=net, iterator=iterator)
manager = tf.train.CheckpointManager(ckpt, './tf_ckpts', max_to_keep=3)
 Vlak a kontrolní bod modelu Následující tréninkový kruh vytváří instanci modelu a optimalizátoru a pak je shromažďuje do Objekt Volá tréninkový krok v kruhu na každou dávku dat a pravidelně píše kontrolní body na disk. tf.train.Checkpoint def train_and_checkpoint(net, manager):
  ckpt.restore(manager.latest_checkpoint)
  if manager.latest_checkpoint:
    print("Restored from {}".format(manager.latest_checkpoint))
  else:
    print("Initializing from scratch.")

  for _ in range(50):
    example = next(iterator)
    loss = train_step(net, example, opt)
    ckpt.step.assign_add(1)
    if int(ckpt.step) % 10 == 0:
      save_path = manager.save()
      print("Saved checkpoint for step {}: {}".format(int(ckpt.step), save_path))
      print("loss {:1.2f}".format(loss.numpy()))
 train_and_checkpoint(net, manager)
 Rekonstrukce a pokračování školení Po prvním tréninkovém cyklu můžete projít novým modelem a manažerem, ale vyzvednout trénink přesně tam, kde jste přestali: opt = tf.keras.optimizers.Adam(0.1)
net = Net()
dataset = toy_dataset()
iterator = iter(dataset)
ckpt = tf.train.Checkpoint(step=tf.Variable(1), optimizer=opt, net=net, iterator=iterator)
manager = tf.train.CheckpointManager(ckpt, './tf_ckpts', max_to_keep=3)

train_and_checkpoint(net, manager)
 Tyto Objekt vymaže staré kontrolní body. Nad ním je nakonfigurován tak, aby zůstaly zachovány pouze tři nejnovější kontrolní body. tf.train.CheckpointManager print(manager.checkpoints)  # List the three remaining checkpoints
 Tyto cesty, např. , nejsou soubory na disku. Místo toho jsou předponami pro soubor a jeden nebo více datových souborů, které obsahují hodnoty proměnných. souborů ( a) kde se Zachraňte svůj stát. './tf_ckpts/ckpt-10' index checkpoint './tf_ckpts/checkpoint' CheckpointManager ls ./tf_ckpts
 Nabíjecí mechanika TensorFlow shoduje proměnné s kontrolovanými hodnotami tím, že prochází směrovaným grafem s pojmenovanými okraji, počínaje objektem, který se načte. v a . používá své klíčové slovo argumenty názvy, jako v v . "l1" self.l1 = tf.keras.layers.Dense(5) tf.train.Checkpoint "step" tf.train.Checkpoint(step=...) Graf závislosti z výše uvedeného příkladu vypadá takto: Optimalizátor je v červené barvě, pravidelné proměnné jsou v modré a proměnné slotu optimalizátoru jsou v oranžové barvě. Je v černém. tf.train.Checkpoint Slotové proměnné jsou součástí stavu optimalizátoru, ale jsou vytvořeny pro určitou proměnnou. hrany výše odpovídají momentum, které optimalizátor Adam sleduje pro každou proměnnou. Slotové proměnné jsou uloženy v kontrolním bodě pouze v případě, že by byla uložena proměnná i optimalizátor, tedy rozdělené hrany. 'm' volání Je A objekt čeká na požadované obnovy, obnovuje proměnné hodnoty, jakmile je zadaná shodná cesta Můžete například načítat pouze předsudky z modelu, který jste definovali výše, tím, že přes síť a vrstvu rekonstruujete jednu cestu k němu. restore tf.train.Checkpoint Checkpoint to_restore = tf.Variable(tf.zeros([5]))
print(to_restore.numpy())  # All zeros
fake_layer = tf.train.Checkpoint(bias=to_restore)
fake_net = tf.train.Checkpoint(l1=fake_layer)
new_root = tf.train.Checkpoint(net=fake_net)
status = new_root.restore(tf.train.latest_checkpoint('./tf_ckpts/'))
print(to_restore.numpy())  # This gets the restored value.
 Závislostní graf pro tyto nové objekty je mnohem menší podgraf většího kontrolního bodu, který jste napsali výše. Použijte číslo kontrolního bodu. tf.train.Checkpoint Vrátí stavový objekt, který má volitelná tvrzení. Všechny objekty vytvořené v novém Byla obnovena, takže Projděte si restore Checkpoint status.assert_existing_objects_matched status.assert_existing_objects_matched()
 Existuje mnoho objektů v kontrolním bodě, které se nezhodují, včetně jádra vrstvy a proměnných optimalizátoru. Projde pouze v případě, že se kontrolní bod a program přesně shodují, a hodí zde výjimku. status.assert_consumed Odložené restaurace objekty v aplikaci TensorFlow mohou vytváření proměnných odložit na jejich první volání, když jsou k dispozici vstupní tvary. jádro vrstvy závisí jak na vstupních, tak na výstupních tvarech vrstvy, a tak výstupní tvar požadovaný jako argument konstruktoru není dostatečnými informacemi k vytvoření proměnné samostatně. Obnovení se musí uskutečnit mezi vytvořením proměnné a jejím prvním použitím. Layer Dense Layer Abychom tento jazyk podpořili, Odstraňuje obnovení, které dosud nemají odpovídající proměnnou. tf.train.Checkpoint deferred_restore = tf.Variable(tf.zeros([1, 5]))
print(deferred_restore.numpy())  # Not restored; still zeros
fake_layer.kernel = deferred_restore
print(deferred_restore.numpy())  # Restored
 Manuální kontrola kontrolních bodů Zpět na A který dává přístup na nižší úroveň k obsahu kontrolního bodu. Obsahuje mapování z klíče každé proměnné na tvar a dtyp pro každou proměnnou v kontrolním bodu. Klíčem proměnné je její objektová cesta, jako v grafech zobrazených výše. tf.train.load_checkpoint CheckpointReader 
 
 Poznámka: K kontrolnímu bodu neexistuje struktura vyšší úrovně. Zná pouze cesty a hodnoty proměnných a nemá žádný koncept modelů, vrstev nebo způsobu, jakým jsou propojeny. Neexistuje žádná struktura vyšší úrovně k kontrolnímu bodu. Zná pouze cesty a hodnoty pro proměnné a nemá žádný koncept , , Nebo jak jsou propojeny. Note: models layers reader = tf.train.load_checkpoint('./tf_ckpts/')
shape_from_key = reader.get_variable_to_shape_map()
dtype_from_key = reader.get_variable_to_dtype_map()

sorted(shape_from_key.keys())
 Pokud se zajímáte o hodnotu Hodnota můžete získat pomocí následujícího kódu: net.l1.kernel key = 'net/l1/kernel/.ATTRIBUTES/VARIABLE_VALUE'

print("Shape:", shape_from_key[key])
print("Dtype:", dtype_from_key[key].name)
 Poskytuje také a Metoda, která vám umožní zkontrolovat hodnotu proměnné: get_tensor reader.get_tensor(key)
 Sledování objektů Kontrolní body ukládají a obnovují hodnoty objekty „sledováním“ jakéhokoli proměnného nebo sledovatelného objektu nastaveného v jednom z jeho atributů. Při spuštění ukládání jsou proměnné shromažďovány recursivně ze všech dosažitelných sledovaných objektů. tf.Variable Stejně jako u přímých atributů, jako přiřazení seznamů a slovníků k atributům bude sledovat jejich obsah. self.l1 = tf.keras.layers.Dense(5) save = tf.train.Checkpoint()
save.listed = [tf.Variable(1.)]
save.listed.append(tf.Variable(2.))
save.mapped = {'one': save.listed[0]}
save.mapped['two'] = save.listed[1]
save_path = save.save('./tf_list_example')

restore = tf.train.Checkpoint()
v2 = tf.Variable(0.)
assert 0. == v2.numpy()  # Not restored yet
restore.mapped = {'two': v2}
restore.restore(save_path)
assert 2. == v2.numpy()
 Můžete si všimnout obalových objektů pro seznamy a slovníky. Tyto obaly jsou kontrolovatelné verze podkladových datových struktur. Stejně jako načítání založené na atributu, tyto obaly obnovují hodnotu proměnné, jakmile je přidána do kontejneru. restore.listed = []
print(restore.listed)  # ListWrapper([])
v1 = tf.Variable(0.)
restore.listed.append(v1)  # Restores v1, from restore() in the previous cell
assert 1. == v1.numpy()
 Sledovatelné objekty zahrnují , , a jeho podskupiny (např. a Použití pythonových kontejnerů: tf.train.Checkpoint tf.Module keras.layers.Layer keras.Model 
 
 
 
 Dikt (a sbírky.OrderedDict) Seznam tuple (a collections.namedtuple, typing.NamedTuple) Ostatní typy kontejnerů , včetně : not supported 
 
 
 Kolekce.defaultdict set Všechny ostatní Python objekty jsou , včetně : ignored 
 
 
 
 Int Stringové float shrnutí Objekty TensorFlow poskytují snadný automatický mechanismus pro ukládání a obnovení hodnot proměnných, které používají. 
 
 Původně publikovaný na webových stránkách TensorFlow, tento článek se zde objevuje pod novým titulkem a je licencován pod CC BY 4.0. Původně publikovaný na webových stránkách TensorFlow, tento článek se zde objevuje pod novým titulkem a je licencován pod CC BY 4.0. TensorFlow TensorFlow

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Tento zvuk je produkován v původním jazyce příběhu!

Jak uložit a načítat modely TensorFlow

About Author

KOMENTÁŘE

ZAVĚŠIT ZNAČKY

TENTO ČLÁNEK BYL PŘEDSTAVEN V

Related Stories

Coinshift Launches csUSDL, Announces Strategic Partnerships

Coinshift Launches csUSDL, Announces Strategic Partnerships

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps