Kerasと数行のコードで脳を構築する方法

コンテンツ概要 セットアップ 導入 トレーニング、評価、および推論 SAVE AND SERIALIZE 同じグラフを使用して複数のモデルを定義する すべてのモデル a callable, just like layers 複雑なグラフトポロジーの操作 複数の入力と出力を持つモデル おもちゃリセットモデル セットアップ import numpy as np import tensorflow as tf from tensorflow import keras from keras import layers 導入 The Keras より柔軟なモデルを作成する方法は、 API. Functional API は、非線形トポロジー、共有レイヤー、さらには複数の入力または出力を持つモデルを扱うことができます。 機能 API keras.Sequential 主なアイデアは、深層学習モデルは通常、層の指向アサイクルグラフ(DAG)であるということです。 . グラフ of layers 以下のモデルを考えてみましょう。 」 (入力: 784 次元ベクター) [Dense (64 単位、relu アクティベーション)] [Dense (64 単位、relu アクティベーション)] [Dense (10 単位、softmax アクティベーション)] (出力: 10 クラスの確率分布のロギット) 」 これは3つの層を持つ基本的なグラフです。このモデルを機能APIを使用して構築するには、入力ノードを作成することから始めます。 inputs = keras.Input(shape=(784,)) データの形は、784 次元ベクターとして設定されます. Batch size is always omitted since only the shape of each sample is specified. バッチサイズは常に省略されます。 たとえば、画像の入力が形状の あなたは使用します: (32, 32, 3) # Just for demonstration purposes. img_inputs = keras.Input(shape=(32, 32, 3)) THE 返されるものは、形状に関する情報を含み、そして あなたがモデルに送信する入力データのうちの1つです。 inputs dtype inputs.shape TensorShape([None, 784]) こちらがdtypeです。 inputs.dtype tf.float32 You create a new node in the graph of layers by calling a layer on this 対象: inputs dense = layers.Dense(64, activation="relu") x = dense(inputs) 「layer call」のアクションは、あなたが作成したレイヤーに「inputs」から矢印を引くようなものです。 layer, and you get 出力のように。 dense x レイヤーのグラフにいくつかのレイヤーを追加しましょう: x = layers.Dense(64, activation="relu")(x) outputs = layers.Dense(10)(x) この時点で、あなたは創造することができます a レイヤーのグラフでその入力と出力を指定することによって: Model model = keras.Model(inputs=inputs, outputs=outputs, name="mnist_model") モデルの概要がどう見えるかを見てみましょう: model.summary() Model: "mnist_model" _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= input_1 (InputLayer) [(None, 784)] 0 dense (Dense) (None, 64) 50240 dense_1 (Dense) (None, 64) 4160 dense_2 (Dense) (None, 10) 650 ================================================================= Total params: 55050 (215.04 KB) Trainable params: 55050 (215.04 KB) Non-trainable params: 0 (0.00 Byte) _________________________________________________________________ モデルをグラフとして構成することもできます: keras.utils.plot_model(model, "my_first_model.png") そして、オプションとして、構図されたグラフで各層の入力と出力の形を表示します。 keras.utils.plot_model(model, "my_first_model_with_shape_info.png", show_shapes=True) この数字とコードはほぼ同じです. コードバージョンでは、接続矢印が呼び出し操作に置き換えられます。 「レイヤーグラフ」は、深層学習モデルの直感的な心のイメージであり、機能的なAPIは、これを密接に反映するモデルを作成する方法です。 トレーニング、評価、および推論 トレーニング、評価、および推論は、Functional API を使用して構築されたモデルと同様に動作します。 モデル Sequential THE クラスは、組み込まれたトレーニングループ(the 方法)および組み込まれた評価ループ(the 手軽に使えるということをご注意ください。 監督された学習を超えるトレーニングルーチンを実施する(例えば、 ( ) Model fit() evaluate() オリジナルタイトル: Customize These Loops ガンズ ここでは、MNIST画像データをロードし、ベクトルに再構成し、モデルをデータに合わせ(検証分割でのパフォーマンスを監視しながら)、テストデータでモデルを評価します。 (x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data() x_train = x_train.reshape(60000, 784).astype("float32") / 255 x_test = x_test.reshape(10000, 784).astype("float32") / 255 model.compile( loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True), optimizer=keras.optimizers.RMSprop(), metrics=[keras.metrics.SparseCategoricalAccuracy()], ) history = model.fit(x_train, y_train, batch_size=64, epochs=2, validation_split=0.2) test_scores = model.evaluate(x_test, y_test, verbose=2) print("Test loss:", test_scores[0]) print("Test accuracy:", test_scores[1]) Epoch 1/2 750/750 [==============================] - 4s 3ms/step - loss: 0.3556 - sparse_categorical_accuracy: 0.8971 - val_loss: 0.1962 - val_sparse_categorical_accuracy: 0.9422 Epoch 2/2 750/750 [==============================] - 2s 2ms/step - loss: 0.1612 - sparse_categorical_accuracy: 0.9527 - val_loss: 0.1461 - val_sparse_categorical_accuracy: 0.9592 313/313 - 0s - loss: 0.1492 - sparse_categorical_accuracy: 0.9556 - 463ms/epoch - 1ms/step Test loss: 0.14915992319583893 Test accuracy: 0.9556000232696533 続きを読む → See the ガイド トレーニングと評価 SAVE AND SERIALIZE モデル保存とシリアル化は、Functional API を使用して構築されたモデルと同じように動作します。 機能モデルを保存する標準的な方法は、電話をかけることです。 モデル全体を 1 つのファイルとして保存するには、このファイルから同じモデルを再生することもできますが、モデルを構築したコードがもう利用できません。 Sequential model.save() この保存ファイルには、以下が含まれています。 モデルアーキテクチャ モデル重量値(トレーニング中に学んだもの) モデルトレーニング config, if any (as passed to compile) 最適化およびその状態(停止したトレーニングを再起動するために) model.save("path_to_my_model.keras") del model # Recreate the exact same model purely from the file: model = keras.models.load_model("path_to_my_model.keras") 詳細については、モデルをご覧ください ガイド シリーズ化&節約 同じグラフを使用して複数のモデルを定義する Functional API では、モデルは、その入力と出力をレイヤーグラフで指定することによって作成されます. That means that a single graph of layers can be used to generate multiple models. 下の例では、同じ階層を用いて、2 つのモデルをインスタンス化します。 画像の入力を16次元ベクトルに変換するモデル、およびエンド-to-エンド トレーニングのモデル encoder autoencoder encoder_input = keras.Input(shape=(28, 28, 1), name="img") x = layers.Conv2D(16, 3, activation="relu")(encoder_input) x = layers.Conv2D(32, 3, activation="relu")(x) x = layers.MaxPooling2D(3)(x) x = layers.Conv2D(32, 3, activation="relu")(x) x = layers.Conv2D(16, 3, activation="relu")(x) encoder_output = layers.GlobalMaxPooling2D()(x) encoder = keras.Model(encoder_input, encoder_output, name="encoder") encoder.summary() x = layers.Reshape((4, 4, 1))(encoder_output) x = layers.Conv2DTranspose(16, 3, activation="relu")(x) x = layers.Conv2DTranspose(32, 3, activation="relu")(x) x = layers.UpSampling2D(3)(x) x = layers.Conv2DTranspose(16, 3, activation="relu")(x) decoder_output = layers.Conv2DTranspose(1, 3, activation="relu")(x) autoencoder = keras.Model(encoder_input, decoder_output, name="autoencoder") autoencoder.summary() Model: "encoder" _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= img (InputLayer) [(None, 28, 28, 1)] 0 conv2d (Conv2D) (None, 26, 26, 16) 160 conv2d_1 (Conv2D) (None, 24, 24, 32) 4640 max_pooling2d (MaxPooling2 (None, 8, 8, 32) 0 D) conv2d_2 (Conv2D) (None, 6, 6, 32) 9248 conv2d_3 (Conv2D) (None, 4, 4, 16) 4624 global_max_pooling2d (Glob (None, 16) 0 alMaxPooling2D) ================================================================= Total params: 18672 (72.94 KB) Trainable params: 18672 (72.94 KB) Non-trainable params: 0 (0.00 Byte) _________________________________________________________________ Model: "autoencoder" _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= img (InputLayer) [(None, 28, 28, 1)] 0 conv2d (Conv2D) (None, 26, 26, 16) 160 conv2d_1 (Conv2D) (None, 24, 24, 32) 4640 max_pooling2d (MaxPooling2 (None, 8, 8, 32) 0 D) conv2d_2 (Conv2D) (None, 6, 6, 32) 9248 conv2d_3 (Conv2D) (None, 4, 4, 16) 4624 global_max_pooling2d (Glob (None, 16) 0 alMaxPooling2D) reshape (Reshape) (None, 4, 4, 1) 0 conv2d_transpose (Conv2DTr (None, 6, 6, 16) 160 anspose) conv2d_transpose_1 (Conv2D (None, 8, 8, 32) 4640 Transpose) up_sampling2d (UpSampling2 (None, 24, 24, 32) 0 D) conv2d_transpose_2 (Conv2D (None, 26, 26, 16) 4624 Transpose) conv2d_transpose_3 (Conv2D (None, 28, 28, 1) 145 Transpose) ================================================================= Total params: 28241 (110.32 KB) Trainable params: 28241 (110.32 KB) Non-trainable params: 0 (0.00 Byte) _________________________________________________________________ ここでは、解読アーキテクチャは、暗号化アーキテクチャに厳密に対称的であるため、出力形は、入力形と同一である。 . (28, 28, 1) 逆のA レイヤー A レイアウトと逆のA layer is an レイヤー Conv2D Conv2DTranspose MaxPooling2D UpSampling2D All models are callable, just like layers. すべてのモデルは、レイヤーのように呼び出せる。 あなたは、それが一つの層であるかのようにあらゆるモデルを扱うことができます。 モデルを呼び出すことで、あなたはモデルのアーキテクチャを再利用するだけでなく、その重量も再利用しています。 Input アクションでこれを見るには、自動エンコーダーモデル、デコーダーモデルを作成し、自動エンコーダーモデルを取得するために2つの呼び出しに連鎖する自動エンコーダーの例を異なります。 encoder_input = keras.Input(shape=(28, 28, 1), name="original_img") x = layers.Conv2D(16, 3, activation="relu")(encoder_input) x = layers.Conv2D(32, 3, activation="relu")(x) x = layers.MaxPooling2D(3)(x) x = layers.Conv2D(32, 3, activation="relu")(x) x = layers.Conv2D(16, 3, activation="relu")(x) encoder_output = layers.GlobalMaxPooling2D()(x) encoder = keras.Model(encoder_input, encoder_output, name="encoder") encoder.summary() decoder_input = keras.Input(shape=(16,), name="encoded_img") x = layers.Reshape((4, 4, 1))(decoder_input) x = layers.Conv2DTranspose(16, 3, activation="relu")(x) x = layers.Conv2DTranspose(32, 3, activation="relu")(x) x = layers.UpSampling2D(3)(x) x = layers.Conv2DTranspose(16, 3, activation="relu")(x) decoder_output = layers.Conv2DTranspose(1, 3, activation="relu")(x) decoder = keras.Model(decoder_input, decoder_output, name="decoder") decoder.summary() autoencoder_input = keras.Input(shape=(28, 28, 1), name="img") encoded_img = encoder(autoencoder_input) decoded_img = decoder(encoded_img) autoencoder = keras.Model(autoencoder_input, decoded_img, name="autoencoder") autoencoder.summary() Model: "encoder" _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= original_img (InputLayer) [(None, 28, 28, 1)] 0 conv2d_4 (Conv2D) (None, 26, 26, 16) 160 conv2d_5 (Conv2D) (None, 24, 24, 32) 4640 max_pooling2d_1 (MaxPoolin (None, 8, 8, 32) 0 g2D) conv2d_6 (Conv2D) (None, 6, 6, 32) 9248 conv2d_7 (Conv2D) (None, 4, 4, 16) 4624 global_max_pooling2d_1 (Gl (None, 16) 0 obalMaxPooling2D) ================================================================= Total params: 18672 (72.94 KB) Trainable params: 18672 (72.94 KB) Non-trainable params: 0 (0.00 Byte) _________________________________________________________________ Model: "decoder" _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= encoded_img (InputLayer) [(None, 16)] 0 reshape_1 (Reshape) (None, 4, 4, 1) 0 conv2d_transpose_4 (Conv2D (None, 6, 6, 16) 160 Transpose) conv2d_transpose_5 (Conv2D (None, 8, 8, 32) 4640 Transpose) up_sampling2d_1 (UpSamplin (None, 24, 24, 32) 0 g2D) conv2d_transpose_6 (Conv2D (None, 26, 26, 16) 4624 Transpose) conv2d_transpose_7 (Conv2D (None, 28, 28, 1) 145 Transpose) ================================================================= Total params: 9569 (37.38 KB) Trainable params: 9569 (37.38 KB) Non-trainable params: 0 (0.00 Byte) _________________________________________________________________ Model: "autoencoder" _________________________________________________________________ Layer (type) Output Shape Param # ================================================================= img (InputLayer) [(None, 28, 28, 1)] 0 encoder (Functional) (None, 16) 18672 decoder (Functional) (None, 28, 28, 1) 9569 ================================================================= Total params: 28241 (110.32 KB) Trainable params: 28241 (110.32 KB) Non-trainable params: 0 (0.00 Byte) _________________________________________________________________ あなたが見ることができるように、モデルは巣立つことができます:モデルはサブモデルを含むことができます(モデルはレイヤーのようなものだから)。 たとえば、以下は、予測を平均する単一のモデルにモデルのセットを組み合わせる方法です。 集合 def get_model(): inputs = keras.Input(shape=(128,)) outputs = layers.Dense(1)(inputs) return keras.Model(inputs, outputs) model1 = get_model() model2 = get_model() model3 = get_model() inputs = keras.Input(shape=(128,)) y1 = model1(inputs) y2 = model2(inputs) y3 = model3(inputs) outputs = layers.average([y1, y2, y3]) ensemble_model = keras.Model(inputs=inputs, outputs=outputs) 複雑なグラフトポロジーの操作 複数の入力と出力を持つモデル 機能的な API により、複数の入力と出力を簡単に操作できます。 花火 Sequential たとえば、優先順位で顧客発行チケットをランキングするシステムを構築し、それらを正しい部門にルーティングする場合、モデルには3つの入力があります。 チケットのタイトル(テキスト入力) チケットのテキスト体(テキスト入力)、および ユーザーによって追加されたタグ(カテゴリ入力) このモデルには2つの出力があります: 優先度スコアは 0 ～ 1 (スカラルシグモイド出力) と、 チケットを扱うべき部門(部門セットのソフトマックス出力) You can build this model in a few lines with the functional API: num_tags = 12 # Number of unique issue tags num_words = 10000 # Size of vocabulary obtained when preprocessing text data num_departments = 4 # Number of departments for predictions title_input = keras.Input( shape=(None,), name="title" ) # Variable-length sequence of ints body_input = keras.Input(shape=(None,), name="body") # Variable-length sequence of ints tags_input = keras.Input( shape=(num_tags,), name="tags" ) # Binary vectors of size `num_tags` # Embed each word in the title into a 64-dimensional vector title_features = layers.Embedding(num_words, 64)(title_input) # Embed each word in the text into a 64-dimensional vector body_features = layers.Embedding(num_words, 64)(body_input) # Reduce sequence of embedded words in the title into a single 128-dimensional vector title_features = layers.LSTM(128)(title_features) # Reduce sequence of embedded words in the body into a single 32-dimensional vector body_features = layers.LSTM(32)(body_features) # Merge all available features into a single large vector via concatenation x = layers.concatenate([title_features, body_features, tags_input]) # Stick a logistic regression for priority prediction on top of the features priority_pred = layers.Dense(1, name="priority")(x) # Stick a department classifier on top of the features department_pred = layers.Dense(num_departments, name="department")(x) # Instantiate an end-to-end model predicting both priority and department model = keras.Model( inputs=[title_input, body_input, tags_input], outputs=[priority_pred, department_pred], ) 次に、モデルをまとめます: keras.utils.plot_model(model, "multi_input_and_output_model.png", show_shapes=True) このモデルを構成する際には、各出力に異なる損失を割り当てることができます. You can even assign different weights to each loss -- to modulate their contribution to the total training loss. model.compile( optimizer=keras.optimizers.RMSprop(1e-3), loss=[ keras.losses.BinaryCrossentropy(from_logits=True), keras.losses.CategoricalCrossentropy(from_logits=True), ], loss_weights=[1.0, 0.2], ) 出力層には異なる名前があるため、それぞれの層名で損失および損失重量を指定することもできます。 model.compile( optimizer=keras.optimizers.RMSprop(1e-3), loss={ "priority": keras.losses.BinaryCrossentropy(from_logits=True), "department": keras.losses.CategoricalCrossentropy(from_logits=True), }, loss_weights={"priority": 1.0, "department": 0.2}, ) インプットとターゲットのNumPyアーレイのリストを転送することによってモデルを訓練する: # Dummy input data title_data = np.random.randint(num_words, size=(1280, 10)) body_data = np.random.randint(num_words, size=(1280, 100)) tags_data = np.random.randint(2, size=(1280, num_tags)).astype("float32") # Dummy target data priority_targets = np.random.random(size=(1280, 1)) dept_targets = np.random.randint(2, size=(1280, num_departments)) model.fit( {"title": title_data, "body": body_data, "tags": tags_data}, {"priority": priority_targets, "department": dept_targets}, epochs=2, batch_size=32, ) Epoch 1/2 40/40 [==============================] - 8s 112ms/step - loss: 1.2982 - priority_loss: 0.6991 - department_loss: 2.9958 Epoch 2/2 40/40 [==============================] - 3s 64ms/step - loss: 1.3110 - priority_loss: 0.6977 - department_loss: 3.0666 「A」と呼ぶと、 object, it should yield either a tuple of lists like or a tuple of dictionaries like . Dataset ([title_data, body_data, tags_data], [priority_targets, dept_targets]) ({'title': title_data, 'body': body_data, 'tags': tags_data}, {'priority': priority_targets, 'department': dept_targets}) より詳細な説明については、参考にしてください。 ガイド トレーニングと評価 おもちゃリセットモデル 複数の入力と出力を持つモデルに加えて、Functional API は非線形接続トポロジーの操作を容易にする - これらは、順序的に接続されていない層を持つモデルです。 火は取り扱えない。 Sequential このための一般的な用例は残留接続です。CIFAR10のための玩具ResNetモデルを構築し、これを示します。 inputs = keras.Input(shape=(32, 32, 3), name="img") x = layers.Conv2D(32, 3, activation="relu")(inputs) x = layers.Conv2D(64, 3, activation="relu")(x) block_1_output = layers.MaxPooling2D(3)(x) x = layers.Conv2D(64, 3, activation="relu", padding="same")(block_1_output) x = layers.Conv2D(64, 3, activation="relu", padding="same")(x) block_2_output = layers.add([x, block_1_output]) x = layers.Conv2D(64, 3, activation="relu", padding="same")(block_2_output) x = layers.Conv2D(64, 3, activation="relu", padding="same")(x) block_3_output = layers.add([x, block_2_output]) x = layers.Conv2D(64, 3, activation="relu")(block_3_output) x = layers.GlobalAveragePooling2D()(x) x = layers.Dense(256, activation="relu")(x) x = layers.Dropout(0.5)(x) outputs = layers.Dense(10)(x) model = keras.Model(inputs, outputs, name="toy_resnet") model.summary() Model: "toy_resnet" __________________________________________________________________________________________________ Layer (type) Output Shape Param # Connected to ================================================================================================== img (InputLayer) [(None, 32, 32, 3)] 0 [] conv2d_8 (Conv2D) (None, 30, 30, 32) 896 ['img[0][0]'] conv2d_9 (Conv2D) (None, 28, 28, 64) 18496 ['conv2d_8[0][0]'] max_pooling2d_2 (MaxPoolin (None, 9, 9, 64) 0 ['conv2d_9[0][0]'] g2D) conv2d_10 (Conv2D) (None, 9, 9, 64) 36928 ['max_pooling2d_2[0][0]'] conv2d_11 (Conv2D) (None, 9, 9, 64) 36928 ['conv2d_10[0][0]'] add (Add) (None, 9, 9, 64) 0 ['conv2d_11[0][0]', 'max_pooling2d_2[0][0]'] conv2d_12 (Conv2D) (None, 9, 9, 64) 36928 ['add[0][0]'] conv2d_13 (Conv2D) (None, 9, 9, 64) 36928 ['conv2d_12[0][0]'] add_1 (Add) (None, 9, 9, 64) 0 ['conv2d_13[0][0]', 'add[0][0]'] conv2d_14 (Conv2D) (None, 7, 7, 64) 36928 ['add_1[0][0]'] global_average_pooling2d ( (None, 64) 0 ['conv2d_14[0][0]'] GlobalAveragePooling2D) dense_6 (Dense) (None, 256) 16640 ['global_average_pooling2d[0][ 0]'] dropout (Dropout) (None, 256) 0 ['dense_6[0][0]'] dense_7 (Dense) (None, 10) 2570 ['dropout[0][0]'] ================================================================================================== Total params: 223242 (872.04 KB) Trainable params: 223242 (872.04 KB) Non-trainable params: 0 (0.00 Byte) __________________________________________________________________________________________________ モデルをまとめます: keras.utils.plot_model(model, "mini_resnet.png", show_shapes=True) モデルをトレーニングする: (x_train, y_train), (x_test, y_test) = keras.datasets.cifar10.load_data() x_train = x_train.astype("float32") / 255.0 x_test = x_test.astype("float32") / 255.0 y_train = keras.utils.to_categorical(y_train, 10) y_test = keras.utils.to_categorical(y_test, 10) model.compile( optimizer=keras.optimizers.RMSprop(1e-3), loss=keras.losses.CategoricalCrossentropy(from_logits=True), metrics=["acc"], ) # We restrict the data to the first 1000 samples so as to limit execution time # on Colab. Try to train on the entire dataset until convergence! model.fit(x_train[:1000], y_train[:1000], batch_size=64, epochs=1, validation_split=0.2) 13/13 [==============================] - 4s 39ms/step - loss: 2.3086 - acc: 0.0988 - val_loss: 2.3020 - val_acc: 0.0850 最初はTensorFlowのウェブサイトに掲載され、この記事はここに新しいタイトルの下に表示され、CC BY 4.0でライセンスを受けています。 オリジナルに掲載されたThe この記事は新しいタイトルの下に現れ、CC BY 4.0 でライセンスを受けています。 TensorFlowについて TensorFlowについて