海面温度予測のためのディープニューラルネットワーク：提案手法

リンク一覧

• 概要と序文
• 背景
• 提案手法
• 実験結果と分析
• 結論と今後の課題
• 参考文献

III. 提案手法

数値モデルは、SST の空間分布とそのグローバルテレコネクションを一緒に予測できます。これは、SST 予測の短期的なリードでは優れたパフォーマンスを発揮します。しかし、観測データから物理的な知識を転送することで、SST 予測の数値モデルのパフォーマンスをさらに向上できると主張します。この目的のために、観測データ内の物理的な知識を学習するために GAN を採用します。

Zhuら[53]は、入力データを忠実に再構築するだけでなく、反転された潜在コードが意味的に意味があることを保証するGAN反転法を提案した。彼らは、対象画像のピクセル値を学習するだけでは不十分であり、学習した特徴では画像を意味レベルで表現できないことを実証した。この研究に触発されて、私たちは事前ネットワークと呼ばれる観測データから物理的な知識を学習するためのGANのエンコーダーを設計しました。この事前ネットワークは、対象の観測データのピクセル値を学習するだけでなく、物理的な情報も取得します。これにより、SST予測の精度が効果的に向上します。

次に、提案手法について、1) 手法の概要、2) 事前ネットワーク、3) 強化データによる SST 予測、の 3 つを紹介します。

A. 方法の概要

このサブセクションでは、提案する SST 予測方法を要約し、各段階の入力と出力について詳しく説明します。図 2 に示すように、提案する SST 予測方法は、事前ネットワーク トレーニングと強化データによる SST 予測の 2 つの段階で構成されています。

1) 事前ネットワークのトレーニング。この段階は 3 つのステップで構成されます。最初のステップでは、観測された SST (GHRST データ) が GAN モデルのトレーニングに使用されます。2 番目のステップでは、事前トレーニング済みのジェネレーターと GHRSST データを使用してエンコーダーをトレーニングします。3 番目のステップでは、事前トレーニング済みのジェネレーターとエンコーダーが事前ネットワークに結合されます。事前ネットワークは、観測データから数値モデルに物理的な知識を転送するために使用されます。数値モデル SST (HYCOM データ) は、その特徴表現を強化するために事前ネットワークに入力されます。

2) 強化データによる SST 予測。物理的に強化されたデータは、SST 予測のために ConvLSTM モデルに入力されます。翌日、次の 3 日間、次の 7 日間の SST が個別に予測されます。

既存の研究のほとんど[26][27]では、ConvLSTMのトレーニングに観測データのみを使用していることに注意する必要があります。対照的に、私たちの方法は、ConvLSTMのトレーニングに物理的に強化されたデータを活用しています。次に、強化されたデータを使用した事前ネットワークトレーニングとSST予測について詳しく説明します。

B. ステージ1: 事前のネットワークトレーニング

観測データ内の物理的知識を学習し、トレーニング後にその意味的/物理的情報を一定に保つための事前ネットワークを構築します。図 2 に示すように、事前ネットワークのトレーニングは、GAN モデルのトレーニング、エンコーダーのトレーニング、および物理的に強化されたデータの生成という 3 つのステップで構成されています。次に、各ステップについて詳しく説明します。

GAN モデルのトレーニング。GANモデルは、観測された SST からのデータ分布を学習するために使用されます。目的関数は次のとおりです。

GAN モデルのトレーニング プロセスは、アルゴリズム 1 にまとめられています。ジェネレーター G が観測された SST データから物理的特徴をキャプチャするまで、観測された SST に対してモデルをトレーニングします。

ここでF(·)はVGGネットワークによる特徴抽出を表す。VGGネットワークはVisual Geometry Group [54]によって提案されたネットワークを表し、古典的な深層畳み込みニューラルネットワークである。

エンコーダのトレーニングはアルゴリズム 2 で説明されています。ジェネレータ G のパラメータは固定されていますが、エンコーダ E と識別子 D のパラメータは、それぞれ式 2 と式 3 に基づいて更新されます。

ステージ 1 の目的は、数値モデル データ内の誤ったコンポーネントを修正できる事前ネットワークを構築することです。このために、まず、観測された SST からのデータ分布をキャプチャし、高品質の SST データを生成できる GAN モデルを考案します。次に、生成された潜在コードが観測された SST の意味/物理情報を保持することを保証するために、エンコーダーをトレーニングします。敵対的学習を通じて、事前ネットワーク (エンコーダーとジェネレーターで構成) は、物理的な知識が事前ネットワークに埋め込まれているため、入力データの誤った部分を修正できると主張します。その結果、3 番目のステップでは、数値モデル データが事前ネットワークに入力されると、埋め込まれた物理的な知識が数値モデル データ内の誤ったコンポーネントを修正できます。

C. ステージ2: 強化データによるSST予測

ConvLSTM は、時空間データを予測するための効果的なツールです。これは、入力から状態への遷移と状態から状態への遷移の両方に畳み込みブロックを組み込んだリカレント ニューラル ネットワークです。従来の LSTM レイヤーとは異なり、ConvLSTM は連続関係を保持するだけでなく、データから空間的特徴も抽出します。このようにして、堅牢な時空間的特徴を捉えることができます。ConvLSTM の目的関数は次のように定式化されます。

物理的に強化された SST データは、次のように SST 予測のために ConvLSTM モデルに入力されます。

ジェネレータによって取得された重みはアルゴリズム 2 で再利用されますが、ここではジェネレータの重みのみが固定されています。導入されたエンコーダとディスクリミネータは、観測された SST に対して別のトレーニング プロセスを経ます。それらの重みは、それぞれ式 2 と式 3 に基づいて更新されます。トレーニング後、エンコーダによって生成されたコードは、学習された物理的知識を具体化します。

最後に、上記の事前学習モデルを使用して、物理的な知識に基づいて強化されたデータを取得します。

アルゴリズム 2 のジェネレーターとエンコーダーが再利用され、数値モデル SST を利用して物理強化数値モデル データが生成されます。

アルゴリズム 3 では、物理的知識が強化されたデータを活用して、SST 予測のための空間時間 ConvLSTM モデルをトレーニングします。この論文では、翌日、次の 3 日間、次の 7 日間の SST を個別に予測します。この部分では、強化されたデータを効果的に使用するためのアブレーション研究を実施しました。