해수면 온도 예측을 위한 심층 신경망: 제안된 방법

링크 표

• 초록 및 소개
• 배경
• 제안된 방법
• 실험 결과 및 분석
• 결론 및 향후 연구
• 참고자료

III. 제안된 방법

수치 모델은 SST의 공간 분포와 글로벌 원격 연결을 함께 예측할 수 있습니다. SST 예측을 위한 짧은 리드에서 잘 수행됩니다. 그럼에도 불구하고 우리는 관측된 데이터의 물리적 지식을 전달하면 SST 예측을 위한 수치 모델의 성능을 더욱 향상시킬 수 있다고 주장합니다. 이를 위해 관찰된 데이터의 물리적 지식을 학습하기 위해 GAN을 채택합니다.

Zhu et al. [53]은 입력 데이터를 충실하게 재구성할 뿐만 아니라 반전된 잠재 코드가 의미상 의미가 있음을 보장하는 GAN 반전 방법을 제안했습니다. 그들은 대상 이미지의 픽셀 값을 학습하는 것만으로는 충분하지 않으며, 학습된 특징이 의미론적 수준에서 이미지를 표현할 수 없음을 보여주었습니다. 이 연구에서 영감을 받아 우리는 이전 네트워크라고 불리는 관찰된 데이터로부터 물리적 지식을 학습하기 위해 GAN의 인코더를 설계합니다. 이 이전 네트워크는 관찰된 대상 데이터의 픽셀 값을 학습할 뿐만 아니라 물리적 정보도 캡처합니다. SST 예측 정확도를 효과적으로 향상시킵니다.

다음으로 제안하는 방법을 1) 방법의 개요, 2) 선행 네트워크, 3) 강화된 데이터를 이용한 SST 예측으로 제시한다.

A. 방법의 개요

본 절에서는 제안된 SST 예측 방법을 요약하고 각 단계의 입력과 출력을 자세히 설명한다. 그림 2에서 볼 수 있듯이 제안된 SST 예측 방법은 사전 네트워크 훈련과 향상된 데이터를 사용한 SST 예측의 두 단계로 구성됩니다.

1) 사전 네트워크 교육. 이 단계는 세 단계로 구성됩니다. 첫 번째 단계에서는 관측된 SST(GHRST 데이터)가 GAN 모델 훈련에 사용됩니다. 두 번째 단계에서는 사전 훈련된 생성기와 GHRSST 데이터를 사용하여 인코더를 훈련합니다. 세 번째 단계에서는 사전 훈련된 생성기와 인코더가 이전 네트워크에 결합됩니다. 이전 네트워크는 관찰된 데이터의 물리적 지식을 수치 모델로 전송하는 데 사용됩니다. 그런 다음 수치 모델 SST(HYCOM 데이터)가 이전 네트워크에 공급되어 기능 표현을 향상시킵니다.

2) 향상된 데이터를 이용한 SST 예측. 물리학적으로 강화된 데이터는 SST 예측을 위해 ConvLSTM 모델에 입력됩니다. 다음 날, 다음 3일, 다음 7일의 SST를 별도로 예측합니다.

대부분의 기존 연구[26][27]는 ConvLSTM 훈련을 위해 관찰된 데이터만 사용한다는 점에 유의해야 합니다. 대조적으로, 우리의 방법은 ConvLSTM 훈련을 위해 물리학적으로 강화된 데이터를 활용합니다. 다음으로, 강화된 데이터를 사용한 사전 네트워크 훈련 및 SST 예측에 대해 자세히 설명합니다.

B. 1단계: 사전 네트워크 교육

관찰된 데이터의 물리적 지식을 학습하고 훈련 후에도 의미/물리적 정보를 일정하게 유지하기 위해 사전 네트워크를 구축합니다. 그림 2에서 볼 수 있듯이 기존 네트워크 훈련은 GAN 모델 훈련, 인코더 훈련, 물리 강화 데이터 생성의 세 단계로 구성됩니다. 다음으로 각 단계에 대한 자세한 설명을 제공합니다.

GAN 모델 훈련. GAN 모델은 관측된 SST로부터 데이터 분포를 학습하는 데 사용됩니다. 목적 함수는 다음과 같습니다.

GAN 모델의 훈련 과정은 알고리즘 1에 요약되어 있습니다. 생성기 G가 관찰된 SST 데이터에서 물리적 특징을 포착할 때까지 관찰된 SST에 대해 모델을 훈련합니다.

여기서 F(·)는 VGG 네트워크를 통한 특징 추출을 나타냅니다. VGG 네트워크는 Visual Geometry Group[54]에서 제안한 네트워크를 의미하며 고전적인 심층 합성곱 신경망입니다.

인코더 훈련은 알고리즘 2에 설명되어 있습니다. 생성기 G의 매개변수는 고정되어 있는 반면 인코더 E와 판별기 D의 매개변수는 식을 기반으로 업데이트됩니다. 2 및 식. 각각 3.

1단계의 동기는 수치 모델 데이터의 잘못된 구성 요소를 수정할 수 있는 사전 네트워크를 구축하는 것입니다. 이를 위해 우리는 먼저 관측된 SST로부터 데이터 분포를 포착하고 고품질 SST 데이터를 생성할 수 있는 GAN 모델을 고안했습니다. 그 후, 인코더는 생성된 잠재 코드가 관찰된 SST의 의미/물리적 정보를 보존하도록 보장하도록 훈련됩니다. 우리는 물리적 지식이 이전 네트워크에 내장되어 있기 때문에 적대적 학습을 통해 이전 네트워크(인코더와 생성기로 구성됨)가 입력 데이터의 잘못된 부분을 수정할 수 있다고 주장합니다. 결과적으로 세 번째 단계에서는 수치 모델 데이터가 이전 네트워크에 입력되면 내장된 물리적 지식이 수치 모델 데이터의 잘못된 구성 요소를 수정할 수 있습니다.

C. 2단계: 강화된 데이터를 이용한 SST 예측

ConvLSTM은 시공간 데이터를 예측하는 효과적인 도구입니다. 이는 입력에서 상태로의 전환과 상태에서 상태로의 전환 모두에 컨벌루션 블록을 통합하는 순환 신경망입니다. 기존 LSTM 레이어와 달리 ConvLSTM은 순차 관계를 보존할 뿐만 아니라 데이터에서 공간 특징을 추출합니다. 이러한 방식으로 이를 활용하여 강력한 시공간적 특징을 포착할 수 있습니다. ConvLSTM의 목적 함수는 다음과 같이 공식화됩니다.

물리학으로 강화된 SST 데이터는 다음과 같이 SST 예측을 위해 ConvLSTM 모델에 입력됩니다.

생성기에서 얻은 가중치는 생성기 가중치만 고정되는 알고리즘 2에서 재사용됩니다. 도입된 인코더와 판별자는 관찰된 SST에 대해 또 다른 훈련 과정을 거칩니다. 가중치는 Eq.를 기반으로 업데이트됩니다. 2 및 식. 각각 3. 훈련 후 인코더에 의해 생성된 코드는 학습된 물리적 지식을 구현합니다.

마지막으로 위의 사전 훈련된 모델을 이용하여 물리적 지식을 기반으로 강화된 데이터를 획득합니다. 가중치

알고리즘 2의 생성기와 인코더가 재사용되고 수치 모델 SST를 활용하여 물리 강화 수치 모델 데이터를 생성합니다.

알고리즘 3에서는 물리적 지식이 강화된 데이터를 활용하여 SST 예측을 위한 시공간 ConvLSTM 모델을 훈련합니다. 본 논문에서는 다음 날, 다음 3일, 다음 7일의 SST를 별도로 예측합니다. 이 부분에서는 강화된 데이터를 효과적으로 활용하기 위해 Ablation 연구를 수행하였다.