해수면 온도 예측을 위한 심층 신경망: 배경

링크 표

• 초록 및 소개
• 배경
• 제안된 방법
• 실험 결과 및 분석
• 결론 및 향후 연구
• 참고자료

II. 배경

A. 생성적 적대 네트워크

2014년에 Goodfellow et al. [16]은 적대적인 방식으로 훈련된 생성 모델의 새로운 프레임워크를 제시합니다. 그들의 방법에서는 생성 모델 G와 판별 모델 D가 동시에 훈련되었습니다. 모델 G는 모델 D를 통해 입력 데이터의 분포를 간접적으로 포착하고 유사한 데이터를 생성하기 위해 적용되었습니다. 모델 D는 입력 샘플이 모델 G 대신 훈련 데이터에서 나올 확률을 추정합니다. G의 훈련 과정은 D의 확률 오류에 의해 주도되었습니다. 이 적대적 과정에서 G와 D는 학습을 안내하고 점차적으로 서로의 능력을 강화합니다. 뛰어난 성과를 달성하기 위해.

GAN은 물리적 관련 작업에 적용되었습니다. 예를 들어, Yang et al. [17] 고차원 문제를 처리하기 위해 물리학 기반 GAN을 적용하고 확률적 미분 방정식을 해결했습니다(Lutjens ¨ et al.). [18]은 수치 모델 데이터의 특징을 학습하기 위해 GAN을 사용하여 보다 현실적인 해안 홍수 데이터를 생성했습니다. Zheng et al. [19]는 GAN이 학습한 잠재적인 물리 법칙을 통해 미지의 공간 데이터를 추론했습니다. 그러나 이들 연구에서는 전체 수치 모델을 대체하기 위해 GAN을 사용하여 모델을 수행했는데, 이는 우리 연구와는 상당히 다릅니다. 본 논문에서는 수치 모델의 물리적 특징을 수정하고 개선하기 위해 관찰된 데이터의 물리적 지식을 수치 모델 데이터로 전달하는 GAN 모델을 채택합니다. 또한, 기존 방법들은 인코더에서 생성된 코드가 GAN에서 학습한 의미 지식과 일치하는지 여부를 고려하지 않고 결정론적 모델만 학습합니다.

B. 컨벌루션 장단기 기억

2015년에는 강수량 현재 캐스팅을 해결하기 위해 ConvLSTM[20]이 제안되었습니다. ConvLSTM의 네트워크 구조는 LSTM(Long Short-Term Memory) 블록에서 상속된 순차 관계를 구축하면서 고전적인 CNN(Convolutional Neural Network) [21]에서와 같이 로컬 공간 특징을 캡처할 수 있습니다. 또한 저자는 ConvLSTM이 공간-시간 관계에서 LSTM보다 더 나은 성능을 발휘할 수 있음을 보여주기 위해 실험을 수행했습니다. 날씨 예측 작업 외에도 ConvLSTM은 행동 인식과 같은 다양한 시공간 순차 예측 문제에 적용될 수 있습니다 [22], [23].

다. 해수면 온도 예측

Linset al. [24]는 SVM을 사용하여 열대 대서양의 SST를 조사했습니다. Patilet al. [25] 해수면 온도를 예측하기 위해 인공 신경망을 채택했습니다. 1~5일의 리드타임을 두고 예측하는 경우에만 잘 수행되다가 이후 정확도가 떨어졌습니다. Zhang et al. [26] LSTM을 적용했습니다.

SST를 예측합니다. Yanget al. [27]은 완전히 연결된 LSTM 모델을 구축하여 SST를 예측했습니다. 또 다른 관점에서 Patil et al. [28]은 웨이블릿 신경망을 사용하여 일일 SST를 예측했으며 Quala et al. [29]는 SST 예측을 위한 패치 수준 신경망 방법을 제안했습니다. 그러나 이러한 방법은 데이터에만 의존하고 그 뒤에 있는 물리적 지식을 무시합니다. Hamet al. [15]는 ENSO를 예측하고 분류하기 위해 전이 학습을 채택했습니다. 이 연구에서 우리는 비교 실험을 수행했으며 결과는 우리의 방법이 단기 오류와 장기 편향을 줄이는 것으로 나타났습니다.

D. 데이터 확대

Shorten et al. [30]은 딥러닝을 위한 이미지 데이터 증대의 최근 기술을 검토했습니다. 데이터 증대의 목적은 신경망의 표현 능력을 향상시키고 원본 데이터의 분포를 더 잘 학습하는 것입니다. 최근에는 데이터 변환과 리샘플링이라는 두 가지 종류의 데이터 증대 기술이 일반적으로 사용되었습니다. 데이터 변환 접근 방식에는 기하학적 변환 [31], 색상 공간 변환 [32]–[34], 무작위 지우기 [35]–[37], 적대적 훈련 [38]–[41] 및 스타일 전송 [42]–[45 ]. 리샘플링 기술은 이미지 혼합 [46]-[48], 특징 공간 향상 [49], [50] 및 생성적 적대 신경망(GAN) [16]과 같은 새로운 인스턴스 구성에 특히 중점을 둡니다. 기하학적 변환은 이미지 뒤집기, 자르기, 회전, 변환 및 노이즈 주입과 같은 좋은 성능을 얻을 수 있습니다 [51]. [30]의 실험 결과는 무작위 자르기 기술이 잘 수행되었음을 보여주었습니다. 색 공간 변환은 메모리 소모가 크고 계산 시간이 길어지는 문제가 있습니다. 무작위 지우기 기술은 마스크를 사용하여 폐색의 경우 네트워크 견고성을 향상시킬 수 있습니다. 적대적 훈련을 통해 견고성을 향상할 수도 있지만, 자연적 적대적 샘플의 유한한 수는 실제로 네트워크 성능을 크게 제한합니다. 신경 스타일 전달 접근 방식은 특정 작업에만 효과적이며 실제 적용은 제한적입니다. 특징 공간 증대는 특징 공간에서 표현을 보간하는 기능을 구현합니다. 현재의 최첨단 네트워크 성능을 달성하기 위해 GAN 기반 증강 기술이 적용되었습니다 [52]. 그러나 수치모델과 딥러닝의 장점을 활용할 수 있는 효과적인 데이터 증대 방법은 존재하지 않습니다. 본 논문에서는 물리적 지식을 기반으로 한 새로운 데이터 향상 기법을 제안하고자 한다. 제안하는 기법은 GAN 기반 증강보다 더 나은 성능을 보인다.