Mạng lưới thần kinh sâu để dự đoán nhiệt độ bề mặt biển: Bối cảnh

Bảng liên kết

• Tóm tắt và giới thiệu
• Lý lịch
• Phương án đề xuất
• Kết quả và phân tích thí nghiệm
• Kết luận và công việc tương lai
• Người giới thiệu

II. LÝ LỊCH

A. Mạng lưới đối thủ sáng tạo

Năm 2014, Goodfellow và cộng sự. [16] đưa ra một khuôn khổ mới về mô hình sinh sản được đào tạo theo cách đối nghịch. Trong phương pháp của họ, mô hình tổng quát G và mô hình phân biệt đối xử D đã được huấn luyện đồng thời. Mô hình G được áp dụng để nắm bắt gián tiếp việc phân phối dữ liệu đầu vào thông qua mô hình D và tạo ra dữ liệu tương tự. Trong khi mô hình D ước tính xác suất mà các mẫu đầu vào của nó đến từ dữ liệu huấn luyện thay vì mô hình G. Quá trình huấn luyện của G bị chi phối bởi các lỗi xác suất của D. Trong quá trình đối nghịch này, G và D hướng dẫn việc học và dần dần tăng cường khả năng của nhau để đạt được hiệu suất vượt trội.

GAN đã được áp dụng trong các nhiệm vụ liên quan đến vật lý. Ví dụ, Yang và cộng sự. [17] đã áp dụng GAN dựa trên vật lý để giải quyết các vấn đề nhiều chiều và giải các phương trình vi phân ngẫu nhiên, Lutjens ¨ et al. [18] đã tạo ra dữ liệu lũ lụt ven biển thực tế hơn bằng cách sử dụng GAN để tìm hiểu các tính năng trong dữ liệu mô hình số, Zheng et al. [19] đã suy ra dữ liệu không gian chưa biết với định luật vật lý tiềm năng được GAN học được. Tuy nhiên, những công trình này đã thực hiện mô hình của mình bằng cách sử dụng GAN để thay thế toàn bộ mô hình số, điều này hoàn toàn khác với công việc của chúng tôi. Trong bài báo này, chúng tôi áp dụng mô hình GAN để chuyển kiến thức vật lý từ dữ liệu quan sát sang dữ liệu mô hình số, nhằm hiệu chỉnh và cải thiện tính năng vật lý trong mô hình số. Ngoài ra, các phương pháp hiện tại chỉ học một mô hình xác định mà không xem xét liệu mã do bộ mã hóa tạo ra có phù hợp với kiến thức ngữ nghĩa mà GAN đã học hay không.

B. Trí nhớ ngắn hạn dài hạn

Vào năm 2015, ConvLSTM [20] đã được đề xuất để giải quyết vấn đề dự báo lượng mưa. Cấu trúc mạng của ConvLSTM có thể nắm bắt các đặc điểm không gian cục bộ như trong mạng thần kinh tích chập cổ điển (CNN) [21] trong khi xây dựng mối quan hệ tuần tự, được kế thừa từ các khối Bộ nhớ ngắn hạn dài (LSTM). Hơn nữa, các tác giả đã tiến hành thử nghiệm cho thấy ConvLSTM có khả năng hoạt động tốt hơn LSTM về mối quan hệ không gian-thời gian. Ngoài các nhiệm vụ dự báo thời tiết, ConvLSTM có thể được áp dụng cho các vấn đề dự đoán tuần tự theo không gian-thời gian khác nhau, ví dụ như nhận dạng hành động [22], [23].

C. Dự báo nhiệt độ bề mặt biển

Lins và cộng sự. [24] đã điều tra SST ở vùng nhiệt đới Đại Tây Dương bằng cách sử dụng SVM. Patil và cộng sự. [25] đã áp dụng mạng lưới thần kinh nhân tạo để dự đoán nhiệt độ mặt nước biển. Nó chỉ hoạt động tốt trong trường hợp dự báo có thời gian thực hiện từ 1 đến 5 ngày và sau đó độ chính xác giảm xuống. Zhang và cộng sự. [26] đã áp dụng LSTM để

dự đoán SST. Yang và cộng sự. [27] dự đoán SST bằng cách xây dựng mô hình LSTM được kết nối đầy đủ. Từ góc độ khác, Patil et al. [28] đã sử dụng mạng lưới thần kinh Wavelet để dự đoán SST hàng ngày, trong khi Quala et al. [29] đề xuất phương pháp mạng nơ-ron cấp bản vá để dự đoán SST. Tuy nhiên, những phương pháp này chỉ dựa vào dữ liệu và bỏ qua kiến thức vật lý đằng sau chúng. Hàm và cộng sự. [15] đã áp dụng phương pháp học chuyển giao để dự đoán ENSO và phân loại chúng. Trong công việc này, chúng tôi tiến hành các thí nghiệm so sánh và kết quả chỉ ra rằng phương pháp của chúng tôi làm giảm các sai số ngắn hạn cũng như sai lệch dài hạn.

D. Tăng cường dữ liệu

Rút ngắn và cộng sự. [30] đã xem xét các kỹ thuật tăng cường dữ liệu hình ảnh gần đây cho học sâu. Mục đích của việc tăng cường dữ liệu là nâng cao khả năng biểu diễn của mạng thần kinh và tìm hiểu cách phân phối dữ liệu gốc tốt hơn. Trong những năm gần đây, hai loại kỹ thuật tăng cường dữ liệu đã được sử dụng phổ biến: chuyển đổi dữ liệu và lấy mẫu lại. Phương pháp chuyển đổi dữ liệu bao gồm chuyển đổi hình học [31], chuyển đổi không gian màu [32]–[34], xóa ngẫu nhiên [35]–[37], huấn luyện đối nghịch [38]–[41] và chuyển kiểu [42]–[45 ]. Kỹ thuật lấy mẫu lại đặc biệt nhấn mạnh vào thành phần phiên bản mới, chẳng hạn như trộn hình ảnh [46]–[48], nâng cao không gian tính năng [49], [50] và mạng đối thủ tổng hợp (GAN) [16]. Phép biến đổi hình học có thể đạt được hiệu suất tốt, chẳng hạn như lật ảnh, cắt, xoay, dịch và chèn nhiễu [51]. Kết quả thực nghiệm trong [30] cho thấy kỹ thuật cắt ngẫu nhiên hoạt động tốt. Việc chuyển đổi không gian màu tiêu tốn nhiều bộ nhớ và thời gian tính toán lâu. Kỹ thuật xóa ngẫu nhiên có thể cải thiện độ bền của mạng trong trường hợp tắc nghẽn bằng cách sử dụng mặt nạ. Mặc dù việc đào tạo đối thủ cũng có thể cải thiện tính mạnh mẽ, nhưng số lượng mẫu đối thủ tự nhiên hữu hạn phần lớn hạn chế hiệu suất mạng trong thực tế. Phương pháp chuyển giao kiểu thần kinh chỉ hiệu quả đối với các nhiệm vụ cụ thể, trong khi ứng dụng thực tế của nó còn hạn chế. Việc tăng cường không gian đối tượng thực hiện khả năng nội suy các biểu diễn trong không gian đối tượng. Các kỹ thuật tăng cường dựa trên GAN đã được áp dụng để đạt được hiệu suất mạng hiện đại nhất [52]. Tuy nhiên, không tồn tại một phương pháp tăng cường dữ liệu hiệu quả nào có thể khai thác được ưu điểm của mô hình số và học sâu. Trong bài báo này, chúng tôi mong muốn đề xuất một kỹ thuật nâng cao dữ liệu mới dựa trên kiến thức vật lý. Kỹ thuật đề xuất đạt được hiệu suất tốt hơn so với tăng cường dựa trên GAN.