paint-brush
Tiefes neuronales Netzwerk zur Vorhersage der Meeresoberflächentemperatur: Hintergrundvon@oceanography
152 Lesungen

Tiefes neuronales Netzwerk zur Vorhersage der Meeresoberflächentemperatur: Hintergrund

Zu lang; Lesen

In diesem Artikel verbessern Forscher die SST-Vorhersage, indem sie physikalisches Wissen aus historischen Beobachtungen auf numerische Modelle übertragen.
featured image - Tiefes neuronales Netzwerk zur Vorhersage der Meeresoberflächentemperatur: Hintergrund
Oceanography: Everything You Need to Study the Ocean HackerNoon profile picture
0-item

Autoren:

(1) Yuxin Meng;

(2) Feng Gao;

(3) Eric Rigall;

(3) Der Vorsitzende;

(3) Johannes B.;

(6) Qian Du.

Linktabelle

II. HINTERGRUND

A. Generatives kontradiktorisches Netzwerk


Goodfellow et al. [16] haben 2014 ein neuartiges Framework für generative Modelle vorgestellt, das auf kontradiktorische Weise trainiert wird. Bei ihrer Methode wurden ein generatives Modell G und ein diskriminatives Modell D gleichzeitig trainiert. Das Modell G wurde angewendet, um die Verteilung der Eingabedaten indirekt durch Modell D zu erfassen und ähnliche Daten zu generieren. Während Modell D die Wahrscheinlichkeiten schätzt, dass seine Eingabeproben aus Trainingsdaten und nicht aus Modell G stammen. Der Trainingsprozess von G wurde durch die Wahrscheinlichkeitsfehler von D gesteuert. In diesem kontradiktorischen Prozess leiten G und D das Lernen und stärken schrittweise die Fähigkeit des jeweils anderen, herausragende Leistungen zu erzielen.


GANs wurden bei physikalisch relevanten Aufgaben eingesetzt. Yang et al. [17] beispielsweise verwendeten physikalisch fundierte GANs, um hochdimensionale Probleme zu lösen und stochastische Differentialgleichungen zu lösen, Lutjens ¨ et al. [18] erstellten realistischere Daten zu Küstenüberschwemmungen, indem sie GANs verwendeten, um die Merkmale in den Daten des numerischen Modells zu lernen, und Zheng et al. [19] folgerten die unbekannten räumlichen Daten mithilfe der potenziellen physikalischen Gesetze, die von GANs gelernt werden. Diese Arbeiten führten ihr Modell jedoch durch, indem sie GANs verwendeten, um das gesamte numerische Modell zu ersetzen, was sich deutlich von unserer Arbeit unterscheidet. In diesem Artikel verwenden wir ein GAN-Modell, um das physikalische Wissen aus den beobachteten Daten auf die Daten des numerischen Modells zu übertragen und so das physikalische Merkmal im numerischen Modell zu korrigieren und zu verbessern. Darüber hinaus lernen bestehende Methoden nur ein deterministisches Modell, ohne zu berücksichtigen, ob der vom Encoder generierte Code mit dem vom GAN gelernten semantischen Wissen übereinstimmt.


B. Faltungs-Lang-Kurzzeitgedächtnis


Im Jahr 2015 wurde ConvLSTM [20] zur Lösung der Niederschlagsvorhersage vorgeschlagen. Die Netzwerkstruktur von ConvLSTM ist in der Lage, lokale räumliche Merkmale wie in klassischen Convolutional Neural Networks (CNN) [21] zu erfassen und gleichzeitig eine sequentielle Beziehung aufzubauen, die von Long Short-Term Memory (LSTM)-Blöcken übernommen wurde. Darüber hinaus führten die Autoren Experimente durch, um zu zeigen, dass ConvLSTM bei räumlich-zeitlichen Beziehungen eine bessere Leistung als LSTM erzielen kann. Abgesehen von Wettervorhersageaufgaben kann ConvLSTM auf verschiedene räumlich-zeitliche sequentielle Vorhersageprobleme angewendet werden, beispielsweise auf die Aktionserkennung [22], [23].


C. Vorhersage der Meeresoberflächentemperatur


Lins et al. [24] untersuchten die SST im tropischen Atlantik mithilfe eines SVM. Patil et al. [25] verwendeten ein künstliches neuronales Netzwerk zur Vorhersage der Meeresoberflächentemperatur. Es funktioniert nur bei Vorhersagen mit einer Vorlaufzeit von 1 bis 5 Tagen gut, danach nimmt die Genauigkeit ab. Zhang et al. [26] verwendeten LSTM zur


Abb. 2. Darstellung der vorgeschlagenen SST-Vorhersagemethode. Sie besteht aus zwei Phasen: Vorheriges Netzwerktraining und SST-Vorhersage mit verbesserten Daten. In der ersten Phase wird ein vorheriges Netzwerk trainiert, um physikverstärkte SST zu generieren. In der zweiten Phase werden die physikverstärkten SST zur SST-Vorhersage über ConvLSTM verwendet.


SST vorhersagen. Yang et al. [27] haben SST vorhergesagt, indem sie ein vollständig verbundenes LSTM-Modell erstellt haben. Aus einer anderen Perspektive verwendeten Patil et al. [28] ein Wavelet-Neuralnetz, um tägliche SST vorherzusagen, während Quala et al. [29] eine Patch-Level-Neuralnetzmethode zur SST-Vorhersage vorschlugen. Diese Methoden basieren jedoch nur auf Daten und ignorieren das physikalische Wissen, das ihnen zugrunde liegt. Ham et al. [15] haben Transferlernen angewendet, um ENSO vorherzusagen und zu klassifizieren. In dieser Arbeit führen wir Vergleichsexperimente durch und die Ergebnisse zeigen, dass unsere Methode sowohl die kurzfristigen Fehler als auch die langfristige Verzerrung reduziert.


D. Datenerweiterung


Shorten et al. [30] haben aktuelle Techniken zur Bilddatenerweiterung für Deep Learning untersucht. Der Zweck der Datenerweiterung besteht darin, die Darstellungsfähigkeit neuronaler Netzwerke zu verbessern und die Verteilung der Originaldaten besser zu erlernen. In den letzten Jahren wurden zwei Arten von Datenerweiterungstechniken häufig verwendet: Datentransformation und Resampling. Der Datentransformationsansatz umfasst geometrische Transformation [31], Farbraumtransformation [32]–[34], zufälliges Löschen [35]–[37], kontradiktorisches Training [38]–[41] und Stilübertragung [42]–[45]. Die Resampling-Technik legt besonderen Wert auf die Zusammensetzung neuer Instanzen, wie Bildmixup [46]–[48], Merkmalsraumerweiterung [49], [50] und generatives kontradiktorisches Netzwerk (GAN) [16]. Geometrische Transformationen können gute Leistungen erzielen, wie Bildspiegelung, Zuschneiden, Drehen, Verschieben und Rauscheneinfügung [51]. Die experimentellen Ergebnisse in [30] zeigten, dass die Technik des zufälligen Zuschneidens gut funktionierte. Die Farbraumtransformation leidet unter einem hohen Speicherverbrauch und langen Rechenzeiten. Zufällige Löschtechniken können die Netzwerkrobustheit in Okklusionsfällen durch Verwendung von Masken verbessern. Obwohl auch gegnerisches Training die Robustheit verbessern kann, begrenzt die begrenzte Anzahl natürlicher gegnerischer Stichproben die Netzwerkleistung in der Praxis stark. Der Ansatz der neuronalen Stilübertragung ist nur für bestimmte Aufgaben effektiv, während seine praktische Anwendung begrenzt ist. Die Merkmalsraumerweiterung implementiert die Fähigkeit, Darstellungen im Merkmalsraum zu interpolieren. GAN-basierte Erweiterungstechniken wurden angewendet, um die aktuelle Netzwerkleistung auf dem neuesten Stand der Technik zu erreichen [52]. Es gibt jedoch keine effektive Datenerweiterungsmethode, die die Vorteile des numerischen Modells und des Deep Learning nutzen könnte. In diesem Artikel möchten wir eine neuartige Datenerweiterungstechnik vorschlagen, die auf physikalischem Wissen basiert. Die vorgeschlagene Technik erreicht eine bessere Leistung als die GAN-basierte Erweiterung.