Tiefes neuronales Netzwerk zur Vorhersage der Meeresoberflächentemperatur: Hintergrund

Linktabelle

• Zusammenfassung und Einleitung
• Hintergrund
• Vorgeschlagene Methode
• Experimentelle Ergebnisse und Analyse
• Schlussfolgerungen und zukünftige Arbeiten
• Verweise

II. HINTERGRUND

A. Generatives kontradiktorisches Netzwerk

Goodfellow et al. [16] haben 2014 ein neuartiges Framework für generative Modelle vorgestellt, das auf kontradiktorische Weise trainiert wird. Bei ihrer Methode wurden ein generatives Modell G und ein diskriminatives Modell D gleichzeitig trainiert. Das Modell G wurde angewendet, um die Verteilung der Eingabedaten indirekt durch Modell D zu erfassen und ähnliche Daten zu generieren. Während Modell D die Wahrscheinlichkeiten schätzt, dass seine Eingabeproben aus Trainingsdaten und nicht aus Modell G stammen. Der Trainingsprozess von G wurde durch die Wahrscheinlichkeitsfehler von D gesteuert. In diesem kontradiktorischen Prozess leiten G und D das Lernen und stärken schrittweise die Fähigkeit des jeweils anderen, herausragende Leistungen zu erzielen.

GANs wurden bei physikalisch relevanten Aufgaben eingesetzt. Yang et al. [17] beispielsweise verwendeten physikalisch fundierte GANs, um hochdimensionale Probleme zu lösen und stochastische Differentialgleichungen zu lösen, Lutjens ¨ et al. [18] erstellten realistischere Daten zu Küstenüberschwemmungen, indem sie GANs verwendeten, um die Merkmale in den Daten des numerischen Modells zu lernen, und Zheng et al. [19] folgerten die unbekannten räumlichen Daten mithilfe der potenziellen physikalischen Gesetze, die von GANs gelernt werden. Diese Arbeiten führten ihr Modell jedoch durch, indem sie GANs verwendeten, um das gesamte numerische Modell zu ersetzen, was sich deutlich von unserer Arbeit unterscheidet. In diesem Artikel verwenden wir ein GAN-Modell, um das physikalische Wissen aus den beobachteten Daten auf die Daten des numerischen Modells zu übertragen und so das physikalische Merkmal im numerischen Modell zu korrigieren und zu verbessern. Darüber hinaus lernen bestehende Methoden nur ein deterministisches Modell, ohne zu berücksichtigen, ob der vom Encoder generierte Code mit dem vom GAN gelernten semantischen Wissen übereinstimmt.

B. Faltungs-Lang-Kurzzeitgedächtnis

Im Jahr 2015 wurde ConvLSTM [20] zur Lösung der Niederschlagsvorhersage vorgeschlagen. Die Netzwerkstruktur von ConvLSTM ist in der Lage, lokale räumliche Merkmale wie in klassischen Convolutional Neural Networks (CNN) [21] zu erfassen und gleichzeitig eine sequentielle Beziehung aufzubauen, die von Long Short-Term Memory (LSTM)-Blöcken übernommen wurde. Darüber hinaus führten die Autoren Experimente durch, um zu zeigen, dass ConvLSTM bei räumlich-zeitlichen Beziehungen eine bessere Leistung als LSTM erzielen kann. Abgesehen von Wettervorhersageaufgaben kann ConvLSTM auf verschiedene räumlich-zeitliche sequentielle Vorhersageprobleme angewendet werden, beispielsweise auf die Aktionserkennung [22], [23].

C. Vorhersage der Meeresoberflächentemperatur

Lins et al. [24] untersuchten die SST im tropischen Atlantik mithilfe eines SVM. Patil et al. [25] verwendeten ein künstliches neuronales Netzwerk zur Vorhersage der Meeresoberflächentemperatur. Es funktioniert nur bei Vorhersagen mit einer Vorlaufzeit von 1 bis 5 Tagen gut, danach nimmt die Genauigkeit ab. Zhang et al. [26] verwendeten LSTM zur

SST vorhersagen. Yang et al. [27] haben SST vorhergesagt, indem sie ein vollständig verbundenes LSTM-Modell erstellt haben. Aus einer anderen Perspektive verwendeten Patil et al. [28] ein Wavelet-Neuralnetz, um tägliche SST vorherzusagen, während Quala et al. [29] eine Patch-Level-Neuralnetzmethode zur SST-Vorhersage vorschlugen. Diese Methoden basieren jedoch nur auf Daten und ignorieren das physikalische Wissen, das ihnen zugrunde liegt. Ham et al. [15] haben Transferlernen angewendet, um ENSO vorherzusagen und zu klassifizieren. In dieser Arbeit führen wir Vergleichsexperimente durch und die Ergebnisse zeigen, dass unsere Methode sowohl die kurzfristigen Fehler als auch die langfristige Verzerrung reduziert.

D. Datenerweiterung

Shorten et al. [30] haben aktuelle Techniken zur Bilddatenerweiterung für Deep Learning untersucht. Der Zweck der Datenerweiterung besteht darin, die Darstellungsfähigkeit neuronaler Netzwerke zu verbessern und die Verteilung der Originaldaten besser zu erlernen. In den letzten Jahren wurden zwei Arten von Datenerweiterungstechniken häufig verwendet: Datentransformation und Resampling. Der Datentransformationsansatz umfasst geometrische Transformation [31], Farbraumtransformation [32]–[34], zufälliges Löschen [35]–[37], kontradiktorisches Training [38]–[41] und Stilübertragung [42]–[45]. Die Resampling-Technik legt besonderen Wert auf die Zusammensetzung neuer Instanzen, wie Bildmixup [46]–[48], Merkmalsraumerweiterung [49], [50] und generatives kontradiktorisches Netzwerk (GAN) [16]. Geometrische Transformationen können gute Leistungen erzielen, wie Bildspiegelung, Zuschneiden, Drehen, Verschieben und Rauscheneinfügung [51]. Die experimentellen Ergebnisse in [30] zeigten, dass die Technik des zufälligen Zuschneidens gut funktionierte. Die Farbraumtransformation leidet unter einem hohen Speicherverbrauch und langen Rechenzeiten. Zufällige Löschtechniken können die Netzwerkrobustheit in Okklusionsfällen durch Verwendung von Masken verbessern. Obwohl auch gegnerisches Training die Robustheit verbessern kann, begrenzt die begrenzte Anzahl natürlicher gegnerischer Stichproben die Netzwerkleistung in der Praxis stark. Der Ansatz der neuronalen Stilübertragung ist nur für bestimmte Aufgaben effektiv, während seine praktische Anwendung begrenzt ist. Die Merkmalsraumerweiterung implementiert die Fähigkeit, Darstellungen im Merkmalsraum zu interpolieren. GAN-basierte Erweiterungstechniken wurden angewendet, um die aktuelle Netzwerkleistung auf dem neuesten Stand der Technik zu erreichen [52]. Es gibt jedoch keine effektive Datenerweiterungsmethode, die die Vorteile des numerischen Modells und des Deep Learning nutzen könnte. In diesem Artikel möchten wir eine neuartige Datenerweiterungstechnik vorschlagen, die auf physikalischem Wissen basiert. Die vorgeschlagene Technik erreicht eine bessere Leistung als die GAN-basierte Erweiterung.