Red neuronal profunda para la predicción de la temperatura de la superficie del mar: antecedentes

Tabla de enlaces

• Resumen e introducción
• Fondo
• Método propuesto
• Resultados experimentales y análisis
• conclusiones y trabajo futuro
• Referencias

II. FONDO

A. Red generativa de confrontación

En 2014, Goodfellow et al. [16] propusieron un marco novedoso de modelo generativo entrenado de manera adversaria. En su método, se entrenaron simultáneamente un modelo generativo G y un modelo discriminativo D. El modelo G se aplicó para capturar indirectamente la distribución de los datos de entrada a través del modelo D y generar datos similares. Mientras que el modelo D estima las probabilidades de que sus muestras de entrada provengan de datos de entrenamiento en lugar del modelo G. El proceso de entrenamiento de G fue impulsado por los errores de probabilidad de D. En este proceso de confrontación, G y D guían el aprendizaje y fortalecen gradualmente la capacidad de cada uno. para lograr un desempeño sobresaliente.

Las GAN se han aplicado en tareas de relevancia física. Por ejemplo, Yang et al. [17] aplicaron GAN basadas en la física para abordar problemas de alta dimensión y resolvieron ecuaciones diferenciales estocásticas, Lutjens ¨ et al. [18] produjeron datos de inundaciones costeras más realistas mediante el uso de GAN para conocer las características de los datos del modelo numérico, Zheng et al. [19] infirieron los datos espaciales desconocidos con la ley física potencial que aprenden las GAN. Sin embargo, estos trabajos realizaron su modelo utilizando GAN para reemplazar todo el modelo numérico, lo cual es bastante diferente de nuestro trabajo. En este artículo, adoptamos el modelo GAN para transferir el conocimiento físico de los datos observados a los datos del modelo numérico, con el fin de corregir y mejorar las características físicas en el modelo numérico. Además, los métodos existentes solo aprenden un modelo determinista sin considerar si el código generado por el codificador está de acuerdo con el conocimiento semántico aprendido por la GAN.

B. Memoria convolucional a largo plazo

En 2015, se propuso ConvLSTM [20] para resolver la predicción inmediata de la precipitación. La estructura de red de ConvLSTM es capaz de capturar características espaciales locales como en las redes neuronales convolucionales (CNN) clásicas [21] mientras construye una relación secuencial, heredada de los bloques de memoria a corto plazo (LSTM). Además, los autores realizaron experimentos para demostrar que ConvLSTM puede funcionar mejor que LSTM en la relación espacio-temporal. Además de las tareas de predicción meteorológica, ConvLSTM se puede aplicar a diversos problemas de predicción secuencial espacio-temporal, por ejemplo, reconocimiento de acciones [22], [23].

C. Predicción de la temperatura de la superficie del mar

Lins et al. [24] investigaron la TSM en el Atlántico tropical utilizando un SVM. Patil et al. [25] adoptó una red neuronal artificial para predecir la temperatura de la superficie del mar. Funciona bien sólo en el caso de pronósticos con un plazo de entrega de 1 a 5 días y luego la precisión disminuye. Zhang et al. [26] aplicó LSTM a

predecir la TSM. Yang et al. [27] predijeron la SST mediante la construcción de un modelo LSTM completamente conectado. Desde otra perspectiva, Patil et al. [28] utilizaron una red neuronal wavelet para predecir la TSM diaria, mientras que Quala et al. [29] propusieron un método de red neuronal a nivel de parche para la predicción de SST. Sin embargo, estos métodos sólo se basan en datos e ignoran el conocimiento físico detrás de ellos. Ham et al. [15] adoptaron el aprendizaje por transferencia para predecir ENSO y clasificarlos. En este trabajo, realizamos experimentos comparativos y los resultados señalan que nuestro método reduce tanto los errores a corto plazo como el sesgo a largo plazo.

D. Aumento de datos

Acortar y col. [30] revisaron técnicas recientes de aumento de datos de imágenes para el aprendizaje profundo. El propósito del aumento de datos es mejorar la capacidad de representación de las redes neuronales y aprender mejor la distribución de los datos originales. En los últimos años, se han utilizado habitualmente dos tipos de técnicas de aumento de datos: transformación de datos y remuestreo. El enfoque de transformación de datos incluye transformación geométrica [31], transformación del espacio de color [32]–[34], borrado aleatorio [35]–[37], entrenamiento adversario [38]–[41] y transferencia de estilo [42]–[45 ]. La técnica de remuestreo pone especial énfasis en la composición de nuevas instancias, como la confusión de imágenes [46]–[48], la mejora del espacio de características [49], [50] y la red generativa adversarial (GAN) [16]. La transformación geométrica puede adquirir un buen rendimiento, como voltear, recortar, rotar, traducir e inyectar ruido [51]. Los resultados experimentales en [30] mostraron que la técnica de cultivo aleatorio funcionó bien. La transformación del espacio de color adolece de un gran consumo de memoria y un largo tiempo de cálculo. Las técnicas de borrado aleatorio pueden mejorar la solidez de la red en casos de oclusión mediante el uso de máscaras. Aunque el entrenamiento adversario también puede mejorar la robustez, el número finito de muestras adversarias naturales limita en gran medida el rendimiento de la red en la práctica. El enfoque de transferencia de estilo neuronal sólo es eficaz para tareas específicas, mientras que su aplicación práctica es limitada. El aumento del espacio de características implementa la capacidad de interpolar representaciones en el espacio de características. Se han aplicado técnicas de aumento basadas en GAN para lograr el rendimiento de la red más moderno [52]. Sin embargo, no existe un método eficaz de aumento de datos que pueda explotar los méritos del modelo numérico y el aprendizaje profundo. En este artículo, nuestro objetivo es proponer una nueva técnica de mejora de datos basada en el conocimiento físico. La técnica propuesta logra un mejor rendimiento que el aumento basado en GAN.