Rede Neural Profunda para Previsão da Temperatura da Superfície do Mar: Antecedentes

Tabela de links

• Resumo e introdução
• Fundo
• Método proposto
• Resultados Experimentais e Análise
• Conclusões e Trabalho Futuro
• Referências

II. FUNDO

A. Rede Adversarial Gerativa

Em 2014, Goodfellow et al. [16] apresentaram uma nova estrutura de modelo generativo treinado de maneira adversária. Em seu método, um modelo generativo G e um modelo discriminativo D foram treinados simultaneamente. O modelo G foi aplicado para capturar indiretamente a distribuição dos dados de entrada através do modelo D e gerar dados semelhantes. Enquanto o modelo D estima as probabilidades de que suas amostras de entrada venham de dados de treinamento em vez do modelo G. O processo de treinamento de G foi impulsionado pelos erros de probabilidade de D. Neste processo adversário, G e D orientam o aprendizado e fortalecem gradualmente a capacidade um do outro para alcançar um desempenho excepcional.

GANs foram aplicados em tarefas fisicamente relevantes. Por exemplo, Yang et al. [17] aplicaram GANs com base na física para lidar com problemas de alta dimensão e resolveram equações diferenciais estocásticas, Lutjens ¨ et al. [18] produziram dados mais realistas sobre inundações costeiras usando GANs para aprender as características dos dados do modelo numérico, Zheng et al. [19] inferiram os dados espaciais desconhecidos com a lei física potencial que é aprendida pelos GANs. Porém, esses trabalhos realizaram seu modelo utilizando GAN para substituir todo o modelo numérico, o que é bem diferente do nosso trabalho. Neste artigo, adotamos o modelo GAN para transferir o conhecimento físico dos dados observados para os dados do modelo numérico, a fim de corrigir e melhorar a característica física no modelo numérico. Além disso, os métodos existentes aprendem apenas um modelo determinístico sem considerar se o código gerado pelo codificador está de acordo com o conhecimento semântico aprendido pelo GAN.

B. Memória Convolucional Longa de Curto Prazo

Em 2015, o ConvLSTM [20] foi proposto para resolver a previsão de precipitação. A estrutura de rede do ConvLSTM é capaz de capturar características espaciais locais como nas redes neurais convolucionais clássicas (CNN) [21] enquanto constrói um relacionamento sequencial, herdado de blocos de Long Short-Term Memory (LSTM). Além disso, os autores conduziram experimentos para mostrar que o ConvLSTM é capaz de ter um desempenho melhor que o LSTM no relacionamento espaço-temporal. Além de tarefas de previsão do tempo, o ConvLSTM pode ser aplicado a vários problemas de previsão sequencial espaço-temporal, por exemplo, reconhecimento de ação [22], [23].

C. Previsão da temperatura da superfície do mar

Lins et al. [24] investigaram a TSM no Atlântico tropical usando um SVM. Patil et al. [25] adotaram uma rede neural artificial para prever a temperatura da superfície do mar. Ele funciona bem apenas no caso de previsão com prazo de entrega de 1 a 5 dias e então a precisão diminui. Zhang et al. [26] aplicaram LSTM para

prever TSM. Yang et al. [27] previram o SST construindo um modelo LSTM totalmente conectado. De outra perspectiva, Patil et al. [28] usaram uma rede neural wavelet para prever a TSM diária, enquanto Quala et al. [29] propuseram um método de rede neural em nível de patch para previsão de TSM. No entanto, estes métodos dependem apenas de dados e ignoram o conhecimento físico por trás deles. Ham et al. [15] adotaram a aprendizagem por transferência para prever o ENSO e classificá-los. Neste trabalho, conduzimos experimentos comparativos e os resultados apontam que nosso método reduz os erros de curto prazo, bem como o viés de longo prazo.

D. Aumento de dados

Encurtar et al. [30] revisaram técnicas recentes de aumento de dados de imagem para aprendizado profundo. O objetivo do aumento de dados é aprimorar a capacidade de representação das redes neurais e aprender melhor a distribuição dos dados originais. Nos últimos anos, dois tipos de técnicas de aumento de dados têm sido comumente usados: transformação e reamostragem de dados. A abordagem de transformação de dados inclui transformação geométrica [31], transformação do espaço de cores [32]–[34], apagamento aleatório [35]–[37], treinamento adversário [38]–[41] e transferência de estilo [42]–[45 ]. A técnica de reamostragem dá ênfase particular à composição de novas instâncias, como mistura de imagens [46] – [48], aprimoramento de espaço de recursos [49], [50] e rede adversária generativa (GAN) [16]. A transformação geométrica pode adquirir um bom desempenho, como inversão de imagem, corte, rotação, translação e injeção de ruído [51]. Os resultados experimentais em [30] mostraram que a técnica de corte aleatório teve um bom desempenho. A transformação do espaço de cores sofre com um grande consumo de memória e um longo tempo de computação. Técnicas de apagamento aleatório podem melhorar a robustez da rede em casos de oclusão através do uso de máscaras. Embora o treinamento adversário também possa melhorar a robustez, o número finito de amostras adversárias naturais limita em grande parte o desempenho da rede na prática. A abordagem de transferência de estilo neural só é eficaz para tarefas específicas, embora sua aplicação prática seja limitada. O aumento do espaço de recursos implementa a capacidade de interpolar representações no espaço de recursos. Técnicas de aumento baseadas em GAN foram aplicadas para alcançar o desempenho de rede de última geração [52]. No entanto, não existe um método eficaz de aumento de dados que possa explorar os méritos do modelo numérico e do aprendizado profundo. Neste artigo, pretendemos propor uma nova técnica de aprimoramento de dados baseada no conhecimento físico. A técnica proposta atinge melhor desempenho do que o aumento baseado em GAN.