Revelando o poder da autoatenção para previsão de custos de envio: conclusão e trabalho futuro

Tabela de links

• Resumo e Introdução
• Trabalhos relacionados
• Metodologia
• Experimentar
• Conclusão e trabalho futuro
• Referências

5. Conclusão e Trabalho Futuro

Neste artigo, apresentamos uma nova estrutura baseada na arquitetura Transformer para prever custos de envio no dia 0. Nossa estrutura proposta codifica os atributos de remessa de um pacote, ou seja, a tabela de preços do pacote, em um espaço de incorporação uniforme. Essas incorporações são então alimentadas por meio de uma camada Transformer, que modela interações complexas de ordem superior e aprende uma representação eficaz da tabela de preços do pacote para prever os custos de envio. Nossos resultados experimentais demonstram que o modelo proposto, denominado RCT, supera o modelo GBDT em 28,8%. Além disso, demonstre que o RCT tem um desempenho melhor do que o modelo FT-Transformer SOTA para a definição do nosso problema. Mostramos também que quando a representação da tabela de preços aprendida pelo RCT é adicionada ao modelo GBDT, seu desempenho melhora em 12,51%. Isso ressalta o fato de que o RCT é capaz de aprender representações suficientes das informações da tabela de preços.

Neste trabalho, as informações de rota utilizadas foram limitadas apenas aos nós inicial e final. Trabalhos futuros poderiam explorar o uso de Redes Neurais de Grafos para codificar informações sobre a rota completa. Além disso, o desempenho do ECR pode ser melhorado explorando maneiras de incluir o ID do item como um recurso, como o uso de embeddings de itens que estão disponíveis internamente.

Além disso, embora o RCT tenha sido treinado para prever apenas o custo do envio, ele pode ser modificado para prever todos os atributos da fatura adicionando uma camada decodificadora Transformer. Isso permitiria outras aplicações, como detecção de anomalias em faturas. Além disso, pesquisas futuras poderiam investigar se as representações de pacotes aprendidas pelo RCT podem ser usadas para melhorar o desempenho de outras tarefas relacionadas ou para quantificar a incerteza do modelo em cada previsão através de abordagens como a proposta em Amini et al. (2019).