Revelando o poder da autoatenção para previsão de custos de envio: resumo e introdução

Tabela de links

• Resumo e Introdução
• Trabalhos relacionados
• Metodologia
• Experimentar
• Conclusão e trabalho futuro
• Referências

Abstrato

A Amazon envia bilhões de pacotes para seus clientes anualmente nos Estados Unidos. O custo de envio desses pacotes é utilizado no dia do envio (dia 0) para estimar a rentabilidade das vendas. Os sistemas downstream utilizam atualmente estimativas de lucratividade de 0 para tomar decisões financeiras, como estratégias de preços e exclusão de produtos deficitários. No entanto, obter estimativas precisas de custos de envio no dia 0 é complexo por motivos como atraso no faturamento da transportadora ou componentes de custo fixo registrados em uma cadência mensal. Estimativas imprecisas de custos de envio podem levar a decisões erradas, como preços muito baixos ou altos de itens ou promoção do produto errado para os clientes. As soluções atuais para estimar os custos de envio no dia 0 dependem de modelos baseados em árvore que exigem extensos esforços de engenharia manual. Neste estudo, propomos uma nova arquitetura chamada Rate Card Transformer (RCT) que usa autoatenção para codificar todas as informações de envio de pacotes, como atributos do pacote, informações da transportadora e plano de rota. Ao contrário de outros modelos tabulares baseados em transformadores, o RCT tem a capacidade de codificar uma lista variável de relações um-para-muitos de uma remessa, permitindo capturar mais informações sobre uma remessa. Por exemplo, o RCT pode codificar propriedades de todos os produtos em uma embalagem. Nossos resultados demonstram que as previsões de custos feitas pelo RCT apresentam 28,82% menos erros em comparação com o modelo GBDT baseado em árvore. Além disso, o RCT supera o modelo tabular baseado em transformador de última geração, FTTransformer, em 6,08%. Também ilustramos que o RCT aprende uma variedade generalizada da tabela de preços que pode melhorar o desempenho de modelos baseados em árvore.

1. Introdução

A Amazon envia pacotes na ordem de bilhões anualmente para seus clientes somente nos Estados Unidos. O planejamento da rota para esses pacotes é feito no dia do envio, dia 0. Como parte desse plano, o custo de envio de cada pacote é estimado dividindo a viagem do pacote em trechos menores e calculando o custo de cada trecho usando um tabela de preços. As estimativas de custo diário são usadas para calcular estimativas de rentabilidade iniciais para fins contábeis, por exemplo, a estimativa de lucros/perdas para cada item como resultado de uma venda específica a um cliente. Estas estimativas de rentabilidade são utilizadas por vários serviços a jusante para tomada de decisões e planeamento.

No entanto, as estimativas do dia 0 podem diferir do custo real devido a fatores como configuração inadequada da tabela de preços, dimensões incorretas do pacote, endereço de entrega incorreto, etc. sistemas. Por exemplo, se o custo de envio de um item for constantemente superestimado, o item poderá ser removido do catálogo. Por outro lado, o custo subestimado pode levar os sistemas de precificação a reduzir o preço do item, levando a perdas. Além disso, estimativas imprecisas também nos levam a promover produtos errados ao cliente, causando uma experiência ruim ao cliente. Para melhorar essas estimativas de custos de envio, propomos um modelo de aprendizagem profunda baseado em Transformer que prevê com precisão o custo de envio no dia 0.

No contexto do envio, uma embalagem é caracterizada por suas dimensões físicas, peso e conteúdo. Inclui também detalhes sobre a transportadora responsável pelo transporte e a rota pretendida. Além disso, um pacote está associado a um número variável de atributos que descrevem o(s) item(s) dentro dele e os diversos encargos relacionados ao seu envio. Coletivamente, nos referimos a esses atributos como a tabela de preços associada ao pacote. Para conjuntos de dados tabulares, como tabelas de preços de pacotes, modelos baseados em árvores, como Gradient Boosted Decision Trees (GBDT), XGBoost (Chen e Guestrin, 2016), etc., são considerados modelos de última geração (SOTA). No entanto, a sua eficácia depende fortemente de recursos de entrada de alta qualidade (Arik et al., 2019), que podem exigir uma extensa engenharia de recursos. Para o nosso caso de uso, esse problema é ainda mais acentuado pelo fato de que o conceito alvo depende de interações combinatórias de alta ordem entre os atributos da tabela de preços. Por exemplo, se a tabela de preços estiver configurada incorretamente para grandes contêineres com substâncias inflamáveis enviadas de Washington DC para Nova York pela transportadora ABC, então o modelo terá que aprender a associar a combinação de propriedades < tamanho = grande, item = inflamável, origem = W ashington , destino = Nova York, transportadora = ABC > com alto desvio entre custos estimados e reais. Ao lidar com combinações de características, considerar todas as possíveis interações de ordem superior entre as propriedades do pacote pode ser impraticável devido ao aumento exponencial no número de interações com cada aumento na ordem, levando à maldição da dimensionalidade (Bishop, 2006). Outra deficiência dos modelos baseados em árvore é sua incapacidade de lidar com uma lista de recursos de comprimento variável. Um pacote pode conter vários itens e seu custo de envio pode ser dividido em vários tipos de cobrança. Experimentos anteriores demonstraram que adicionar recursos projetados a partir de vários itens e cobranças melhorou o desempenho do GBDT. No entanto, devido à incapacidade dos modelos baseados em árvore de lidar com listas variáveis de recursos, não foi possível obter informações completas deles.

Neste artigo, inspirado no recente sucesso de transformadores em domínio tabular (Huang et al., 2020; Somepalli et al., 2021; Gorishniy et al., 2021), propomos uma nova arquitetura chamada Rate Card Transformer (RCT) para prever o custo de envio no dia 0. O modelo proposto é projetado especificamente para aprender a incorporação de uma tabela de preços associada a um pacote. O RCT aproveita mecanismos de autoatenção para capturar efetivamente as interdependências entre vários componentes em uma tabela de preços, aprendendo as interações entre os recursos de entrada. Especificamente, nossas contribuições neste trabalho incluem:

• Propor uma nova arquitetura, Rate Card Transformer (RCT), que aproveita a arquitetura do transformador para aprender uma variedade da tabela de preços, para prever o custo de envio no Dia 0. Além disso, é demonstrado que o RCT supera os GBDTs e o estado do mercado. art transformador tabular, FT-Transformer, (Gorishniy et al., 2021) na previsão de custos de envio.

• Extensos experimentos são realizados para mostrar que as incorporações aprendidas são uma representação suficiente da variedade da tabela de preços e que as camadas de autoatenção são aprendizes eficazes de interação de recursos. Estudos de ablação são realizados para analisar o impacto do número de camadas do transformador e cabeças de atenção no desempenho do modelo.