배송비 예측을 위한 자기주의의 힘 공개: 요약 및 소개

링크 표

• 초록 및 소개
• 관련 작품
• 방법론
• 실험
• 결론 및 향후 작업
• 참고자료

추상적인

Amazon은 매년 미국 내 고객에게 수십억 개의 패키지를 배송합니다. 해당 패키지의 배송비는 배송 당일(0일)을 기준으로 판매 수익성을 추정하는 데 사용됩니다. 다운스트림 시스템은 요즘 수익성 추정치를 활용하여 가격 책정 전략 및 손실이 발생하는 제품 상장 폐지와 같은 재정적 결정을 내립니다. 그러나 0일차에 정확한 배송비 추정치를 얻는 것은 운송업체 송장 발행 지연이나 월간 케이던스에 기록되는 고정 비용 구성요소 등의 이유로 복잡합니다. 부정확한 배송 비용 추정은 품목 가격을 너무 낮거나 높게 책정하거나 고객에게 잘못된 제품을 홍보하는 등 잘못된 결정으로 이어질 수 있습니다. 0일차 배송 비용을 추정하기 위한 현재 솔루션은 광범위한 수동 엔지니어링 노력이 필요한 트리 기반 모델에 의존합니다. 본 연구에서는 패키지 속성, 운송업체 정보, 경로 계획 등 모든 패키지 배송 정보를 인코딩하기 위해 self-attention을 사용하는 RCT(Rate Card Transformer)라는 새로운 아키텍처를 제안합니다. 다른 변환기 기반 테이블 형식 모델과 달리 RCT는 배송의 일대다 관계에 대한 변수 목록을 인코딩하여 배송에 대한 더 많은 정보를 캡처할 수 있습니다. 예를 들어 RCT는 패키지에 있는 모든 제품의 속성을 인코딩할 수 있습니다. 우리의 결과는 RCT에 의한 비용 예측이 트리 기반 GBDT 모델에 비해 오류가 28.82% 적다는 것을 보여줍니다. 또한 RCT는 최첨단 Transformer 기반 테이블 형식 모델인 FTTransformer보다 6.08% 더 나은 성능을 발휘합니다. 또한 RCT가 트리 기반 모델의 성능을 향상시킬 수 있는 요율표의 일반화된 다양체를 학습한다는 것을 설명합니다.

1. 소개

Amazon은 미국 내 고객에게만 매년 수십억 개의 패키지를 배송합니다. 이러한 패키지에 대한 경로 계획은 배송 당일인 0일에 완료됩니다. 이 계획의 일부로 각 패키지의 배송 비용은 패키지 여행을 더 작은 구간으로 나누고 다음을 사용하여 각 구간의 비용을 계산하여 추정됩니다. 요율표. 일별 비용 추정은 회계 목적으로 초기 수익성 추정을 계산하는 데 사용됩니다(예: 고객에 대한 특정 판매 결과로 인한 각 품목의 손익 추정). 이러한 수익성 추정치는 의사 결정 및 계획을 위해 여러 다운스트림 서비스에서 사용됩니다.

그러나 0일차 추정치는 부적절한 요율표 구성, 잘못된 패키지 크기, 잘못된 배송 주소 등과 같은 요인으로 인해 실제 비용과 다를 수 있습니다. 부정확한 비용 추정으로 인해 수익성 추정이 왜곡되고 결과적으로 다운스트림의 차선책 재무 결정으로 이어집니다. 시스템. 예를 들어, 품목의 배송비가 지속적으로 과대평가되는 경우 해당 품목이 카탈로그에서 제거될 수 있습니다. 반면, 비용이 과소평가되면 가격 책정 시스템이 품목 가격을 낮추어 손실을 초래할 수 있습니다. 또한, 부정확한 추정으로 인해 고객에게 잘못된 제품을 홍보하게 되어 나쁜 고객 경험을 초래하게 됩니다. 이러한 배송비 추정을 개선하기 위해 우리는 0일차의 배송비를 정확하게 예측하는 Transformer 기반 딥러닝 모델을 제안합니다.

배송 과정에서 패키지는 물리적 크기, 무게, 내용물에 따라 결정됩니다. 또한 운송을 담당하는 운송업체와 예정 경로에 대한 세부정보도 포함됩니다. 또한 패키지는 내부 품목 및 배송과 관련된 다양한 요금을 설명하는 다양한 속성과 연결됩니다. 이러한 속성을 통칭하여 패키지와 연결된 요율표라고 합니다. 패키지 요율표와 같은 표 형식 데이터 세트의 경우 GBDT(Gradient Boosted Decision Trees), XGBoost(Chen and Guestrin, 2016) 등과 같은 트리 기반 모델이 최첨단(SOTA) 모델로 간주됩니다. 그러나 그 효율성은 광범위한 기능 엔지니어링이 필요할 수 있는 고품질 입력 기능(Arik et al., 2019)에 크게 의존합니다. 우리의 사용 사례에서 이 문제는 목표 개념이 요율표 속성 간의 고차 조합 상호 작용에 의존한다는 사실로 인해 더욱 악화됩니다. 예를 들어 ABC 운송업체가 워싱턴 DC에서 뉴욕으로 배송하는 인화성 물질이 담긴 대형 컨테이너에 대해 요율표가 부적절하게 구성된 경우 모델은 속성 조합 < 크기 = 대형, 항목 = 인화성, 소스 = 워싱턴을 연결하는 방법을 학습해야 합니다. , 목적지 = 뉴욕, 항공사 = ABC > 예상 비용과 실제 비용 간의 편차가 높습니다. 기능 조합을 다룰 때 패키지 속성 간의 가능한 모든 고차 상호 작용을 고려하는 것은 순서가 증가할 때마다 상호 작용 수가 기하급수적으로 증가하여 차원의 저주로 이어지기 때문에 비실용적일 수 있습니다(Bishop, 2006). 트리 기반 모델의 또 다른 단점은 가변 길이 기능 목록을 처리할 수 없다는 것입니다. 패키지에는 여러 항목이 포함될 수 있으며 배송 비용은 여러 요금 유형으로 분류될 수 있습니다. 이전 실험에서는 여러 항목과 요금으로 엔지니어링된 기능을 추가하면 GBDT의 성능이 향상되는 것으로 나타났습니다. 그러나 트리 기반 모델은 다양한 기능 목록을 처리할 수 없기 때문에 완전한 정보를 학습할 수 없습니다.

이 논문에서는 최근 테이블 형식 도메인에서 변환기의 성공(Huang et al., 2020; Somepalli et al., 2021; Gorishniy et al., 2021)에서 영감을 받아 RCT(Rate Card Transformer)라는 새로운 아키텍처를 제안합니다. 제안된 모델은 패키지와 관련된 요율표 임베딩을 학습하도록 특별히 설계되었습니다. RCT는 self-attention 메커니즘을 활용하여 입력 기능 간의 상호 작용을 학습함으로써 요율표의 다양한 구성 요소 간의 상호 의존성을 효과적으로 포착합니다. 특히 이 작업에 대한 우리의 기여는 다음과 같습니다.

• 변환기 아키텍처를 활용하여 요율표의 다양한 정보를 학습하고 0일차의 배송 비용을 예측하는 새로운 아키텍처인 RCT(요율 카드 변환기)를 제안합니다. 또한 RCT가 GBDT와 현재 상태를 모두 능가하는 것으로 입증되었습니다. 운송비 예측에 있어서 art tabular Transformer, FT-Transformer(Gorishniy et al., 2021).

• 학습된 임베딩이 요율표 다양체를 충분히 표현하고 self-attention 레이어가 효과적인 기능 상호 작용 학습자임을 보여주기 위해 광범위한 실험이 수행되었습니다. 모델 성능에 대한 변압기 레이어 수와 주의 헤드의 영향을 분석하기 위해 절제 연구가 수행됩니다.