배송비 예측을 위한 자기주의의 힘 공개: 결론 및 향후 연구

링크 표

• 초록 및 소개
• 관련 작품
• 방법론
• 실험
• 결론 및 향후 작업
• 참고자료

5. 결론 및 향후 연구

본 논문에서는 0일차 배송 비용을 예측하기 위한 Transformer 아키텍처 기반의 새로운 프레임워크를 제시했습니다. 제안된 프레임워크는 패키지의 배송 속성, 즉 패키지 요율표를 균일한 임베딩 공간으로 인코딩합니다. 그런 다음 이러한 임베딩은 복잡한 고차 상호 작용을 모델링하고 배송 비용을 예측하기 위한 패키지 요율표의 효과적인 표현을 학습하는 Transformer 레이어를 통해 공급됩니다. 우리의 실험 결과는 RCT라고 불리는 제안된 모델이 GBDT 모델보다 28.8% 더 나은 성능을 보인다는 것을 보여줍니다. 또한 문제 설명에 대해 RCT가 SOTA 모델 FT-Transformer보다 더 나은 성능을 발휘함을 보여줍니다. 또한 RCT로 학습한 요율표 표현을 GBDT 모델에 추가하면 성능이 12.51% 향상되는 것을 보여줍니다. 이는 RCT가 요율표 정보에 대한 충분한 표현 표현을 학습할 수 있다는 사실을 강조합니다.

이 작업에서는 사용된 경로 정보가 시작 및 끝 노드로만 제한되었습니다. 향후 연구에서는 그래프 신경망을 사용하여 전체 경로에 대한 정보를 인코딩하는 방법을 모색할 수 있습니다. 또한 내부적으로 사용 가능한 항목 임베딩을 사용하는 등 항목 ID를 기능으로 포함하는 방법을 탐색하면 RCT의 성능이 향상될 수 있습니다.

또한 RCT는 배송 비용만 예측하도록 학습되었지만 Transformer 디코더 레이어를 추가하여 송장의 모든 속성을 예측하도록 수정할 수 있습니다. 이를 통해 송장 이상 감지와 같은 다른 애플리케이션이 가능해집니다. 또한 향후 연구에서는 RCT에서 학습한 패키지 표현을 사용하여 다른 관련 작업의 성능을 향상하거나 Amini 등이 제안한 것과 같은 접근 방식을 통해 각 예측의 모델 불확실성을 정량화할 수 있는지 여부를 조사할 수 있습니다. (2019).