配送コスト予測における自己注意の力を明らかにする: 概要と概要

リンク一覧

• 概要と序論
• 関連事業
• 方法論
• 実験
• 結論と今後の課題
• 参考文献

抽象的な

Amazon は、米国内で毎年数十億個の荷物を顧客に発送しています。これらの荷物の配送コストは、発送日 (0 日目) に使用され、売上の収益性を推定します。下流のシステムは、これらの 0 日目の収益性推定値を使用して、価格戦略や赤字製品のリストから削除などの財務上の決定を行います。ただし、運送業者への請求の遅れや固定費コンポーネントが毎月記録されるなどの理由により、0 日目に正確な配送コストの見積もりを取得することは複雑です。不正確な配送コストの見積もりは、商品の価格を低すぎたり高すぎたり、顧客に間違った製品を宣伝したりするなど、誤った決定につながる可能性があります。0 日目に配送コストを見積もる現在のソリューションは、大規模な手動エンジニアリング作業を必要とするツリーベースのモデルに依存しています。この研究では、パッケージの属性、運送業者の情報、ルートプランなど、すべてのパッケージ配送情報をエンコードするために自己注意を使用する Rate Card Transformer (RCT) と呼ばれる新しいアーキテクチャを提案します。他のトランスフォーマーベースの表形式モデルとは異なり、RCT は出荷の 1 対多関係の変数リストをエンコードできるため、出荷に関するより多くの情報を取得できます。たとえば、RCT はパッケージ内のすべての製品のプロパティをエンコードできます。結果から、RCT によるコスト予測は、ツリーベースの GBDT モデルと比較してエラーが 28.82% 少ないことがわかります。さらに、RCT は最先端のトランスフォーマーベースの表形式モデルである FTTransformer よりも 6.08% 優れています。また、RCT が料金表の一般化された多様体を学習し、ツリーベースのモデルのパフォーマンスを向上できることも示しています。

1. はじめに

Amazon は、米国内だけでも年間数十億個の荷物を顧客に発送しています。これらの荷物のルート計画は、発送日、つまり 0 日目に行っています。この計画の一環として、荷物の配送を細分化し、料金表を使用して各区間のコストを計算することで、各荷物の配送コストを見積もっています。日別コスト見積は、会計目的の初期収益性見積を計算するために使用されます。たとえば、顧客への特定の販売の結果としての各アイテムの利益/損失の見積などです。これらの収益性見積は、いくつかの下流サービスで意思決定と計画に使用されます。

ただし、不適切な料金表の設定、パッケージの寸法の誤り、配送先住所の誤りなどの要因により、0 日目の見積りは実際のコストと異なる場合があります。不正確なコスト見積りは収益性の見積りを歪め、下流のシステムによる財務上の決定が最適でなくなる原因となります。たとえば、商品の配送コストが常に過大評価されている場合、その商品はカタログから削除される可能性があります。一方、コストが過小評価されると、価格設定システムが商品の価格を下げることになり、損失につながります。さらに、不正確な見積りは、顧客に間違った商品を宣伝することにもつながり、顧客体験の悪化につながります。これらの配送コスト見積りを改善するために、0 日目の配送コストを正確に予測する Transformer ベースのディープラーニング モデルを提案します。

配送の文脈では、荷物は物理的な寸法、重量、内容物によって特徴付けられます。また、荷物の輸送を担当する運送業者と予定ルートに関する詳細も含まれます。さらに、荷物には、中身の品目と配送に関連するさまざまな料金を説明するさまざまな属性が関連付けられています。これらの属性をまとめて、荷物に関連付けられた料金表と呼びます。パッケージ料金表のような表形式のデータセットの場合、勾配ブースティング決定木 (GBDT)、XGBoost (Chen and Guestrin、2016) などのツリーベースのモデルが最先端 (SOTA) モデルと見なされます。ただし、その有効性は高品質の入力機能に大きく依存しており (Arik et al.、2019)、大規模な機能エンジニアリングが必要になる場合があります。私たちのユースケースでは、ターゲット コンセプトが料金表属性間の高次の組み合わせ相互作用に依存するという事実によって、この問題はさらに深刻になります。たとえば、ワシントン DC からニューヨークへ ABC 運送業者によって出荷される可燃性物質の入った大型コンテナの料金表が不適切に設定されている場合、モデルは、プロパティの組み合わせ < サイズ = 大型、アイテム = 可燃性、ソース = ワシントン、宛先 = ニューヨーク、運送業者 = ABC > を、推定コストと実際のコストの大きな偏差に関連付けることを学習する必要があります。機能の組み合わせを扱う場合、パッケージ プロパティ間のすべての可能な高次の相互作用を考慮することは、順序が上がるごとに相互作用の数が指数関数的に増加し、次元の呪い (Bishop、2006) につながるため、非現実的である可能性があります。ツリー ベース モデルのもう 1 つの欠点は、可変長の機能リストを処理できないことです。パッケージには複数のアイテムが含まれている可能性があり、その出荷コストは複数の料金タイプに分類できます。以前の実験では、複数のアイテムと料金から設計された機能を追加すると、GBDT のパフォーマンスが向上することが実証されています。ただし、ツリー ベース モデルは可変の機能リストを処理できないため、機能の完全な情報を学習できませんでした。

本論文では、表形式ドメインにおけるトランスフォーマーの最近の成功 (Huang et al., 2020; Somepalli et al., 2021; Gorishniy et al., 2021) に触発されて、0 日目に配送コストを予測するための Rate Card Transformer (RCT) と呼ばれる新しいアーキテクチャを提案します。提案されたモデルは、パッケージに関連付けられたレート カードの埋め込みを学習するように特別に設計されています。RCT は、自己注意メカニズムを活用して、入力機能間の相互作用を学習することにより、レート カード内のさまざまなコンポーネント間の相互依存性を効果的にキャプチャします。具体的には、この研究における私たちの貢献は次のとおりです。

• トランスフォーマーアーキテクチャを活用して料金表の多様体を学習し、0日目に配送コストを予測する新しいアーキテクチャ、料金表トランスフォーマー（RCT）を提案します。さらに、配送コストの予測において、RCTはGBDTと最先端の表形式トランスフォーマーであるFT-Transformer（Gorishniy et al.、2021）の両方よりも優れていることが実証されています。

• 学習された埋め込みがレート カード マニホールドの十分な表現であること、および自己注意層が効果的な特徴相互作用学習者であることを示すために、広範な実験が行われます。トランスフォーマー層と注意ヘッドの数がモデルのパフォーマンスに与える影響を分析するために、アブレーション研究が行われます。