配送コスト予測における自己注意の力の解明：結論と今後の課題

リンク一覧

• 概要と序論
• 関連事業
• 方法論
• 実験
• 結論と今後の課題
• 参考文献

5. 結論と今後の課題

本稿では、0 日目に配送料を予測するための Transformer アーキテクチャに基づく新しいフレームワークを紹介しました。提案するフレームワークは、パッケージの配送属性、つまりパッケージ料金表を均一な埋め込み空間にエンコードします。これらの埋め込みは、複雑な高次相互作用をモデル化し、配送料を予測するためのパッケージ料金表の効果的な表現を学習する Transformer レイヤーに送られます。実験結果では、提案モデル (RCT) が GBDT モデルより 28.8% 優れていることが示されています。さらに、RCT は、問題ステートメントに対して SOTA モデル FT-Transformer よりも優れたパフォーマンスを発揮します。また、RCT によって学習された料金表表現を GBDT モデルに追加すると、そのパフォーマンスが 12.51% 向上することも示しています。これは、RCT が料金表情報の十分な表現を学習できるという事実を強調しています。

この研究では、使用されたルート情報は開始ノードと終了ノードのみに限定されていました。今後の研究では、グラフ ニューラル ネットワークを使用して完全なルートに関する情報をエンコードする方法を検討できます。さらに、内部で利用可能なアイテム埋め込みの使用など、アイテム ID を特徴として含める方法を検討することで、RCT のパフォーマンスが向上する可能性があります。

また、RCT は船のコストのみを予測するようにトレーニングされましたが、Transformer デコーダー レイヤーを追加することで、請求書のすべての属性を予測するように変更できます。これにより、請求書の異常検出などの他のアプリケーションが可能になります。さらに、将来の研究では、RCT によって学習されたパッケージ表現を使用して、他の関連タスクのパフォーマンスを改善できるか、または Amini ら (2019) で提案されたようなアプローチを介して各予測におけるモデルの不確実性を定量化できるかを調査できます。