揭示自注意力机制在运输成本预测中的作用：结论和未来工作

链接表

• 摘要和引言
• 相关作品
• 方法
• 实验
• 结论和未来工作
• 参考

5. 结论和未来工作

在本文中，我们提出了一个基于 Transformer 架构的新型框架，用于预测第 0 天的运费。我们提出的框架将包裹的运输属性（即包裹费率卡）编码到统一的嵌入空间中。然后，这些嵌入被输入到 Transformer 层，该层对复杂的高阶交互进行建模，并学习包裹费率卡的有效表示以预测运费。我们的实验结果表明，所提出的模型（称为 RCT）比 GBDT 模型高出 28.8%。此外，还证明了 RCT 在我们的问题陈述中的表现优于 SOTA 模型 FT-Transformer。我们还表明，当将 RCT 学习到的费率卡表示添加到 GBDT 模型时，其性能提高了 12.51%。这强调了 RCT 能够学习费率卡信息的充分表示。

在这项工作中，使用的路线信息仅限于起始和终止节点。未来的工作可以探索使用图神经网络来编码有关完整路线的信息。此外，通过探索将项目 ID 作为特征的方法（例如使用内部可用的项目嵌入），可以提高 RCT 的性能。

此外，虽然 RCT 仅被训练用于预测船舶成本，但可以通过添加 Transformer 解码器层对其进行修改，以预测发票的所有属性。这将使发票异常检测等其他应用成为可能。此外，未来的研究可以调查 RCT 学习到的包表示是否可用于提高其他相关任务的性能，或通过 Amini 等人 (2019) 提出的方法量化每个预测中的模型不确定性。