作者：  （1）P Aditya Sreekar、亚马逊和这些作者对本文做出了同等贡献 {sreekarp@amazon.com}；  （2）Sahil Verm、亚马逊和这些作者对本文做出了同等贡献 {vrsahil@amazon.com;}  （3）Varun Madhavan，印度理工学院，Kharagpur。在亚马逊实习期间完成的工作{varunmadhavan@iitkgp.ac.in}；  （4）Abhishek Persad，亚马逊{persadap@amazon.com}。 链接表 摘要和引言 相关作品 方法 实验 结论和未来工作 参考 3. 方法论 3.1. 问题陈述  3.2. 背景 Transformer 架构（Vaswani 等人，2017 年）由多个编码器块堆叠而成，其中每个块将一系列嵌入作为输入并输出一系列上下文感知嵌入。编码器块由一个多头自注意力 (MHSA) 层和随后的位置前馈层组成，每层之前都有残差连接和层范数。MHSA 层由多个称为头部的自注意力单元组成，它们学习输入嵌入之间的交互。  然后，输出序列以递归方式通过后续编码器层，使每个连续层都能学习更高阶的特征交互。Transformer 的深度控制着所学习表示的复杂性，因为更深的层可以捕获特征之间更复杂的交互。此外，MHSA 中使用了多个自注意力头，使每个头能够关注不同的特征子空间并学习它们之间的交互，从而累积学习多个独立的特征交互集。  3.3. 费率卡转换器 包裹的价目表由多种特征类型组成，即尺寸、路线、服务、物品和费用（图 1a），其中每种特征类型包含多个数值和分类特征。尺寸、路线和服务特征被称为固定长度特征类型，因为它们每个都有固定数量的特征。使用混合嵌入层 (MEL) 将固定长度特征类型嵌入到标记序列中。例如，尺寸特征 d ∈ S[md, nd] 嵌入到长度为 md + nd 的 d 维标记序列中。MEL 包含多个嵌入块，每个嵌入的特征类型特征都有一个嵌入块。嵌入查找表用于嵌入分类特征，而数值特征则使用连续嵌入块嵌入，如 (Gorishniy et al., 2021) 中所述。  特征标记序列作为输入传递到 L Transformer 编码器层堆栈，这些编码器层能够学习特征之间复杂的高阶交互。最后，池化 Transformer 输出被馈送到前馈层以预测运费 Cˆ，如图 1b 所示。 我们将整个架构称为费率卡转换器 (RCT)。RCT 经过训练，可以最小化预测运费和实际运费之间的 L1 损失（公式 3），从而学习动态费率卡的有效表示，使其能够准确预测运费。  该论文 。 可在 arxiv 上根据 CC BY-NC-ND 4.0 DEED 许可获取

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Publications in convolution, driving breakthroughs in signal processing and artificial intelligence.

Convolution's blog

該音頻是用故事的原始語言製作的！

太長; 讀書

Boost your HackerNoon story @ $159.99! 🚀

揭示自注意力机制在运输成本预测中的作用：方法论

About Author

註釋

標籤

这篇文章刊登在

Related Stories

从论坛到信息流：社交媒体算法如何塑造数字互动

架构师指南：构建 AI/ML 数据湖参考架构

点击赚钱：Telegram 可能会在 Solana 之前吸引下一个 100 亿加密用户

使用这 18 种开发工具来提高你的工作效率 🚀🔥

从论坛到信息流：社交媒体算法如何塑造数字互动

架构师指南：构建 AI/ML 数据湖参考架构

点击赚钱：Telegram 可能会在 Solana 之前吸引下一个 100 亿加密用户

使用这 18 种开发工具来提高你的工作效率 🚀🔥

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps