通过形状匹配实现准确、逼真的虚拟试穿：建议方法

链接表

• 摘要和简介
• 相关工作
• 提出的方法
• 实验
• 结论和参考文献

3.提出的方法

我们的方法有两个组成部分。形状匹配网络(SMN；图 2 和 3) 学习嵌入，以选择形状兼容的服装-模型对来执行传输。通过查找嵌入空间中附近的产品（分别为模型）图像来匹配产品和模型图像。多扭曲试穿网络(MTN；图 4) 输入服装图像、模型图像和覆盖模型上待换服装的蒙版，并生成模特穿着所提供服装的逼真的合成图像。该网络由联合训练的扭曲器和修复网络组成。扭曲器产生产品图像的 k 个扭曲，每个扭曲都专注于某些特征。修复网络学习通过选择从每个扭曲中寻找哪些特征来组合扭曲。SMN 和 MTN 是分开训练的。

3.1 形状匹配网络

嵌入损失用于捕捉两个域的特征对应关系，并帮助强化嵌入在网络架构中的注意力机制。有关空间注意力架构的详细信息请参阅补充材料。

3.2 多经试穿网

与先前的研究 [17,45] 一样，我们的系统也由两个模块组成：(a) 一个变形器，通过将产品图像与蒙版对齐来创建多个专门的变形；(b) 一个修复模块，将变形与蒙版模型相结合并生成合成图像。与先前的研究 [17,45] 不同，这两个模块是联合训练的，而不是单独训练的，因此修复器会引导变形器。

级联损失：对于多个 warp，每个 warp wi 都经过训练以解决先前 warp wj 所犯的错误，其中 j < i。对于第 k 个 warp，我们计算每个像素的所有先前 warp 中的最小损失，写为

级联损失计算所有扭曲的平均损失。对变换参数强制执行额外的正则化项，因此所有后续扭曲都接近第一个扭曲。

级联损失在所有 Warp 之间强制实施层次结构，使得较早 Warp 出错的成本比较晚 Warp 更高。这可以防止训练期间可能出现的震荡（多个 Warp 竞争最优）。该想法与提升类似，但又有所不同，因为所有 Warp 共享梯度，使得较早 Warp 能够根据较晚 Warp 进行调整。