196 讀數

通过形状匹配实现准确、逼真的虚拟试穿：结论与参考文献

经过 Polyframe Peer Reviewed Publication7m2024/06/08

太長; 讀書

研究人员通过使用新的数据集选择目标模型并训练专门的整经机来改进虚拟试穿方法，从而提高真实感和准确性。

featured image - 通过形状匹配实现准确、逼真的虚拟试穿：结论与参考文献

作者：

（1） Kedan Li，伊利诺伊大学香槟分校；

（2） Min Jin Chong，伊利诺伊大学香槟分校；

（3）刘金根，京东人工智能研究院；

（4）戴维·福赛斯（David Forsyth），伊利诺伊大学香槟分校。

链接表

5。结论

在本文中，我们提出了对虚拟试穿框架的两项一般修改：（a）使用形状嵌入仔细选择要传输的产品-模型对；（b）使用修复合并多个协调扭曲。我们的结果表明，这两项修改都显著提高了生成质量。定性示例证明了我们能够准确保留服装细节。用户研究结果表明，这导致购物者难以区分真实和合成的模型图像。

参考

Alp Guler, R.、Neverova, N.、Kokkinos, I.：Densepose：野外密集人体姿势估计。出处：IEEE 计算机视觉和模式识别会议 (CVPR)（2018 年 6 月）
Ayush, K.、Jandial, S.、Chopra, A.、Krishnamurthy, B.：通过辅助人体分割学习为虚拟试穿提供支持。摘自：IEEE 国际计算机视觉会议 (ICCV) 研讨会（2019 年 10 月）
Belongie, S.、Malik, J.、Puzicha, J.：使用形状上下文进行形状匹配和对象识别。PAMI（2002 年）
Bogo, F.、Kanazawa, A.、Lassner, C.、Gehler, P.、Romero, J. 和 Black, MJ：Keep it SMPL：从单幅图像自动估计 3D 人体姿势和形状。出处：ECCV（2016 年）
Brock, A.、Donahue, J.、Simonyan, K.：大规模 GAN 训练，实现高保真自然图像合成。arXiv preprint arXiv:1809.11096 (2018)
Chen, LC、Zhu, Y.、Papandreou, G.、Schroff, F.、Adam, H.：用于语义图像分割的带孔可分离卷积编码器-解码器。出处：ECCV（2018 年）
Chen, M.、Qin, Y.、Qi, L.、Sun, Y.：通过双重注意特征增强改进时尚地标检测。摘自：ICCV 研讨会 (2019)
Chen, W., Wang, H., Li, Y., Su, H., Wang, Z., Tu, C., Lischinski, D., Cohen-Or, D., Chen, B.：合成训练图像以增强人体 3D 姿势估计 (2015)
Chong, MJ, Forsyth, D.: 有效无偏 fid 和 inception 分数以及在哪里可以找到它们。arXiv preprint arXiv:1911.07023 (2019)
Danerek, R.、Dibra, E.、Oztireli, AC、Ziegler, R.、Gross, MH：Deepgarment：通过单幅图像估计 3D 服装形状。Comput. Graph. Forum（2017 年）
Dong, H.、Liang, X.、Gong, K.、Lai, H.、Zhu, J.、Yin, J.：用于姿势引导人物图像合成的软门控扭曲 GAN。引自：NeurIPS（2018 年）
Dong, H.、Liang, X.、Wang, B.、Lai, H.、Zhu, J.、Yin, J.：面向多姿势引导虚拟试穿网络。引自：ICCV (2019)
Grigor'ev, AK、Sevastopolsky, A.、Vakhitov, A.、Lempitsky, VS：基于坐标的纹理修复，用于姿势引导的人体图像生成。CVPR（2019）
Guan, P.、Reiss, L.、Hirshberg, D.、Weiss, A. 和 Black, M.：《Drape: Dressing any person》。ACM Transactions on Graphics - TOG（2012 年）
Han, X.、Hu, X.、Huang, W.、Scott, MR：Clothflow：基于流的穿衣人生成模型。出处：ICCV（2019 年）
Han, X.、Wu, Z.、Huang, W.、Scott, MR、Davis, LS：兼容且多样化的时尚图像修复 (2019)
Han, X., Wu, Z., Wu, Z., Yu, R., Davis, LS: Viton：基于图像的虚拟试穿网络。出处：CVPR（2018）
Heusel, M.、Ramsauer, H.、Unterthiner, T.、Nessler, B.、Hochreiter, S.：通过双时间尺度更新规则训练的 Gans 收敛到局部纳什均衡。在：神经信息处理系统的进展。第 6626–6637 页（2017 年）
Hsiao, WL, Grauman, K.: 适合不同体型的服装。ArXiv (2019)
Hsiao, WL、Katsman, I.、Wu, CY、Parikh, D.、Grauman, K.：Fashion++：通过少量修改改善服装。摘自：IEEE 国际计算机视觉会议 (ICCV) 论文集 (2019)
Hsieh, CW、Chen, CY、Chou, CL、Shuai, HH、Liu, J.、Cheng, WH：Fashionon：基于语义引导图像的虚拟试穿，提供详细的人体和服装信息。刊于：MM '19 (2019)
HyugJae, Lee, R.、Kang, M.、Cho, M.、Park, G.：La-viton：虚拟试穿网络，让穿搭更具吸引力。出处：ICCV 研讨会 (2019)
Jaderberg, M.、Simonyan, K.、Zisserman, A.、kavukcuoglu, k.：空间变换器网络。出处：NeurIPS（2015 年）
Jandial, S.、Chopra, A.、Ayush, K.、Hemani, M.、Kumar, A.、Krishnamurthy, B.：Sievenet：基于图像的稳健虚拟试穿统一框架。引自：WACV (2020)
Jeong, MH、Han, DH、Ko, HS：从照片中捕捉服装。《可视化与计算机动画杂志》（2015 年）
Ji, D.、Kwon, J.、McFarland, M. 和 Savarese, S.：深度视图变形。刊于：CVPR（2017 年）
Kanazawa, A.、Black, MJ、Jacobs, DW、Malik, J.：端到端恢复人体形状和姿势。CVPR（2018 年）
Kanazawa, A.、Jacobs, D.、Chandraker, M.：Warpnet：用于单视图重建的弱监督匹配。刊于：CVPR（2016 年）
Karras, T.、Laine, S.、Aila, T.：基于样式的生成对抗网络生成器架构。收录于：IEEE 计算机视觉与模式识别会议论文集。第 4401–4410 页 (2019)
Lin, CH、Yumer, E.、Wang, O.、Shechtman, E. 和 Lucey, S.：St-gan：用于图像合成的空间变换器生成对抗网络。刊于：CVPR（2018 年）
Liu, G., Reda, FA, Shih, KJ, Wang, TC, Tao, A., Catanzaro, B.: 使用部分卷积对不规则孔洞进行图像修复。出处：ECCV (2018)
Liu, KH, Chen, TY, Chen, CS: Mvc：用于视角不变服装检索和属性预测的数据集。出处：ICMR（2016 年）
Liu, Z., Luo, P., Qiu, S., Wang, X., Tang, X.: Deepfashion：通过丰富的注释实现强大的服装识别和检索。摘自：CVPR（2016 年）
麦肯锡：2019 年时尚行业状况 (2019)
Natsume, R.、Saito, S.、Huang, Z.、Chen, W.、Ma, C.、Li, H.、Morishima, S.：Siclope：基于轮廓的着装人物补充材料。在：CVPR（2019）
Neverova, N.、Gler, RA、Kokkinos, I.：密集姿势转移。出处：ECCV（2018）
Raffiee, AH、Sollami, M.：Garmentgan：照片级逼真的对抗性时尚转移 (2020)
Raj, A.、Sangkloy, P.、Chang, H.、Hays, J.、Ceylan, D.、Lu, J.：Swapnet：基于图像的服装转移。出处：ECCV（2018 年）
Rocco, I.、Arandjelovi´c, R.、Sivic, J.：用于几何匹配的卷积神经网络架构。出处：CVPR（2017）
Saito, S., Huang, Z., Natsume, R., Morishima, S., Kanazawa, A., Li, H.: Pifu：用于高分辨率服装人体数字化的像素对齐隐式函数。 ICCV（2019）
Schroff, F.、Kalenichenko, D.、Philbin, J.：Facenet：用于人脸识别和聚类的统一嵌入。摘自：CVPR（2015 年）
Song, D., Li, T., Mao, Z., Liu, A.: Sp-viton：基于图像的保形虚拟试穿网络。多媒体工具和应用程序 (2019)
Suzuki, S., Abe, K.: 通过边界跟踪对数字化二值图像进行拓扑结构分析。计算机视觉、图形和图像处理 (1985)
Vaccaro, K.、Agarwalla, T.、Shivakumar, S.、Kumar, R.：设计个人时尚的未来。摘自：2018 年 CHI 计算机系统人为因素会议论文集 (2018)
Wang, B., Zheng, H., Liang, X., Chen, Y., Lin, L.：面向基于特征保留图像的虚拟试穿网络。刊于：欧洲计算机视觉会议 (ECCV) 论文集 (2018)
Wang, J.、Zhang, W.、Liu, WH、Mei, T.：Down to the last detail：带细节雕刻的虚拟试穿。ArXiv (2019)
Wu, Z., Lin, G., Tao, Q., Cai, J.: M2e-try on net：从模特到普通人的时尚。刊于：MM '19 (2018)
Yang, C., Lu, X., Lin, Z., Shechtman, E., Wang, O., Li, H.: 使用多尺度神经块合成进行高分辨率图像修复。刊于：CVPR (2017)
Yu, J.、Lin, Z.、Yang, J.、Shen, X.、Lu, X.、Huang, TS：使用门控卷积进行自由形式图像修复。摘自：ICCV（2019 年）
Yu, J.、Lin, ZL、Yang, J.、Shen, X.、Lu, X.、Huang, TS：使用 contextualattention 进行生成图像修复。刊于：CVPR（2018 年）
Yu, L., Zhong, Y., Wang, X.: 基于修复的虚拟试穿网络用于选择性服装转移。IEEE Access (2019)
Yu, L., Zhong, Y., Wang, X.: 基于修复的虚拟试穿网络用于选择性服装转移。IEEE Access (2019)
Yu, R., Wang, X., Xie, X.: Vtnfp: 基于图像的虚拟试穿网络，具有身体和服装特征保存功能
Zhang, H.、Goodfellow, I.、Metaxas, D.、Odena, A.：自注意力生成对抗网络。arXiv preprint arXiv:1805.08318 (2018)
郑娜、宋晓玲、陈哲、胡玲、曹丹、聂玲：以任意姿势虚拟试穿新衣服。刊于：MM '19（2019 年）
Zheng, S.、Yang, F.、Kiapour, MH、Piramuthu, R.：Modanet：带有多边形注释的大规模街头时尚数据集。出处：ACM 多媒体 (2018)
Zhu, S.、Fidler, S.、Urtasun, R.、Lin, D.、Chen, CL：做你自己的普拉达：具有结构连贯性的时尚合成。刊于：CVPR（2017 年）