196 測定値

形状マッチングによる正確でリアルなバーチャル試着に向けて：結論と参考文献

に Polyframe Peer Reviewed Publication7m2024/06/08

長すぎる; 読むには

研究者たちは、新しいデータセットを使用してターゲットモデルを選択し、専門のワーパーを訓練することで仮想試着方法を改善し、リアリティと精度を高めています。

featured image - 形状マッチングによる正確でリアルなバーチャル試着に向けて：結論と参考文献

著者:

（１）ケダン・リー、イリノイ大学アーバナ・シャンペーン校

（２）ミン・ジン・チョン、イリノイ大学アーバナ・シャンペーン校

（３）Jingen Liu、JD AI Research；

（4）デイビッド・フォーサイス、イリノイ大学アーバナ・シャンペーン校

リンク一覧

5。結論

本稿では、仮想試着フレームワークに 2 つの一般的な変更を提案します。(a) 形状埋め込みを使用して転送する製品とモデルのペアを慎重に選択する、(b) インペインティングを使用して複数の調整されたワープを組み合わせる。結果は、両方の変更により生成品質が大幅に向上することを示しています。定性的な例では、衣服の詳細を正確に保存できることが実証されています。これにより、ユーザー調査の結果から、買い物客が実際のモデル画像と合成モデル画像を区別することが困難になることが示されています。

参考文献

Alp Guler, R.、Neverova, N.、Kokkinos, I.: Densepose: 自然環境における高密度な人間の姿勢推定。IEEE コンピュータビジョンおよびパターン認識会議 (CVPR) (2018 年 6 月)
Ayush, K.、Jandial, S.、Chopra, A.、Krishnamurthy, B.: 補助的な人間セグメンテーション学習による仮想試着の強化。IEEE 国際コンピュータビジョン会議 (ICCV) ワークショップ (2019 年 10 月)
Belongie, S.、Malik, J.、Puzicha, J.: 形状コンテキストを使用した形状マッチングとオブジェクト認識。PAMI (2002)
Bogo, F.、Kanazawa, A.、Lassner, C.、Gehler, P.、Romero, J.、Black, MJ: Keep it SMPL: 単一画像からの 3D 人間の姿勢と形状の自動推定。ECCV (2016)
Brock, A., Donahue, J., Simonyan, K.: 高忠実度の自然画像合成のための大規模 GAN トレーニング。arXiv プレプリント arXiv:1809.11096 (2018)
Chen, LC, Zhu, Y., Papandreou, G., Schroff, F., Adam, H.: セマンティック画像セグメンテーションのためのアトラス分離畳み込みを備えたエンコーダー/デコーダー。ECCV (2018)
Chen, M., Qin, Y., Qi, L., Sun, Y.: デュアルアテンション機能強化によるファッションランドマーク検出の改善。ICCV ワークショップ (2019)
Chen, W., Wang, H., Li, Y., Su, H., Wang, Z., Tu, C., Lischinski, D., Cohen-Or, D., Chen, B.: 人間の 3D 姿勢推定を強化するためのトレーニング画像の合成 (2015)
Chong, MJ, Forsyth, D.: 効果的に偏りのない FID とインセプションスコア、およびそれらを見つける場所。arXiv プレプリント arXiv:1911.07023 (2019)
Danerek, R., Dibra, E., Oztireli, AC, Ziegler, R., Gross, MH: Deepgarment: 単一画像からの 3D 衣服形状推定。Comput. Graph. Forum (2017)
Dong, H., Liang, X., Gong, K., Lai, H., Zhu, J., Yin, J.: ポーズガイド付き人物画像合成のためのソフトゲートワーピングガン。In: NeurIPS (2018)
Dong, H., Liang, X., Wang, B., Lai, H., Zhu, J., Yin, J.: マルチポーズガイド付きバーチャル試着ネットワークに向けて。In: ICCV (2019)
Grigor'ev, AK, Sevastopolsky, A., Vakhitov, A., Lempitsky, VS: ポーズガイドによる人間の画像生成のための座標ベースのテクスチャインペインティング。CVPR (2019)
Guan, P.、Reiss, L.、Hirshberg, D.、Weiss, A.、Black, M.: ドレープ: あらゆる人の着こなし。ACM Transactions on Graphics - TOG (2012)
Han, X., Hu, X., Huang, W., Scott, MR: Clothflow: 衣服を着た人物を生成するためのフローベースのモデル。ICCV (2019)
Han, X., Wu, Z., Huang, W., Scott, MR, Davis, LS: 互換性があり多様なファッション画像の修復 (2019)
Han, X.、Wu, Z.、Wu, Z.、Yu, R.、Davis, LS: Viton: 画像ベースの仮想試着ネットワーク。掲載：CVPR（2018）
Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., Hochreiter, S.: 2 つの時間スケール更新ルールでトレーニングされたガンは、ローカルナッシュ均衡に収束します。In: ニューラル情報処理システムの進歩。pp. 6626–6637 (2017)
Hsiao, WL, Grauman, K.: 多様な体型に合わせた服装。ArXiv (2019)
Hsiao, WL, Katsman, I., Wu, CY, Parikh, D., Grauman, K.: Fashion++: 服装を改善するための最小限の編集。IEEE 国際コンピュータビジョン会議 (ICCV) (2019) の議事録に掲載
Hsieh, CW, Chen, CY, Chou, CL, Shuai, HH, Liu, J., Cheng, WH: Fashionon: 詳細な人物情報と衣服情報を備えたセマンティックガイド付き画像ベースの仮想試着。MM '19 (2019)
HyugJae, Lee, R., Kang, M., Cho, M., Park, G.: La-viton: 魅力的なバーチャル試着のためのネットワーク。ICCV ワークショップ (2019)
Jaderberg, M., Simonyan, K., Zisserman, A., kavukcuoglu, k.: 空間トランスフォーマーネットワーク。NeurIPS (2015)
Jandial, S.、Chopra, A.、Ayush, K.、Hemani, M.、Kumar, A.、Krishnamurthy, B.: Sievenet: 堅牢な画像ベースのバーチャル試着のための統合フレームワーク。WACV (2020)
Jeong, MH, Han, DH, Ko, HS: 写真からの衣服のキャプチャ。Journal of Visualization and Computer Animation (2015)
Ji, D.、Kwon, J.、McFarland, M.、Savarese, S.: ディープビューモーフィング。CVPR (2017)
Kanazawa, A., Black, MJ, Jacobs, DW, Malik, J.: 人間の形状と姿勢のエンドツーエンドの復元。CVPR (2018)
Kanazawa, A., Jacobs, D., Chandraker, M.: Warpnet: 単一ビュー再構成のための弱教師付きマッチング。CVPR (2016)
Karras, T., Laine, S., Aila, T.: 生成的敵対ネットワークのためのスタイルベースのジェネレーターアーキテクチャ。IEEE コンピュータービジョンおよびパターン認識会議の議事録。pp. 4401–4410 (2019)
Lin, CH, Yumer, E., Wang, O., Shechtman, E., Lucey, S.: St-gan: 画像合成のための空間トランスフォーマー生成敵対ネットワーク。CVPR (2018)
Liu, G., Reda, FA, Shih, KJ, Wang, TC, Tao, A., Catanzaro, B.: 部分畳み込みを用いた不規則な穴の画像修復。ECCV (2018)
Liu, KH, Chen, TY, Chen, CS: Mvc: ビューに依存しない衣服検索と属性予測のためのデータセット。ICMR (2016)
Liu, Z., Luo, P., Qiu, S., Wang, X., Tang, X.: Deepfashion: 豊富な注釈による堅牢な衣服認識と検索の強化。CVPR (2016)
マッキンゼー：ファッション業界の現状 2019 (2019)
夏目亮, 斉藤聡, 黄哲, 陳渡, 馬忠, 李秀, 森島誠: Siclope: シルエットベースの衣服着用人物補助資料。CVPR (2019)
Neverova, N., Gler, RA, Kokkinos, I.: 高密度ポーズ転送。ECCV (2018)
Raffiee, AH, Sollami, M.: Garmentgan: フォトリアリスティックな敵対的ファッション転送 (2020)
Raj, A.、Sangkloy, P.、Chang, H.、Hays, J.、Ceylan, D.、Lu, J.: Swapnet: 画像ベースの衣服転送。ECCV (2018)
Rocco, I.、Arandjelovi´c, R.、Sivic, J.: 幾何学的マッチングのための畳み込みニューラルネットワークアーキテクチャ。CVPR (2017)
Saito, S., Huang, Z., Natsume, R., Morishima, S., Kanazawa, A., Li, H.: Pifu: 高解像度の衣服を着た人間のデジタル化のためのピクセルアラインメントされた暗黙的関数。 ICCV（2019）
Schroff, F.、Kalenichenko, D.、Philbin, J.: Facenet: 顔認識とクラスタリングのための統合埋め込み。CVPR (2015)
Song, D., Li, T., Mao, Z., Liu, A.: Sp-viton: 形状保存画像ベースの仮想試着ネットワーク。マルチメディアツールとアプリケーション (2019)
鈴木誠、阿部健一: 境界追跡によるデジタル二値画像の位相構造解析。コンピュータビジョン、グラフィックス、画像処理 (1985)
Vaccaro, K.、Agarwalla, T.、Shivakumar, S.、Kumar, R.: パーソナルファッションの未来をデザインする。2018 CHI コンピューティングシステムにおけるヒューマンファクターに関する会議議事録 (2018)
Wang, B., Zheng, H., Liang, X., Chen, Y., Lin, L.: 特徴保存型画像ベース仮想試着ネットワークの実現に向けて。欧州コンピュータビジョン会議 (ECCV) の議事録 (2018)
Wang, J., Zhang, W., Liu, WH, Mei, T.: 細部までこだわった: 細部彫刻によるバーチャル試着。ArXiv (2019)
Wu, Z., Lin, G., Tao, Q., Cai, J.: M2e-try on net: モデルからすべての人へのファッション。MM '19 (2018)
Yang, C., Lu, X., Lin, Z., Shechtman, E., Wang, O., Li, H.: マルチスケールニューラルパッチ合成を使用した高解像度画像修復。CVPR (2017)
Yu, J., Lin, Z., Yang, J., Shen, X., Lu, X., Huang, TS: ゲート畳み込みによる自由形式の画像修復。ICCV (2019)
Yu, J., Lin, ZL, Yang, J., Shen, X., Lu, X., Huang, TS: コンテキストアテンションによる生成的画像修復。CVPR (2018)
Yu, L., Zhong, Y., Wang, X.: 選択的衣服転送のためのインペインティングベースの仮想試着ネットワーク。IEEE Access (2019)
Yu, L., Zhong, Y., Wang, X.: 選択的衣服転送のためのインペインティングベースの仮想試着ネットワーク。IEEE Access (2019)
Yu, R., Wang, X., Xie, X.: Vtnfp: 身体と衣服の特徴を保存した画像ベースの仮想試着ネットワーク
Zhang, H., Goodfellow, I., Metaxas, D., Odena, A.: 自己注意生成的敵対ネットワーク。arXiv プレプリント arXiv:1805.08318 (2018)
Zheng, N., Song, X., Chen, Z., Hu, L., Cao, D., Nie, L.: 任意のポーズで新しい服を仮想的に試着する。In: MM '19 (2019)
Zheng, S., Yang, F., Kiapour, MH, Piramuthu, R.: Modanet: ポリゴン注釈付きの大規模ストリートファッションデータセット。In: ACM Multimedia (2018)
Zhu, S., Fidler, S., Urtasun, R., Lin, D., Chen, CL: 自分だけのプラダになろう: 構造的一貫性のあるファッションシンセシス。CVPR (2017)