形状マッチングによる正確でリアルな仮想試着に向けて：関連研究

リンク一覧

• 概要と序文
• 関連作業
• 提案手法
• 実験
• 結論と参考文献

2. 関連研究

画像合成：空間変換ネットワークはニューラルネットワークを使用して幾何学的変換を推定します[23]。その後の研究[28,39]では、ある物体を別の物体にワープする方法を示しています。ワーピングは、剛体[26,30]と非剛体（衣服など）[17,12,45]の画像を生成するために使用できます。以前の研究とは対照的に、私たちは複数の空間ワーパーを使用します。

私たちのワープは1つの画像に結合する必要があり、この画像を生成するためのU-Netは、インペインティング（画像の欠落部分を埋める方法、参照[48,31,50,49]）のトレンドに従っています。Hanら[16,52]は、インペインティング法によって人物の欠落した衣服を補完できることを示しています。

私たちの研究では、FID∞を使用して私たちの方法を定量的に評価します。これは、生成画像モデリング[5,54,29]で一般的な指標であるFrchet Inception Distance（FID）[18]に基づいています。Chongら[9]は最近、FIDには偏りがあることを示しました。外挿により偏りが除去され、偏りのないスコア（FID∞）が得られます。

服を着た人物の生成： Zhuら[57]は、条件付きGANを使用して、衣服のポーズスケルトンとテキストの説明に基づいて画像を生成しました。SwapNet[38]は、衣服とポーズの特徴を分離することで、人物Aから人物Bに衣服を転送することを学習します。Hsiaoら[20]は、衣服ごとのエンコーディングを使用してファッションモデル合成ネットワークを学習し、特定のアイテムに対する便利な最小限の編集を可能にしました。対照的に、私たちは実際のモデル画像に製品をワープします。

形状マッチングは、製品をモデルにマッチングさせる本手法の基礎となる。Tsiaoら[19]は、人体とぴったりフィットする衣服とのマッチングを可能にする形状埋め込みを構築した。これまでの研究では、2D画像から人体[4,27]、衣服[10,25]、および両方[35,40]の形状を推定した。DensePose[1]記述子は、布の変形と陰影のモデリングに役立つため、最近の研究[36,13,47,51,7,52]で採用されている。

バーチャル試着（VTO）は、製品をモデル画像にマッピングします。VITON [17]は、U-Netを使用して、製品が提示されるモデル上に粗い合成とマスクを生成します。製品マスクからモデル上のマスクへのマッピングは、薄板スプライン（TPS）変換[3]を通じて学習されます。学習されたマッピングは、製品画像に適用され、ワープを作成します。彼らの研究に続いて、Wangら[45]は、幾何学的マッチングモジュール[39]を使用してアーキテクチャを改良し、製品画像と対象者のペアから直接TPS変換パラメータを推定しました。彼らは、ワープと対象画像を結合するために別の改良ネットワークをトレーニングしました。VTNFP [53]は、体節予測を組み込むことで研究を拡張し、その後の研究でも同様の手順が踏まれています[37,24,42,22,2]。しかし、図6右に示すように、データセット内の生成されたマスクのノイズのため、TPS変換では妥当なワープを生成できません。代わりに、TPS変換ではなく、不完全性に対してより堅牢であることがわかったアフィン変換を採用します。次の研究グループは、タスクをマルチポーズに拡張しました。Warping-GAN [11]は、敵対的トレーニングとGMMを組み合わせ、2段階ネットワークを使用してポストとテクスチャを別々に生成します。MG-VTON [12]は、3段階生成ネットワークを使用して生成方法をさらに改良しました。他の研究[21,55,51,7,46]も同様の手順に従いました。Han et al. [15]は、TPS変換は自由度が低いと主張し、ワープを作成するためのフローベースの方法を提案しました。

既存の仮想試着研究 [17,12,21,47,55,53,24,37] の多くは、トップス (T シャツ、シャツなど) のみを含むデータセットで評価されています。トップスは形状が単純で似ているため、トップスのみにすると形状の不一致の可能性が大幅に減ります。私たちの研究では、問題をすべてのカテゴリ (T シャツ、シャツ、パンツ、ショートパンツ、ドレス、スカート、ローブ、ジャケット、コートなど) の衣料品にまで拡張し、ソース製品とターゲット モデルの形状を一致させる方法を提案しています。評価により、形状が一致するペアを使用すると、私たちの研究と以前の研究の両方で生成品質が大幅に向上することが示されています (表 4.3)。

さらに、実際のスタジオ衣装は、ジッパーやボタンが開いていないアウターウェアで覆われていることが多いが、これも先行研究[17,12,21,47,55,53,37]では紹介されていない。これにより、衣服に仕切りや深刻な閉塞が生じる可能性があり、図6に示すように先行研究では対処されていない。私たちのマルチワープ生成モジュールは、これらの問題を改善することを示している。