形状マッチングによる正確でリアルな仮想試着に向けて：提案手法

リンク一覧

• 概要と序文
• 関連作業
• 提案手法
• 実験
• 結論と参考文献

3. 提案手法

私たちの方法には 2 つのコンポーネントがあります。シェイプ マッチング ネット(SMN、図 2 および 3) は、転送を実行するために形状的に互換性のある衣服とモデルのペアを選択するための埋め込みを学習します。製品とモデルの画像は、埋め込み空間内で近くにある製品 (またはモデル) の画像を見つけることによってマッチングされます。マルチワープ試着ネット(MTN、図 4) は、衣服の画像、モデルの画像、およびモデルの着替える衣服を覆うマスクを取り込み、提供された衣服を着用したモデルのリアルな合成画像を生成します。ネットワークは、共同でトレーニングされるワーパーとインペインティング ネットワークで構成されます。ワーパーは、それぞれが特定の機能に特化した製品画像の k 個のワープを生成します。インペインティング ネットワークは、各ワープから探す機能を選択することで、ワープを組み合わせることを学習します。SMN と MTN は別々にトレーニングされます。

3.1 形状マッチングネット

埋め込み損失は、2 つのドメインの特徴の対応をキャプチャし、ネットワーク アーキテクチャに埋め込まれた注意メカニズムを強化するために使用されます。空間注意アーキテクチャの詳細については、補足資料を参照してください。

3.2 マルチワープ試着ネット

先行研究[17,45]と同様に、我々のシステムも2つのモジュールで構成されています。(a)製品画像をマスクに合わせて複数の特殊なワープを作成するワーパー、(b)ワープをマスクモデルと組み合わせて合成画像を生成するインペインティングモジュールです。先行研究[17,45]とは異なり、2つのモジュールは別々にではなく共同でトレーニングされるため、インペインタがワーパーをガイドします。

カスケード損失:複数のワープがある場合、各ワープwiは、j < iである以前のワープwjによって行われた間違いに対処するようにトレーニングされます。k番目のワープでは、すべての以前のワープの中で最小の損失を各ピクセルで計算します。

カスケード損失は、すべてのワープの平均損失を計算します。変換パラメータには追加の正規化条件が適用されるため、後続のワープはすべて最初のワープに近い値になります。

カスケード損失は、すべてのワープ間に階層を強制し、前のワープがミスをすると、後のワープよりもコストがかかります。これにより、トレーニング中に発生する可能性のある振動 (複数のワープが最適値を求めて競合する) を防止します。このアイデアはブースティングに似ていますが、すべてのワープが勾配を共有し、前のワープが後のワープに応じて調整できるという点で異なります。