На пути к точной и реалистичной виртуальной примерке посредством сопоставления форм: предлагаемый метод

Таблица ссылок

• Аннотация и введение
• Связанных с работой
• Предлагаемый метод
• Эксперименты
• Выводы и ссылки

3. Предлагаемый метод

Наш метод состоит из двух компонентов. Сеть сопоставления формы (SMN; рис. 2 и 3) изучает встраивание для выбора совместимых по форме пар одежды-модели для выполнения переноса. Изображения продукта и модели сопоставляются путем поиска изображений продукта (соответственно модели), которые находятся поблизости в пространстве для встраивания. Примерочная сеть с несколькими деформациями (MTN; рис. 4) принимает изображение одежды, изображение модели и маску, закрывающую одежду, которую нужно сменить, на модели и генерирует реалистичное синтезированное изображение модели, носящей предоставленный предмет одежды. Сеть состоит из сети Warper и сети Inpainting, обучающихся совместно. Деформатор создает k деформаций изображения продукта, каждая из которых специализируется на определенных функциях. Сеть рисования учится комбинировать деформации, выбирая, какие функции искать в каждой деформации. SMN и MTN обучаются отдельно.

3.1 Сетка для подбора формы

Потери при внедрении используются для фиксации соответствия функций двух доменов и помогают обеспечить встраивание механизма внимания в сетевую архитектуру. Подробности об архитектуре пространственного внимания можно найти в дополнительных материалах.

3.2 Примерочная сеть с несколькими переплетениями

Как и в предыдущей работе [17,45], наша система также состоит из двух модулей: (а) деформатора для создания нескольких специализированных деформаций путем выравнивания изображения продукта с маской; (б) модуль рисования для объединения деформаций с замаскированной моделью и создания синтезированного изображения. В отличие от предыдущей работы [17,45], два модуля обучаются совместно, а не по отдельности, поэтому художник-инпаттерн направляет варпера.

Каскадные потери: при наличии нескольких варпов каждый варп wi обучен исправлять ошибки, допущенные предыдущими варпами wj, где j < i. Для k-й деформации мы вычисляем минимальные потери среди всех предыдущих деформаций в каждом пикселе, записываемые как

Каскадные потери вычисляют средние потери для всех деформаций. К параметрам преобразования применяются дополнительные условия регуляризации, поэтому все последующие деформации остаются близкими к первой деформации.

Каскадные потери усиливают иерархию среди всех варпов, делая ошибку для более раннего варпа более дорогостоящей, чем для более позднего варпа. Это предотвращает возможные колебания во время тренировки (несколько перекосов конкурируют за оптимум). Идея сравнима с усилением, но все же отличается, потому что все варпы имеют общий градиент, что позволяет более ранним варпам адаптироваться в соответствии с более поздними варпами.