paint-brush
На пути к точной и реалистичной виртуальной примерке посредством сопоставления форм: выводы и ссылкик@polyframe
196 чтения

На пути к точной и реалистичной виртуальной примерке посредством сопоставления форм: выводы и ссылки

Слишком долго; Читать

Исследователи совершенствуют методы виртуальной примерки, используя новый набор данных для выбора целевых моделей и обучения специализированных деформаторов, повышая реалистичность и точность.
featured image - На пути к точной и реалистичной виртуальной примерке посредством сопоставления форм: выводы и ссылки
Polyframe Peer Reviewed Publication HackerNoon profile picture
0-item

Авторы:

(1) Кедан Ли, Университет Иллинойса в Урбана-Шампейн;

(2) Мин Джин Чонг, Университет Иллинойса в Урбана-Шампейн;

(3) Джинген Лю, JD AI Research;

(4) Дэвид Форсайт, Университет Иллинойса в Урбана-Шампейн.

Таблица ссылок

5. Выводы

В этой статье мы предлагаем две общие модификации структуры виртуальной примерки: (а) тщательно выбирать пару продукт-модель для переноса с использованием внедрения формы и (б) объединять несколько скоординированных деформаций с помощью раскрашивания. Наши результаты показывают, что обе модификации приводят к значительному улучшению качества генерации. Качественные примеры демонстрируют наше умение точно сохранять детали одежды. Это приводит к тому, что покупателям трудно отличить реальные и синтезированные изображения модели, как показывают результаты исследований пользователей.

Рекомендации

  1. Альп Гулер Р., Неверова Н., Коккинос И.: Densepose: Оценка плотной позы человека в дикой природе. В: Конференция IEEE по компьютерному зрению и распознаванию образов (CVPR) (июнь 2018 г.)


  2. Аюш К., Джандиал С., Чопра А., Кришнамурти Б.: Обеспечение виртуальной примерки посредством вспомогательного обучения сегментации человека. В: Семинары Международной конференции IEEE по компьютерному зрению (ICCV) (октябрь 2019 г.)


  3. Белонги С., Малик Дж., Пузича Дж.: Сопоставление форм и распознавание объектов с использованием контекстов форм. ПАМИ (2002)


  4. Бого Ф., Канадзава А., Ласснер К., Гелер П., Ромеро Дж., Блэк М.Дж.: Сохраняйте SMPL: автоматическая оценка трехмерной позы и формы человека по одному изображению. В: ECCV (2016)


  5. Брок А., Донахью Дж., Симоньян К.: Крупномасштабное обучение ганам для высокоточного синтеза естественных изображений. Препринт arXiv arXiv:1809.11096 (2018)


  6. Чен, Л.К., Чжу, Ю., Папандреу, Г., Шрофф, Ф., Адам, Х.: Кодер-декодер с атрофической разделимой сверткой для семантической сегментации изображений. В: ECCV (2018)


  7. Чен М., Цинь Ю., Ци Л., Сунь Ю.: Улучшение распознавания модных достопримечательностей за счет улучшения функции двойного внимания. В: Семинары ICCV (2019)


  8. Чен, В., Ван, Х., Ли, Ю., Су, Х., Ван, З., Ту, К., Лищински, Д., Коэн-Ор, Д., Чен, Б.: Синтез обучающих изображений за улучшение оценки трехмерной позы человека (2015)


  9. Чонг, М.Дж., Форсайт, Д.: Эффективно объективная оценка фида и начального уровня и где их найти. Препринт arXiv arXiv:1911.07023 (2019)


  10. Данерек Р., Дибра Э., Озтирели А.С., Зиглер Р., Гросс М.Х.: Deepgarment: трехмерная оценка формы одежды по одному изображению. Вычислить. Граф. Форум (2017)


  11. Донг, Х., Лян, К., Гонг, К., Лай, Х., Чжу, Дж., Инь, Дж.: Деформирующий ган с мягким затвором для синтеза изображений человека с учетом позы. В: НейрИПС (2018)


  12. Донг, Х., Лян, К., Ван, Б., Лай, Х., Чжу, Дж., Инь, Дж.: На пути к виртуальной сети для многопозных управляемых примерок. В: ICCV (2019)


  13. Григорьев А.К., Севастопольский А., Вахитов А., Лемпицкий В.С. Прорисовка текстур на основе координат для генерации изображений человека на основе позы. ЦВПР (2019)


  14. Гуан П., Рейсс Л., Хиршберг Д., Вайс А., Блэк М.: Драпировка: одевание любого человека. Транзакции ACM в графике - TOG (2012)


  15. Хан, X., Ху, X., Хуанг, В., Скотт, MR: Clothflow: основанная на потоке модель для генерации одетых людей. В: ICCV (2019)


  16. Хан, X., Ву, З., Хуан, В., Скотт, М.Р., Дэвис, Л.С.: Рисование совместимых и разнообразных модных образов (2019)


  17. Хан, X., Ву, З., Ву, З., Ю, Р., Дэвис, Л.С.: Viton: виртуальная примерочная сеть на основе изображений. В: ЦВПР (2018)


  18. Хойзель М., Рамсауэр Х., Унтертинер Т., Несслер Б., Хохрайтер С.: Ганс, обученный по правилу обновления двух временных масштабов, сходится к локальному равновесию Нэша. В: Достижения в области нейронных систем обработки информации. стр. 6626–6637 (2017).


  19. Сяо В.Л., Грауман К.: Одежда для разных форм тела. АрXив (2019)


  20. Сяо В.Л., Кацман И., Ву С.Ю., Парих Д., Грауман К.: Мода++: Минимальные правки для улучшения экипировки. В: В материалах Международной конференции IEEE по компьютерному зрению (ICCV) (2019).


  21. Се, CW, Чен, CY, Чжоу, CL, Шуай, HH, Лю, J., Ченг, WH: Fashionon: виртуальная примерка на основе семантического изображения с подробной информацией о человеке и одежде. В: ММ '19 (2019)

  22. ХьюгДжэ, Ли, Р., Кан, М., Чо, М., Пак, Г.: La-viton: Сеть для поиска привлекательных виртуальных примерок. В: Семинары ICCV (2019)


  23. Ядерберг М., Симонян К., Зиссерман А., Кавукчуоглу К.: Пространственные трансформаторные сети. В: НейрИПС (2015).


  24. Джандиал С., Чопра А., Аюш К., Хемани М., Кумар А., Кришнамурти Б.: Sievenet: унифицированная платформа для надежной виртуальной примерки на основе изображений. Вышел: ВАКВ (2020)


  25. Чон, М.Х., Хан, Д.Х., Ко, Х.С.: Снимок одежды с фотографии. Журнал визуализации и компьютерной анимации (2015)


  26. Джи Д., Квон Дж., МакФарланд М., Саварезе С.: Морфинг глубокого представления. В: ЦВПР (2017)


  27. Канадзава А., Блэк М.Дж., Джейкобс Д.В., Малик Дж.: Комплексное восстановление человеческой формы и позы. ЦВПР (2018)


  28. Канадзава А., Джейкобс Д., Чандракер М.: Warpnet: слабо контролируемое сопоставление для реконструкции с одним представлением. В: ЦВПР (2016)


  29. Каррас Т., Лейн С., Айла Т.: Архитектура генератора на основе стилей для генеративно-состязательных сетей. В: Материалы конференции IEEE по компьютерному зрению и распознаванию образов. стр. 4401–4410 (2019).


  30. Лин, Ч., Юмер, Э., Ван, О., Шехтман, Э., Люси, С.: Ст-ган: Пространственные преобразовательные генеративно-состязательные сети для композиции изображений. В: ЦВПР (2018)


  31. Лю, Г., Реда, Ф.А., Ши, К.Дж., Ван, Т.С., Тао, А., Катандзаро, Б.: Закрашивание изображений для отверстий неправильной формы с использованием частичных сверток. В: ECCV (2018)


  32. Лю, К.Х., Чен, TY, Чен, CS: Mvc: набор данных для поиска одежды, инвариантного к представлению, и прогнозирования атрибутов. В: ИКМР (2016)


  33. Лю З., Луо П., Цю С., Ван Х., Тан Х.: Deepfashion: обеспечение надежного распознавания и поиска одежды с помощью обширных аннотаций. В: ЦВПР (2016)


  34. McKinsey: Состояние индустрии моды 2019 (2019)


  35. Нацумэ, Р., Сайто, С., Хуан, З., Чен, В., Ма, К., Ли, Х., Моришима, С.: Сиклопе: Дополнительные материалы на основе силуэтов одетых людей. В: ЦВПР (2019)


  36. Неверова Н., Глер Р.А., Коккинос И.: Плотная передача позы. В: ECCV (2018)


  37. Раффи, А.Х., Соллами, М.: Гарментган: Фотореалистичный состязательный перенос моды (2020)


  38. Радж А., Сангклой П., Чанг Х., Хейс Дж., Джейлан Д., Лу Дж.: Swapnet: передача одежды на основе изображений. В: ECCV (2018)


  39. Рокко И., Аранджелович Р., Сивик Дж.: Архитектура сверточных нейронных сетей для геометрического сопоставления. В: ЦВПР (2017)


  40. Сайто С., Хуанг З., Нацуме Р., Моришима С., Канадзава А., Ли Х.: Pifu: неявная функция выравнивания пикселей для оцифровки человека в одежде с высоким разрешением. ИККВ (2019)


  41. Шрофф Ф., Калениченко Д., Филбин Дж.: Facenet: унифицированное внедрение для распознавания лиц и кластеризации. В: ЦВПР (2015)


  42. Сонг, Д., Ли, Т., Мао, З., Лю, А.: Sp-viton: сохраняющая форму виртуальная примерочная сеть на основе изображений. Мультимедийные инструменты и приложения (2019)


  43. Сузуки С., Абэ К.: Топологический структурный анализ оцифрованных бинарных изображений по границам. Компьютерное зрение, графика и обработка изображений (1985)


  44. Ваккаро К., Агарвалла Т., Шивакумар С., Кумар Р.: Проектирование будущего личной моды. В: Материалы конференции CHI 2018 г. по человеческому фактору в вычислительных системах (2018).


  45. Ван Б., Чжэн Х., Лян К., Чен Ю., Линь Л.: На пути к виртуальной примерочной сети на основе изображений, сохраняющей характеристики. В: Материалы Европейской конференции по компьютерному зрению (ECCV) (2018).


  46. Ван Дж., Чжан В., Лю В.Х., Мэй Т.: До мельчайших деталей: виртуальная примерка с резьбой деталей. АрXив (2019)


  47. Ву, З., Линь, Г., Тао, К., Цай, Дж.: M2e-try on net: Мода от модели для всех. В: ММ '19 (2018)


  48. Ян, К., Лу, К., Лин, З., Шехтман, Э., Ван, О., Ли, Х.: Закрашивание изображений с высоким разрешением с использованием многомасштабного синтеза нейронных участков. В: ЦВПР (2017)


  49. Ю, Дж., Линь, З., Ян, Дж., Шен, X., Лу, X., Хуанг, Т.С.: Закрашивание изображений произвольной формы с закрытой сверткой. В: ICCV (2019)


  50. Ю, Дж., Линь, З.Л., Ян, Дж., Шен, X., Лу, X., Хуанг, Т.С.: Генеративное рисование изображений с контекстуальным вниманием. В: ЦВПР (2018)


  51. Ю, Л., Чжун, Ю., Ван, X.: Виртуальная сеть примерок на основе Inpainting для выборочной передачи одежды. Доступ IEEE (2019 г.)


  52. Ю, Л., Чжун, Ю., Ван, X.: Виртуальная сеть примерок на основе Inpainting для выборочной передачи одежды. Доступ IEEE (2019 г.)


  53. Ю, Р., Ван, X., Се, X.: Vtnfp: виртуальная сеть примерок на основе изображений с сохранением особенностей тела и одежды.


  54. Чжан Х., Гудфеллоу И., Метаксас Д., Одена А.: Генеративно-состязательные сети самообслуживания. Препринт arXiv arXiv:1805.08318 (2018)


  55. Чжэн Н., Сун Х., Чен З., Ху Л., Цао Д., Не Л.: Виртуальная примерка новой одежды в произвольных позах. В: ММ '19 (2019)


  56. Чжэн С., Ян Ф., Киапур М.Х., Пирамуту Р.: Моданет: крупномасштабный набор данных об уличной моде с полигональными аннотациями. В: ACM Мультимедиа (2018)


  57. Чжу С., Фидлер С., Уртасун Р., Лин Д., Чен К.Л.: Будьте сами себе Прада: Синтез моды со структурной согласованностью. В: ЦВПР (2017)


Этот документ доступен на arxiv под лицензией CC BY-NC-SA 4.0 DEED.