Hướng tới việc thử nghiệm ảo thực tế, chính xác thông qua việc khớp hình dạng: Công việc liên quan

Bảng liên kết

• Tóm tắt và giới thiệu
• Công việc có liên quan
• Phương án đề xuất
• Thí nghiệm
• Kết luận và tài liệu tham khảo

2. Công việc liên quan

Tổng hợp hình ảnh : Mạng biến áp không gian ước tính các phép biến đổi hình học bằng mạng nơ-ron [23]. Công việc tiếp theo [28,39] cho thấy cách làm cong đối tượng này sang đối tượng khác. Sự cong vênh có thể được sử dụng để tạo ra hình ảnh của các vật thể cứng [26,30] và các vật thể không cứng (ví dụ: quần áo) [17,12,45]. Ngược lại với công việc trước đây, chúng tôi sử dụng nhiều công cụ làm cong không gian.

Các sợi dọc của chúng tôi phải được kết hợp thành một hình ảnh duy nhất và U-Net của chúng tôi để tạo ra hình ảnh này tuân theo các xu hướng inpainting (các phương pháp điền vào các phần còn thiếu của hình ảnh, xem [48,31,50,49]). Han và cộng sự. [16,52] cho thấy phương pháp inpainting có thể hoàn thiện những món đồ còn thiếu trên người.

Trong công việc của mình, chúng tôi sử dụng FID∞ để đánh giá định lượng phương pháp của mình. Điều này dựa trên Khoảng cách khởi động Frchet (FID) [18], một số liệu phổ biến trong mô hình hình ảnh tổng quát [5,54,29]. Chong và cộng sự. [9] gần đây cho thấy FID bị sai lệch; phép ngoại suy sẽ loại bỏ sai lệch thành điểm không thiên vị (FID∞).

Tạo ra người mặc quần áo: Zhu et al. [57] đã sử dụng GAN có điều kiện để tạo ra hình ảnh dựa trên tư thế bộ xương và mô tả văn bản về quần áo. SwapNet [38] học cách chuyển quần áo từ người A sang người B bằng cách cởi quần áo và tạo dáng. Hsiao và cộng sự. [20] đã học được một mạng tổng hợp người mẫu thời trang bằng cách sử dụng mã hóa trên mỗi sản phẩm may mặc để cho phép chỉnh sửa tối thiểu một cách thuận tiện đối với các mặt hàng cụ thể. Ngược lại, chúng tôi biến sản phẩm thành hình ảnh mẫu thật.

Việc khớp hình dạng là nền tảng cho phương pháp của chúng tôi để khớp sản phẩm với mô hình. Tsiao và cộng sự. [19] đã xây dựng một phương pháp nhúng hình dạng để có thể kết hợp giữa cơ thể con người và các mặt hàng quần áo vừa vặn. Công việc trước đây đã ước tính hình dạng cơ thể con người [4,27], quần áo [10,25] và cả hai [35,40], thông qua hình ảnh 2D. Bộ mô tả DensePose [1] giúp mô hình hóa sự biến dạng và bóng của vải và do đó, đã được áp dụng trong công trình gần đây [36,13,47,51,7,52].

Thử ảo (VTO) ánh xạ sản phẩm tới hình ảnh mô hình. VITON [17] sử dụng U-Net để tạo ra tổng hợp thô và mặt nạ trên mô hình nơi sản phẩm được trình bày. Việc ánh xạ từ mặt nạ sản phẩm đến mặt nạ trên mô hình được học thông qua phép biến đổi đường trục tấm mỏng (TPS) [3]. Ánh xạ đã học được áp dụng trên hình ảnh sản phẩm để tạo ra đường cong. Sau công việc của họ, Wang et al. [45] đã cải thiện kiến trúc bằng cách sử dụng Mô-đun đối sánh hình học [39] để ước tính các tham số biến đổi TPS trực tiếp từ các cặp hình ảnh sản phẩm và người mục tiêu. Họ huấn luyện một mạng sàng lọc riêng biệt để kết hợp hình ảnh dọc và hình ảnh mục tiêu. VTNFP [53] mở rộng công việc bằng cách kết hợp dự đoán các phân đoạn cơ thể và các công việc sau này tuân theo quy trình tương tự [37,24,42,22,2]. Tuy nhiên, quá trình chuyển đổi TPS không tạo ra các đường cong hợp lý do độ nhiễu của mặt nạ được tạo trong tập dữ liệu của chúng tôi, như trong Hình 6 bên phải. Thay vào đó, chúng tôi áp dụng các phép biến đổi affine mà chúng tôi thấy là mạnh mẽ hơn đối với các điểm không hoàn hảo thay vì phép biến đổi TPS. Một nhóm công việc sau đây đã mở rộng nhiệm vụ sang nhiều tư thế. Warping-GAN [11] kết hợp đào tạo đối thủ với GMM và tạo bài đăng và kết cấu riêng biệt bằng cách sử dụng mạng hai giai đoạn. MG-VTON [12] cải tiến thêm phương pháp tạo bằng cách sử dụng mạng tạo ba giai đoạn. Công việc khác [21,55,51,7,46] cũng tuân theo quy trình tương tự. Han và cộng sự. [15] lập luận rằng chuyển đổi TPS có mức độ tự do thấp và đề xuất một phương pháp dựa trên dòng chảy để tạo ra sợi dọc.

Nhiều tác phẩm thử ảo hiện có [17,12,21,47,55,53,24,37] được đánh giá trên các tập dữ liệu chỉ có áo (áo phông, áo sơ mi, v.v.). Chỉ có phần ngọn làm giảm phần lớn khả năng hình dạng không khớp vì phần ngọn có hình dạng đơn giản và giống nhau. Trong công việc của mình, chúng tôi mở rộng vấn đề để bao gồm các mặt hàng quần áo thuộc tất cả các loại (áo thun, áo sơ mi, quần dài, quần short, váy, váy, áo choàng, áo khoác, áo khoác, v.v.) và đề xuất phương pháp khớp hình dạng giữa sản phẩm nguồn và mô hình mục tiêu. Đánh giá cho thấy rằng việc sử dụng các cặp có hình dạng phù hợp sẽ làm tăng đáng kể chất lượng thế hệ cho cả công việc của chúng tôi và công việc trước đó (bảng 4.3).

Ngoài ra, trang phục studio thực sự thường được bao phủ bởi một chiếc áo khoác ngoài không có khóa kéo/không cài cúc, điều này cũng không được trình bày trong tác phẩm trước đây [17,12,21,47,55,53,37]. Điều này có thể gây ra sự phân chia hoặc tắc nghẽn nghiêm trọng đối với quần áo và không được giải quyết bằng công việc trước đó như trong Hình 6. Chúng tôi cho thấy rằng mô-đun tạo ra nhiều sợi dọc của chúng tôi đã cải thiện những khó khăn này.