Hướng tới việc thử nghiệm ảo chính xác, thực tế thông qua việc khớp hình dạng: Phương pháp được đề xuất

Bảng liên kết

• Tóm tắt và giới thiệu
• Công việc có liên quan
• Phương án đề xuất
• Thí nghiệm
• Kết luận và tài liệu tham khảo

3. Phương pháp đề xuất

Phương pháp của chúng tôi có hai thành phần. Lưới so khớp hình dạng (SMN; Hình 2 và 3) học cách nhúng để chọn các cặp mẫu quần áo tương thích về hình dạng để thực hiện chuyển giao. Hình ảnh sản phẩm và mô hình được so khớp bằng cách tìm hình ảnh sản phẩm (mô hình tương ứng) ở gần trong không gian nhúng. Lưới thử đa sợi dọc (MTN; Hình 4) lấy hình ảnh quần áo, hình ảnh người mẫu và mặt nạ che quần áo cần thay trên mô hình và tạo ra hình ảnh tổng hợp thực tế của người mẫu mặc trang phục được cung cấp. Mạng bao gồm một mạng warper và một mạng inpaint, được đào tạo chung. Warper tạo ra k đường cong của hình ảnh sản phẩm, mỗi đường cong chuyên biệt về một số tính năng nhất định. Mạng inpainting học cách kết hợp các sợi dọc bằng cách chọn các tính năng cần tìm từ mỗi sợi dọc. SMN và MTN được đào tạo riêng.

3.1 Lưới phù hợp hình dạng

Việc mất nhúng được sử dụng để nắm bắt sự tương ứng về tính năng của hai miền và giúp thực thi cơ chế chú ý được nhúng trong kiến trúc mạng. Thông tin chi tiết về kiến trúc chú ý không gian có trong Tài liệu bổ sung.

3.2 Mạng thử đa sợi dọc

Giống như công việc trước đây [17,45], hệ thống của chúng tôi cũng bao gồm hai mô-đun: (a) một công cụ làm cong vênh để tạo ra nhiều sợi dọc chuyên dụng , bằng cách căn chỉnh hình ảnh sản phẩm với mặt nạ; (b) một mô-đun inpainting để kết hợp các sợi dọc với mô hình được che và tạo ra hình ảnh tổng hợp. Không giống như công việc trước đây [17,45], hai mô-đun được đào tạo chung chứ không phải riêng biệt, do đó người thợ sơn sẽ hướng dẫn thợ làm cong.

Mất tầng: Với nhiều sợi dọc, mỗi sợi dọc được huấn luyện để giải quyết các lỗi do các sợi dọc trước đó mắc phải wj trong đó j < i. Đối với sợi dọc thứ k, chúng tôi tính toán tổn thất tối thiểu trong số tất cả các sợi dọc trước đó ở mỗi pixel, được viết là

Suy hao theo tầng tính toán tổn thất trung bình cho tất cả các sợi dọc. Một thuật ngữ chính quy hóa bổ sung được thực thi trên các tham số chuyển đổi, do đó tất cả các sợi dọc sau sẽ ở gần sợi dọc đầu tiên.

Sự mất mát theo tầng buộc phải phân cấp giữa tất cả các sợi dọc, khiến cho sợi dọc trước mắc lỗi sẽ tốn kém hơn so với sợi dọc sau. Điều này ngăn chặn sự dao động có thể xảy ra trong quá trình huấn luyện (nhiều sợi dọc cạnh tranh để đạt được mức tối ưu). Ý tưởng này có thể so sánh với việc tăng cường, nhưng vẫn khác vì tất cả các sợi dọc đều có chung độ dốc, giúp các sợi dọc trước đó có thể điều chỉnh theo các sợi dọc sau.