Şekil Eşleştirme Yoluyla Doğru, Gerçekçi Sanal Denemeye Doğru: İlgili Çalışma

Bağlantı Tablosu

• Özet ve Giriş
• Alakalı iş
• Önerilen yöntem
• Deneyler
• Sonuçlar ve Referanslar

2. İlgili çalışma

Görüntü sentezi : Uzaysal transformatör ağları, sinir ağlarını kullanarak geometrik dönüşümleri tahmin eder [23]. Sonraki çalışma [28,39] bir nesnenin diğerine nasıl çarpıtılacağını göstermektedir. Çarpıtma, sert nesnelerin [26,30] ve sert olmayan nesnelerin (örneğin, giysi) [17,12,45] görüntülerini üretmek için kullanılabilir. Önceki çalışmaların aksine, birden fazla uzaysal çarpıtıcı kullanıyoruz.

Çarpıtmalarımızın tek bir görüntüde birleştirilmesi gerekir ve bu görüntüyü üretmek için kullandığımız U-Net, iç boyamadaki trendleri takip eder (görüntünün eksik kısımlarını dolduran yöntemler, bkz. [48,31,50,49]). Han ve ark. [16,52] iç boyama yöntemlerinin insanlarda eksik olan giyim eşyalarını tamamlayabildiğini göstermektedir.

Çalışmamızda yöntemimizi niceliksel olarak değerlendirmek için FID∞ kullanıyoruz. Bu, üretken görüntü modellemede yaygın bir ölçüm olan Frchet Başlangıç Mesafesine (FID) [18] dayanmaktadır [5,54,29]. Chong ve diğerleri. [9] yakın zamanda FID'nin taraflı olduğunu gösterdi; ekstrapolasyon önyargıyı ortadan kaldırarak tarafsız bir puana (FID∞) ulaşır.

Giyinik insanlar yaratmak: Zhu ve ark. [57], giysinin poz iskeleti ve metin açıklamalarına dayalı görüntüler oluşturmak için koşullu bir GAN kullandı. SwapNet [38] kıyafet ve poz özelliklerini çözerek kıyafetleri A kişisinden B kişisine aktarmayı öğrenir. Hsiao ve ark. [20] belirli öğelerde uygun minimum düzenlemeyi mümkün kılmak için giysi başına kodlamalar kullanan bir moda modeli sentez ağını öğrendi. Bunun aksine, ürünleri gerçek model görselleri üzerine çarpıtıyoruz.

Şekil eşleştirme, ürünü modele eşleştirme yöntemimizin temelini oluşturur. Tsiao ve ark. [19], insan vücudu ile üzerinize tam oturan giyim eşyaları arasında eşleşmeyi sağlayacak bir şekil yerleştirme sistemi geliştirdiler. Önceki çalışmalar, insan vücudunun [4,27], giyim eşyalarının [10,25] ve her ikisinin de [35,40] şeklini 2D görüntüler aracılığıyla tahmin ediyordu. DensePose [1] tanımlayıcısı kumaşın deformasyonunun ve gölgelenmesinin modellenmesine yardımcı olur ve bu nedenle son çalışmalar tarafından benimsenmiştir [36,13,47,51,7,52].

Sanal deneme (VTO), bir ürünü bir model görüntüsüyle eşler. VITON [17], ürünün sunulduğu model üzerinde kaba bir sentez ve maske oluşturmak için bir U-Net kullanıyor. Ürün maskesinden model üzerindeki maskeye eşleme, İnce plaka spline (TPS) dönüşümü yoluyla öğrenilir [3]. Öğrenilen eşleme, çarpıtma oluşturmak için ürün görüntüsüne uygulanır. Çalışmalarının ardından Wang ve ark. [45], TPS dönüşüm parametrelerini doğrudan ürün görüntüsü ve hedef kişi çiftlerinden tahmin etmek için bir Geometrik Eşleştirme Modülü [39] kullanarak mimariyi geliştirdi. Çözgü ve hedef görüntüyü birleştirmek için ayrı bir iyileştirme ağı eğitiyorlar. VTNFP [53], vücut bölümleri tahminini dahil ederek çalışmayı genişletir ve daha sonraki çalışmalar benzer prosedürü izler [37,24,42,22,2]. Ancak, Şekil 6'da sağda gösterildiği gibi, veri kümemizde oluşturulan maskelerin gürültüsünden dolayı TPS dönüşümü makul çarpıtmalar üretememektedir. Bunun yerine, TPS dönüşümü yerine kusurlara karşı daha dayanıklı olduğunu bulduğumuz afin dönüşümleri benimsiyoruz. Aşağıdaki çalışmalardan oluşan bir grup, görevi çoklu pozlamayı da kapsayacak şekilde genişletti. Warping-GAN [11] çekişmeli eğitimi GMM ile birleştirdi ve iki aşamalı bir ağ kullanarak post ve dokuyu ayrı ayrı oluşturdu. MG-VTON [12], üç aşamalı bir üretim ağı kullanarak üretim yöntemini daha da geliştirmiştir. Diğer çalışmalar [21,55,51,7,46] da benzer prosedürü izledi. Han ve ark. [15], TPS dönüşümünün düşük serbestlik derecesine sahip olduğunu savundu ve çarpıklığı oluşturmak için akış tabanlı bir yöntem önerdi.

Mevcut sanal deneme çalışmalarının çoğu [17,12,21,47,55,53,24,37] yalnızca üstlerin (tişört, gömlek vb.) bulunduğu veri kümeleri üzerinde değerlendirilmektedir. Yalnızca üst kısımlara sahip olmak, üst kısımların basit ve benzer şekillere sahip olması nedeniyle şekil uyumsuzluğu olasılığını büyük ölçüde azaltır. Çalışmamızda, sorunu tüm kategorilerdeki giyim ürünlerini (tişört, gömlek, pantolon, şort, elbise, etek, bornoz, ceket, palto vb.) kapsayacak şekilde genişletiyor ve kaynak ürün ile şekli eşleştirmek için bir yöntem öneriyoruz. ve hedef model. Değerlendirme, şekil olarak eşleşen çiftlerin kullanılmasının hem bizim hem de önceki çalışmalarımız için üretim kalitesini önemli ölçüde artırdığını göstermektedir (tablo 4.3).

Ek olarak, gerçek stüdyo kıyafetleri sıklıkla fermuarı açılmış/düğmeleri açılmış dış giyim ile kaplanır ve bu da önceki çalışmalarda sunulmamıştır [17,12,21,47,55,53,37]. Bu, giyside bölünmeye veya ciddi tıkanmaya neden olabilir ve Şekil 6'da gösterildiği gibi önceki çalışmalarda ele alınmamıştır. Çoklu çözgü oluşturma modülümüzün bu zorlukları iyileştirdiğini gösteriyoruz.