ComfyUI ile Başyapıt Evcil Hayvan Portreleri Yapın

AI görüntü işleme araçları son birkaç yılda çok yol kat etti. Günümüzde insanların ve hayvanların güzel, stil sahibi portrelerini oluşturmak oldukça kolay. Ancak AI modelleri oldukça öngörülemezdir. Bu nedenle çoğu araç kötü nesilleri ayıklamak ve en iyisini bulmak için kullanıcıya (veya bir insana) güvenir.

Bu, AI araçlarını sıklıkla etkileyen klasik "döngüdeki insan" sorunudur. Görünüşe göre, bazı akıllıca numaralar ve dikkatli ayarlamalarla, evcil hayvanların büyük çoğunluğu için güvenilir bir şekilde çalışan bir boru hattı inşa edebilirsiniz. Poz, ışıklandırma vb.'deki değişikliklere karşı son derece dayanıklıdır.

Bu yazıda, bunun nasıl çalıştığına ve bunu mümkün kılan tüm güzel küçük numaralara daha derinlemesine ineceğim. İşte bu işlem hattıyla üretebileceğiniz portrelerin bazı örnekleri.

Hadi başlayalım!

Ana Malzemeler

IPAdapter

Tekniğin özü IPAdapter'dır. Temel olarak, metin yerine bir resim kullanarak bir modeli uyarmanın bir yoludur (tam anlamıyla Image Prompt Adapter'ın kısaltmasıdır). Yani bir metin yerleştirmesi almak yerine, yerleştirmeleri almak için bir resim kullanır. Bu çok güçlüdür çünkü birisinin bir resimden istediğini metne çevirmesi gerekmek yerine, doğrudan bir resimdeki stili ve yapıyı doğru bir şekilde yakalayabilir. ComfyUI IPAdapter düğümümüzde, biri stil için, diğeri kompozisyon için olmak üzere iki girdimiz var. Stil için bir sulu boya resim resmi kullanıyoruz ve kompozisyon için orijinal resmi besliyoruz (aynı kompozisyonu korumak ancak stili değiştirmek istediğimiz için).

Kontrol Ağları

Artık stili tutarlı tutmanın bir yolunu bulduğumuza göre, dikkatimizi evcil hayvanı sadık bir şekilde temsil etmeye verebiliriz. IPAdapter'lar görüntü kalitesine büyük ölçüde eğilimlidir ve görüntü benzerliği zarar görür. Bu yüzden çıktıyı girdiyle aynı nesne gibi gösterebilmek için bir şeyler yapmamız gerekir.

Bunun cevabı ControlNet'tir. ControlNet'ler, görüntü oluşturma sürecine ek kısıtlamalar sağlamak için bir başka harika tekniktir. Bir ControlNet kullanarak, kenarlar, derinlik, insan pozu vb. şeklinde kısıtlamalar belirtebilirsiniz. ControlNet'lerin harika bir özelliği, istiflenebilmeleridir. Yani çıktının girdiyle benzer kenarlara sahip olmasını zorlayan bir kenar kontrol ağına ve ayrıca çıktının benzer bir derinlik profiline sahip olmasını zorlayan bir derinlik kontrol ağına sahip olabilirsiniz. Ve ben burada tam olarak bunu yapıyorum.

Controlnet'lerin sadece diğer controlnet'lerle istiflenebildiği değil, aynı zamanda yukarıda belirtilen IPAdapter ile birlikte çalışabildiği ortaya çıktı. Ve bu amaçla kullanacağımız araçlar şunlardır - stili elde etmek için kaynak görüntüye sahip IPAdapter, kenarlara göre sınırlama yapmak için akıllı kenar dedektörüne sahip ControlNet ve derinlik profiline göre sınırlama yapmak için derinliğe sahip controlnet.

Teknikler açısından gerçekten ihtiyacınız olan tek şey bu, ancak üretim için makine öğrenimi ile deneyerek öğrendiğim şey, bu şeylerin değerinin çoğunun tüm parametrelerinizi mükemmel bir şekilde ayarlamak için zaman ayırmaktan geldiğidir. Bu yüzden bundan biraz bahsetmek istiyorum.

İnce ayar

Hiç harika örnek çıktıları olan bir model bulup, kendi görsellerinizde denediğinizde berbat göründüklerini fark ettiniz mi? Genellikle bunun tek nedeni, modelin görselleriniz için ince ayar yapılmamış olmasıdır. Bazen tam bir engelleyici gibi hissedilebilir, çünkü önceden eğitilmiş bir modelin ince ayarını yapmaya nereden başlayacağız ki?! İşte konu hakkında öğrendiklerim. Bu, bu belirli boru hattının ötesine de uzanır, bu yüzden genel olarak sahip olunması gereken iyi bir bilgidir.

Kontrol Ağları

ControlNet'ler çok güçlüdür, bu yüzden çıktı üzerindeki etkilerini kontrol etmek için dikkatli olmalısınız. Neyse ki, ComfyUI'deki özel düğümler, controlnet'lerin etkisini azaltmamıza ve ayrıca etkilerini herhangi bir noktada durdurmamıza olanak tanır. Bu yüzden kenar dedektörünü %75 güce ayarladık ve %75'te üretimi etkilemesini durdurduk ve derinlik dedektörünü %30'da durdurduk. Onları sadece güçlerini azaltmak yerine sonunda durdurmamızın nedeni, bunun ağın son birkaç adımda bunların neden olduğu tüm eserleri harici olarak kısıtlanmadan "temizlemesine" olanak sağlamasıdır. Bu sadece görüntüyü daha güzel hale getirir. Bu yüzden, kenarları ve derinliği görmezden gelerek, her şeyin mümkün olduğunca güzel görünmesini sağlamak için sadece eğitim verilerini kullanır.

Ayarlanması gereken diğer büyük şey KSampler'dır. Burada çok sayıda küçük şey oluyor, ancak bunlardan bazılarına kısaca değineceğim:

KSampler - Adımlar

Önce adımlarımız var. Bu, modelin tekrar tekrar çalışacağı zaman sayısıdır. Ne kadar çok çalışırsa, çıktınız o kadar stilize olur ve orijinal görüntüden o kadar uzaklaşır. Bunun etkileri genellikle o kadar belirgin değildir, bu yüzden bununla oynamaya değer.

KSampler - CFG

Sonra CFG var. Dürüst olmak gerekirse bunu tam olarak anlamıyorum, ancak adından - Sınıflandırıcı Ücretsiz Rehberlik - modelin istemler tarafından kısıtlanmadan görüntüyü daha iyi görünmesi için ne kadar değiştirebileceğini kontrol ettiğini varsayıyorum. Bu ayrıca çıktı görüntüsünü önemli ölçüde etkiler, bu yüzden oynamaya değer.

Gürültüyü azalt

Burada kullandığım bir diğer şık küçük numara, görüntü oluşturma sürecini boş bir görüntü yerine giriş görüntüsüyle başlatmak ve gürültü gidermeyi düşük tutmaktır. Bu, çıktının renkler ve dokular açısından benzer görünmesini sağlar.

Metin İstemi

Şimdiye kadar hiç bahsetmediğim bir şey fark edeceksiniz, metin istemi! Şaşırtıcı, çünkü bu genellikle difüzyon modellerine sağladığınız tek koşullandırmadır. Ancak bu durumda, koşullandırmanın o kadar çok başka yolu var ki metin istemleri genellikle sadece yolumuza çıkıyor. Yani bu durumda, istem tam anlamıyla sadece "bir köpek". Şef köpeği veya banyodaki köpek gibi daha stilize portrelerin bazılarında metin istemini biraz daha fazla kullanıyorum.

Aksesuar ekleme

Özünde, bu, görüntüleri sulu boya portrelere dönüştüren bir "AI Filtresi"dir. Ancak bunun ne kadar esnek olabileceği şaşırtıcıdır. Örneğin, duş alan köpeğin portresini yapmak için, görüntüleri bir görüntü düzenleme aracında bir araya getirdim ve bunu girdi olarak kullandım! Model, her şeyi birleştirme ve görüntüyü temizleme işini üstlenir.

Çözüm

Şimdi arka planı kaldırın, biraz metin ekleyin ve Pat! Evcil hayvanınızın tüm küçük ayrıntılarını yakalayan ve onları her zaman en iyi ışıkta boyayan güzel bir portreniz var!

ComfyUI düğümleri ve youtube'daki harika açıklayıcı serileri üzerindeki çalışmaları için @cubiq'e çok teşekkürler! Bu boru hattının çoğu onun tarafından videolarında inşa edildi ve açıklandı.

Tüm bu zahmete girmeden evcil hayvanınızın portresini yaptırmak istiyorsanız, buradan bir tane satın almayı düşünebilirsiniz: pawprints.pinenlime.com!