Vahşi Doğada Yapay Zekanın Oluşturduğu Yüzleri Bulma: Sonuçlar

Bağlantı Tablosu

• Özet ve Giriş
• Veri setleri
• Modeli
• Sonuçlar
• Tartışma, Teşekkür ve Referanslar

4. Sonuçlar

Temel eğitim ve değerlendirme performansımız Tablo 2'de gösterilmektedir. Değerlendirme, değerlendirme görüntülerinin bir yüz içerip içermediğine (eğitim görüntüleri yalnızca yüzler içeriyordu) ve görüntülerin aynı (motor içi) veya eğitimde kullanılanlar gibi farklı (motor dışı) sentez motorları (bkz. Bölüm 2.6). Eğitim ve değerlendirme için gerçek pozitif oranın[8] (TPR) doğrudan karşılaştırmasını sağlamak amacıyla, son sınıflandırma eşiğini %0,5'lik bir yanlış pozitif oranı[9] (FPR) verecek şekilde ayarlıyoruz.

%0,5'lik sabit bir FPR ile yapay zeka tarafından oluşturulan yüzler, eğitim ve değerlendirmede %98 oranında doğru şekilde sınıflandırılır. Eğitim için kullanılan farklı sentez motorları (StyleGAN 1,2,3, Stable Diffusion 1,2 ve DALL-E 2) arasında TPR, Stabil Difüzyon 1 için %93,3 gibi düşük bir seviyeden StyleGAN için %99,5 gibi yüksek bir seviyeye kadar değişiklik gösterdi. StyleGAN1 için %98,9 ve StyleGAN3 için %99,9, Stabil Difüzyon 2 için %94,9 ve DALL-E 2 için %99,2.

Kullanılmayan sentez motorları tarafından oluşturulan yüzler için

Eğitimde (motor dışı), TPR aynı FPR'de %84,5'e düşer, bu da iyi ancak mükemmel olmayan alan dışı genelleme gösterir. Eğitimde kullanılmayan farklı sentez motorları arasında TPR, Midjourney için %19,4'lük düşük bir oran, EG3D için %99,5'lik yüksek bir oran ve oluşturulan fotoğraflar için %95,4 gibi yüksek bir oran ile büyük ölçüde değişiklik gösterdi. Sınıflandırıcımız bazı durumlarda iyi genelleme yapar, bazılarında ise başarısız olur. Ancak bu sınırlama, bu motor dışı görüntülerin ilk eğitime dahil edilmesiyle muhtemelen hafifletilebilir.

Özellikle çarpıcı bir sonuç, eğitimde kullanılanla aynı sentez motorları tarafından üretilen yüz olmayan yüzlerin hepsinin yanlış sınıflandırılmasıdır. Bunun nedeni büyük olasılıkla bazı gerçek görüntülerimizin yüz içermeyen (bkz. Bölüm 2.1) olması, yapay zeka tarafından oluşturulan tüm görüntülerin ise yüz içermesidir. Yalnızca hesap oluşturmak için kullanılan sahte yüzleri tespit etmekle ilgilendiğimiz için bunu büyük bir sınırlama olarak görmüyoruz. Bu sonuç aynı zamanda sınıflandırıcımızın, altta yatan sentezden (örn. gürültü parmak izi [8]) düşük seviyeli bir esere değil, yapay zeka tarafından üretilen bir yüzün belirli bir özelliğine kilitlendiğini göstermektedir. Bölüm 4.1'de bu hipotezi destekleyecek ek kanıtlar sunuyoruz.

Yukarıdaki temel sonuçlar, görüntülerin 512×512 piksel çözünürlükte eğitilmesine ve değerlendirilmesine dayanmaktadır. Şekil 3(a)'da (düz mavi) gösterilen, eğitim görüntülerinin daha düşük bir çözünürlüğe (256, 128, 64 ve 32) ölçeklendirildiği ve ardından sınıflandırma için tekrar 512'ye yükseltildiği TPR'dir. Aynı %0,5'lik FPR ile, yapay zeka tarafından oluşturulan bir yüzü sınıflandırmaya yönelik TPR, %98,0'lık bir taban çizgisinden oldukça hızlı bir şekilde düşüyor.

Ancak gerçek pozitif oran, model N × N (N = 32, 64, 128 veya 256) çözünürlükteki görüntüler üzerinde eğitildiğinde ve ardından eğitimde görülen aynı TPR'ye göre değerlendirildiğinde önemli ölçüde artar, Şekil 3(a) ) (kırmızı kesikli). Daha önce olduğu gibi yanlış pozitiflik oranı %0,5 olarak sabitlendi. Burada 128 × 128 çözünürlükte TPR'nin nispeten yüksek kaldığını (%91,9) ve yalnızca en düşük 32 × 32 (%44,1) çözünürlükte bozulduğunu görüyoruz. Yapay zeka tarafından oluşturulan yüzleri nispeten düşük çözünürlüklerde bile tespit etme yeteneği, modelimizin bu seviyedeki alt örneklemeden sağ çıkamayacak düşük seviyeli bir yapıya tutunmadığını gösteriyor.

Şekil 3(b)'de gösterilen, çeşitli JPEG kalitelerindeki (en yüksek kalite 100'den en düşük kalite 20'ye kadar) görüntülere göre değerlendirilen, farklı kalitelerdeki sıkıştırılmamış PNG ve JPEG görüntüler üzerinde eğitilen sınıflandırıcının TPR'sidir. Burada, AI tarafından oluşturulan bir yüzü tanımlamak için TPR'nin (FPR %0,5'tir), 80 kalitede %94,3'lük bir TPR ve 60 kalitede %88,0'lık bir TPR ile yavaş yavaş bozulduğunu görüyoruz. JPEG sıkıştırma yapılarının varlığı, modelimizin düşük seviyeli bir yapıya bağlanmadığını göstermektedir.

4.1. Açıklanabilirlik

Bölüm 4'te gösterildiği gibi, sınıflandırıcımız bir dizi farklı sentez motorundan oluşturulan yapay zeka yüzlerini ayırt etme konusunda oldukça yeteneklidir. Ancak bu sınıflandırıcı yalnızca yüzlerle sınırlıdır (Tablo 2). Yani, eğitimde kullanılanla aynı sentez motorlarından yüz olmayan görüntüler sunulduğunda, sınıflandırıcı bunları yapay zeka tarafından oluşturulmuş olarak sınıflandırmada tamamen başarısız olur.

Sınıflandırıcımızın anlamsal düzeyde bir yapıt öğrenmiş olabileceğini varsayıyoruz. Bu iddia kısmen, sınıflandırıcımızın 128x128 piksel kadar düşük çözünürlüklerde bile oldukça doğru kalması, Şekil 3(a) ve oldukça agresif JPEG sıkıştırması karşısında bile oldukça doğru kalması, Şekil 3(b) ile desteklenmektedir. . Burada, yapısal veya anlamsal düzeyde bir yapı öğrendiğimize dair bu iddiayı destekleyecek daha fazla kanıt sunuyoruz.

İnsan görsel sistemindeki genel amaçlı nesne tanımanın nesne yönelimi, poz ve perspektif bozulmasına karşı oldukça dayanıklı olmasına rağmen, yüz tanıma ve işlemenin basit bir tersine çevirmeye karşı bile daha az dayanıklı olduğu iyi bilinmektedir [27]. Bu etki klasik Margaret Thatcher yanılsaması tarafından nefis bir şekilde resmedilmiştir [31]. Şekil 4'ün üst sırasındaki yüzler, alt sıradakilerin ters çevrilmiş versiyonlarıdır. Sağdaki versiyonda gözler ve ağız yüze göre ters çevrilmiştir. Bu grotesk özellik kokteyli dik yüzde belirgindir, ancak ters yüzde değildir.

Sınıflandırıcımızın sınıflandırmakta zorluk çekip çekmeyeceğini merak ettik

dikey olarak ters çevrilmiş yüzler. Aynı 10.000 doğrulama görüntüsü (Bölüm 2.6) ters çevrildi ve yeniden sınıflandırıldı. Aynı %0,5'lik sabit FPR ile TPR, 20 yüzde puanı düşerek %98,0'dan %77,7'ye düştü.

Karşılaştırıldığında, doğrulama görüntülerinin yalnızca dikey eksen etrafında çevrilmesi (yani soldan sağa çevirme), aynı %0,5 FPR ile %98,0'lık TPR'de hiçbir değişiklik yaratmaz. Bu sonuç çifti, çözünürlük ve sıkıştırma kalitesinin sağlamlığıyla birleştiğinde, modelimizin düşük seviyeli bir yapıyı yakalamadığını ve bunun yerine yapay zeka tarafından oluşturulan yüzleri gerçek yüzlerden ayıran yapısal veya anlamsal bir özellik keşfetmiş olabileceğini gösteriyor.

Entegre gradyanlar yöntemini kullanarak sınıflandırıcımızın doğasını daha da araştırıyoruz [28]. Bu yöntem, derin bir ağın yaptığı tahminleri giriş özelliklerine bağlar. Bu yöntem, eğitilen modelde herhangi bir değişiklik yapılmadan uygulanabildiğinden, her bir girdi görüntüsü pikselinin modelin kararına göre uygunluğunu hesaplamamıza olanak tanır.

Şekil 5(a)'da gösterilen, 100 StyleGAN 2 görüntüsü üzerinden ortalaması alınan normalleştirilmiş ([0, 1] aralığı dahilinde) entegre degradelerin işaretsiz büyüklüğüdür (StyleGAN tarafından oluşturulan yüzlerin tümü hizalı olduğundan, ortalama degrade, yüz özellikleriyle tutarlıdır) Tüm resimler). Şekil 5(b)-(e)'de DALL-2, Midjourney, Stabil Difüzyon 1 ve Stabil Difüzyon 2 tarafından oluşturulan bir görüntü için temsili görüntüler ve bunların normalleştirilmiş entegre gradyanları gösterilmektedir. Her durumda, en ilgili piksellerin Daha büyük gradyanlara karşılık gelen gradyanlar öncelikle yüz bölgesi ve cildin diğer bölgelerine odaklanır.

4.2. Karşılaştırmak

Özellikle GAN'ın oluşturduğu yüzleri tespit etmeye odaklandığı için [23]'ün çalışması bizimkiyle doğrudan ilişkilidir. Bu çalışmada yazarlar, düşük boyutlu bir doğrusal modelin, StyleGAN tarafından oluşturulan yüzlerin ortak yüz hizalamasını yakaladığını göstermektedir. 3.000 StyleGAN yüzüyle karşılaştırıldığında, modelleri GAN yüzlerinin %99,5'ini, gerçek yüzlerin ise %1'ini yanlış bir şekilde yapay zeka olarak sınıflandırıyor. Karşılaştırıldığında, benzer bir TPR elde ediyoruz ancak %0,5'lik daha düşük bir FPR ile.

Ancak created.photos gibi diğer GAN yüzlerine genelleyen yaklaşımımızın aksine, bu önceki çalışmanın TPR'si %86,0'a düşüyor (aynı %1 FPR ile). Ayrıca, bu önceki çalışma difüzyon temelli yüzleri tespit etmekte başarısız oluyor çünkü bu yüzler StyleGAN yüzleriyle aynı hizalama artefaktını içermiyor. Karşılaştırıldığında, tekniğimiz GAN ve difüzyonla oluşturulan yüzler ve eğitimde görülmeyen sentez motorları için genelleme yapar.

Ayrıca yapay zeka tarafından oluşturulan görüntülerde Fourier eserlerinin varlığından yararlanan son teknoloji ürünü bir modeli de değerlendirdik [8]. Gerçek ve motor içi yapay zeka tarafından oluşturulan yüzlerden oluşan değerlendirme veri setimizde bu model, aynı %0,5'lik FPR'de yapay zeka tarafından oluşturulan yüzlerin yalnızca %23,8'ini doğru bir şekilde sınıflandırıyor. Bu TPR, modelimizin %98,0 TPR'sinden oldukça düşüktür ve aynı zamanda [8]'de bildirilen %90 TPR'den de düşüktür. Bu tutarsızlığın, veri setimizin daha çeşitli ve zorlu gerçek görüntülerinden kaynaklandığını varsayıyoruz.

[8] Gerçek pozitif oran (TPR), yapay zeka tarafından oluşturulan fotoğrafların doğru şekilde sınıflandırılan kısmıdır.

[9] Yanlış pozitif oranı (FPR), yanlış sınıflandırılan gerçek fotoğrafların oranıdır.