Tüm Deepfake Dedektörleri Eşit Oluşturulmamıştır

Deepfake'ler son birkaç yıldır yükselişte; birden fazla yüz değiştirme aracı, dolandırıcılar ve hatta organize suç grupları arasında popülerlik kazanıyor.

Europol raporuna göre “ Gerçekle Yüzleşmek mi? Kanun yaptırımı ve derin sahtekarlıkların yarattığı zorluklar Deepfake'ler CEO dolandırıcılığı, delillerin tahrif edilmesi ve rıza dışı pornografi üretimi gibi daha ciddi suçlarda bile kullanılabilir.

Ancak yapay zeka ile ilgili her şeyde olduğu gibi, bu her zaman dolandırıcılarla modern deepfake dedektörleri arasında bir silahlanma yarışıdır. Uluslararası Dolandırıcılık Farkındalık Haftası'nın ardından, deepfake dedektörlerinin son birkaç yıldaki yetenekleri ve ilerlemeleri hakkında bir gerçeklik kontrolü sağlamak istedik; bu, yalnızca deepfake dolandırıcılığının ne kadar büyük bir sorun olmaya devam ettiği nedeniyle gerekli olan bir gerçeklik kontrolüdür.

Dahili araştırmamızda, 2020'den bu yana yayınlanan açık kaynaklı, modern, son teknoloji deepfake dedektörlerinin performansını analiz ettik.

Temel gözlemimiz şu: Gerçek ve sahte içerik arasında ayrım yapma konusunda bilgisayarlar uzun süredir insanlardan daha iyi performans gösteriyor. Bu bulgu, en ileri algoritmaların ve yöntemlerin gücünden yararlanma ihtiyacının altını çiziyor.

Bu alandaki önde gelen çalışmaların neredeyse tamamı, yüz algılamayı algoritmalarının temel unsuru olarak öne çıkarıyor. Yüz algılama, yüksek doğrulukla karakterize edilen, mükemmel olmasa da yakın bir çözümdür.

Bir yüz, görüntüde belirgin bir şekilde konumlandırıldığında ve ileriye doğru baktığında, modern algılama modelleri hızlı ve güvenilir tanımlama konusunda üstünlük sağlar.

Deepfake görüntüler oluşturmanın birkaç yolu olsa da, hem popüler hem de sağlam bir yöntem öne çıkıyor: tek seferde yüz değiştirme. Bu teknik, yüz özelliklerini birincisinden ikincisine aktarmak için biri kaynak diğeri hedef olmak üzere iki görüntü kullanır.

Mevcut ortamda, deepfake görseller ve videolar oluşturmanın en güçlü yaklaşımı olarak kabul ediliyor.

Bizim deneyebilirsiniz Deepfake oyunu kendiniz kontrol edin.

Çalışmalar

İlgili çalışmaların çoğunda hazır kod ve ağırlıkların bulunmaması, deepfake tespiti alanında sık karşılaşılan bir zorluğun altını çiziyor.

Bu ortam genellikle bilimsel yayılım yerine iş uygulamalarına öncelik veriyor ve bu da akademik ve araştırma toplulukları için gerekli olan araç ve kaynaklara erişimin sınırlı olmasına neden oluyor.

Açıkça paylaşılan kod ve model ağırlıklarının eksikliği, derin sahte tespit yöntemlerinin daha geniş çapta ilerlemesi önünde önemli bir engel oluşturuyor.

Deepfake tespitine yönelik çok sayıda yaklaşım mevcut ve her konferansta yeni makaleler ortaya çıkıyor.

Bu makalelerden bazıları öncelikle deepfake tespiti için model mimarisine odaklanıyor, transformatör modelinden önemli ölçüde ilham alıyor ve onu bu zorluğa uyarlamaya çalışıyor.

Bu arada, diğer makaleler eğitim yöntemlerine, özellikle de sahte görüntülerle dolu sentetik veri kümelerine odaklanıyor. Alan kıyaslama açısından zengindir ve bir sonraki bölümde açık kaynak koduna ve mevcut ağırlıklara sahip olanları vurgulayarak aralarındaki en güçlü olanlardan bazılarını tartışacağız.

FaceForensics++

Tüm modern deepfake tespit yöntemleri için en belirgin temel, makalede yayınlanan araştırmadır. FaceForensics++: Manipüle Edilmiş Yüz Görüntülerini Tespit Etmeyi Öğrenmek . Yazarların birincil katkısı, ham, yüksek kaliteli ve düşük kaliteli seçeneklere ayrılmış 1000 YouTube videosundan alınan 1,8 milyondan fazla görselden oluşan kapsamlı bir veri kümesidir.

Bu ayrımları doğrulamak için insan gözlemcileri kullandılar. Makaledeki deepfake sınıflandırma modeli, veri setinde ince ayar yapılmış, ImageNet ağırlıklarına sahip XceptionNet omurgasını temel alan ikili bir sistemdir.

Yazarlar, model yanıtlarına dayalı basit bir oylama mekanizması kullanarak, modelin mimari basitliğine rağmen deepfake tespiti alanında önemli bir etki elde etti.

Çok Dikkatli Deepfake Tespiti

Yazarlar, temel olarak basit bir ikili sınıflandırıcı yaklaşımına güvenmeleriyle karakterize edilen önceki deepfake tespit modellerinde yaygın bir sorunun altını çiziyor.

Gerçek ve sahte görüntüler arasındaki ince ayrımları hesaba katmayan temel ikili sınıflandırıcı yaklaşımı. Buradaki yazarlar, farklı yapay bölgelere odaklanmak için birden fazla dikkat kafasına sahip çoklu dikkat ağı kullanan, ince taneli sınıflandırmadan ilham alan bir alternatif önermektedir.

Bu ağ, düşük seviyeli doku özelliklerini ve yüksek seviyeli anlamsal özellikleri birleştirerek görüntü temsilleri ve eğitim için ayırt edici, dikkat odaklı bir veri artırma mekanizması oluşturur.

Bu yaklaşım, mevcut modellerin sınırlamalarını ele alıyor ve bu da onu deepfake tespiti için umut verici bir yöntem haline getiriyor.

Deepfake Tespiti için Çok Modlu Çok Ölçekli Transformatörler

"M2TR'nin yazarları: Deepfake Tespiti için Çok Modlu Çok Ölçekli Transformatörler "Sahte içeriğin görünebileceği görsellerde belirli bölgelere odaklanmanın önemini vurgulayın.

Sıkıştırma sonrasında görünmeyebilecek eserleri tespit etmek için bir frekans filtresi kullanarak, çok ölçekli bir yapıya sahip çok modlu bir yaklaşım sunarlar.

Ayrıca, RGB ve frekans özelliklerini birleşik bir temsilde birleştirmek için kişisel dikkatten ilham alan bir Çapraz Modalite Füzyon bloğu kullanıyorlar ve derin sahte algılama yöntemlerini geliştiriyorlar.

Yüz Sahteciliği Tespiti için Uçtan Uca Yeniden Yapılandırma-Sınıflandırma Öğrenimi

İçinde " Yüz Sahteciliği Tespiti için Uçtan Uca Yeniden Yapılandırma-Sınıflandırma Öğrenimi " başlıklı makalede yazarlar, olası tüm manipülasyonları kapsamayabilecek belirli sahtecilik modellerine odaklanan deepfake tespit yöntemlerinde yaygın bir soruna değiniyor.

İki bileşene dayalı bir yaklaşım öneriyorlar: yeniden yapılandırma öğrenimi ve sınıflandırma öğrenimi:

• Yeniden yapılandırma öğrenimi, bilinmeyen sahtecilik modellerini tespit etmek için gösterimleri geliştirir.

• Sınıflandırma öğrenimi, gerçek ve sahte görüntüler arasındaki eşitsizlikleri tanımlar.

  
  

Yazarlar, gerçek yüzleri modellemek için özel bir yeniden yapılandırma ağı ve önceden bilinmeyen sahtecilik modellerinin tespitini geliştirmek için bir metrik öğrenme kaybı kullanarak, bu temsilleri geliştirmek için çok ölçekli bir yaklaşım kullanıyor.

Örtülü Kimlik Sızıntısı: Deepfake Tespiti Genellemesini Geliştirmenin Önündeki Engel

İşte, " Örtülü Kimlik Sızıntısı: Deepfake Tespiti Genellemesini Geliştirmenin Önündeki Engel "," yazarları deepfake tespiti ile ilgili önemli bir konuyu ele alıyorlar. Birçok deepfake modelinin yüz değiştirme tekniklerine dayandığını ve bunun da benzersiz bir zorluğa yol açabileceğini belirtiyorlar.

Bu modeller, orijinal kimliklerin dağılımlarını hatırlama eğilimindedir; bu, sahte bir görselin bazen iki farklı kimliğin karışımı olarak görünebileceği anlamına gelir. Ancak bu problem, bu modelleri yeni, görülmemiş veya çapraz veri kümelerine uygulamaya çalışırken özellikle zorlayıcı hale geliyor. Bu durumlarda model, daha önce karşılaşmadığı için görüntünün gerçek kimliğini çözmekte zorlanır.

Yazarların "Örtülü Kimlik Sızıntısı" olarak adlandırdığı bu sorunu çözmek için, derin sahte tespit modellerinin eğitim veri kümelerinin sınırlarının ötesinde genelleştirilmesini geliştiren çözümler bulmaya çalışıyorlar.

Bu olguya kanıt sağlamak için yazarlar başlangıçta önceden eğitilmiş deepfake sınıflandırıcıları aldılar ve sonuncusu dışındaki tüm katmanları dondurdular. Son katmanı doğrusal bir katmanla değiştirdiler ve kimlik sınıflandırma görevi için ince ayar yaptılar.

Bu deney, kimlik sızıntısı potansiyelini ortaya koyarak, kimlikleri yüksek doğrulukla sınıflandırmak için tek bir doğrusal katmanın etkili bir şekilde eğitilebileceğini gösterdi. Daha sonra yazarlar, belirli yüz bölgelerini değiştirmeye odaklanarak yüzün farklı ölçeklerdeki kısımlarını değiştirmek için yeni bir yöntem geliştirdiler.

Daha sonra bu süreçten oluşturulan görüntüleri kullanarak çok ölçekli bir algılama modeli eğittiler. Bu model, yapay alanların varlığını tespit etmek için farklı katmanlardaki farklı boyutlardaki özellik haritalarını inceleyerek, derin sahte manipülasyonun olası sinyallerinin kapsamlı bir gözlemini sağlar.

Kendiliğinden Harmanlanmış Görüntülerle Deepfake'leri Tespit Etme

Deepfake tespiti alanındaki en son dikkate değer makale " Kendiliğinden Harmanlanmış Görüntülerle Deepfake'leri Tespit Etme ." Bu araştırmada yazarlar, benzersiz bir veri kümesi kullanarak kendi modellerini eğiterek yeni bir yaklaşım benimsemişlerdir.

Bu veri seti, ayrı ayrı saf görüntülerden elde edilen sahte kaynak ve hedef görüntülerin harmanlanması yoluyla oluşturulan görüntülerden oluşur. Bu süreç, deepfake'lerde sıklıkla karşılaşılan yaygın sahtecilik olaylarını etkili bir şekilde kopyalar.

Bu yaklaşımın ardındaki temel fikir, daha genel ve daha az kolay tanınabilen sahte örnekler kullanarak, sınıflandırıcıların, manipülasyona özgü yapıtlara aşırı uyum sağlamaya boyun eğmeden daha genel ve sağlam temsilleri öğrenebilmesidir.

Yazarlar, yaygın olarak kullanılan dört temel deepfake yapıtını tanımlıyor: dönüm noktası uyumsuzluğu, harmanlama sınırı, renk uyumsuzluğu ve frekans tutarsızlığı. Daha sonra bu eserleri özel bir model kullanarak sentezlerler.

Model mimarisi için yazarlar, ImageNet veri kümesinde önceden eğitilmiş EfficientNet-b4'ü aldılar. Bu modele, Kendi Kendine Harmanlanmış Görüntüler (SBI) veri kümesinde ince ayar yaparak, modelin, yaygın sahtecilik eserleri içeren bu harmanlanmış görüntülerden öğrenerek derin sahtekarlıkları tespit etme konusunda ustalaşmasını sağlıyorlar.

Deneylerimiz. Metrikler ve Veri Kümeleri

2020'den sonra yayınlanan modern, son teknoloji deepfake dedektörlerinin performansını analiz ettik ve kod ve model ağırlıklarını kamunun ve araştırmaların kullanımına sunduk.

Yazarlar tarafından açıklanan niteliklerin benzer bir veri kümesine nasıl aktarıldığını görmek amacıyla aynı genel veri kümelerindeki her model için ilgili ölçümleri hesapladık. Daha sonra dolandırıcıların doğrulamayı atlamak için sıklıkla kullandığı (yüz değiştirme gibi) basit dönüşümleri uyguladık ve deepfake dedektörlerinin ne kadar verimli performans gösterdiğini gördük.

Kullandığımız Celeba-Genel Merkez Ve LFW temel gerçek görüntüler için temel veri kümeleri olarak. Her ikisi de araştırma ve geliştirmede yaygın olarak kullanılmaktadır. Bu iki veri kümesindeki görüntüler, bilgisayarla görme görevlerinin çoğu için "etki alanı" görüntüleri olarak sınıflandırılabilir.

Gerçek anlamda sahte görüntü veri kümeleri sunmak için son teknoloji ürünü bir araç kullandık. SimSwap adlı 2021'deki deepfake modeli . Hala birçok kişi tarafından en iyi ve en popüler tek fotoğraflı deepfake oluşturucu olarak kabul ediliyor.

Yeterli miktarda görüntü oluşturmak için, Fake-Celeba-HQ ve Fake-LFW'yi oluşturmak amacıyla veri kümesindeki rastgele kaynak ve referans fotoğraf çiftlerini kullandık. Her veri seti tam olarak 10.000 görüntüden oluşmaktadır.

Basitlik açısından, modellerin kalitesini ölçmek için ana metrik olarak varsayılan eşik değeri 0,5 olan 1 sınıf doğruluk kullandık. Yani her veri seti için doğru tahmin edilen etiketlerin yüzdesini hesapladık. Ek olarak, birleştirilmiş gerçek ve sahte veri kümeleri üzerinden toplam ROC-AUC ölçüsünü hesaplıyoruz.

Deney 1:

Tablo 1. Değişiklik olmayan gerçek/sahte veri kümeleri için 1. sınıf doğruluk ve AUC

Beklendiği gibi modellerin çoğunda SimSwap deepfake'lerini tespit etmede bazı sorunlar vardı. En iyi model SBI'dır; %82 puan ve %96'lık umut verici 0,84 AUC puanı gösterir.

Beklenmedik olan ise gerçek veri kümelerindeki görüntüleri gerçek olarak sınıflandırmada zorluk yaşayan pek çok yetenekli modelin bulunmasıdır:

• RECCE, gerçek görüntülerin çoğunu sahte olarak değerlendirdi.

• MAT, FF ve M2TR, LFW'deki yüzlerin yarısından azını deepfake olarak puanladı.

  
  

AUC puanı 0,5’e yakın olan 3 model bulunuyor. Bu durum, bu modellerin daha gerçekçi bir alana aktarılabilirliği ve dolandırıcılar tarafından nasıl kolayca atlatılabileceği konusunda soruları gündeme getiriyor.

Deney 2:

Bu modellerin daha gerçekçi bir alanda nasıl davrandığını test etmek için dolandırıcıların genellikle deepfake kullanırken kullandığı iki farklı tekniği deneyeceğiz.

Artefaktların ve düzensizliklerin çoğunu gizlemek için yaptıkları ilk şey, ölçeği küçültmektir. Canlılık ve deepfake kontrollerinin çoğunda video kalitesine ilişkin herhangi bir gereklilik olmadığından dolandırıcılar genellikle deepfake videoyu sıkıştırır.

Bu yaklaşımı simüle etmek için aynı veri kümelerini kullanacağız, ancak çift doğrusal bir algoritma kullanarak her görüntüyü çok daha küçük bir çözünürlüğe (128x128) sıkıştıracağız. İdeal olarak, deepfake dedektörleri, çıkarımdaki görüntülerin çözünürlüğü eğitim sürecindeki çözünürlükten farklı olsa bile deepfake'leri tespit edebilmelidir.

Şekil 2: Düşük kaliteli bir veri kümesinde deepfake dedektörlerinin en iyi ölçümleri

Burada sonuçlar kafa karıştırıcı olmaktan öte bir şey. Az ya da çok rekabetçi performansa ulaşan modeller artık sahte veri kümelerinde sıfıra yakın doğruluğa sahip. MAT modelinin her şeyi gerçek görüntü olarak puanladığı ve RECCE modelinin de aynı sonuca çok yakın olduğu görülebilir.

Deney 3:

İkinci dolandırıcılık uygulaması ise, sahte görüntülerin dedektörlere teslim edilmesine neden olabilecek tüm kusurları ortadan kaldırmak amacıyla, derin sahte görüntülere rötuş yaparak görüntünün boyutunu yükseltmektir. Bu tür pek çok örnekten biri gözlerdir: Deepfake görüntülerin çoğunda yuvarlak gözbebekleri veya ışık kırılmaları yoktur.

Dolayısıyla bir dolandırıcı, tüm safsızlıkları maskelemek için genellikle Instagram veya TikTok'ta kullanılanlara benzer bazı özel güzelleştirme veya "geliştirme" yazılımları kullanır.

Bu tür bir yazılımın etkilerini simüle etmek için yakından ilişkili olanını kullandık. açık kaynak analogu: GPEN . Bu, yüzü yükseltmek ve geliştirmek için GAN'ları kullanan bir geliştiricidir.

Şekil 3: Gelişmiş bir veri kümesinde deepfake dedektörlerinin en iyi ölçümleri

Burada Deney 2'deki eğilimin aynısı görülebilir. MAT modeli her şeyi gerçek, RECCE ise her şeyi sahte olarak puanladı. SBI ve CADDM'nin performansı rastgele olmaktan daha iyi ancak Fake-LFW ve Fake-CELEBA-HQ veri kümelerindeki deepfake'lerin yarısından fazlasını kaçırdılar.

Çözüm

Bu araştırmanın sonucu kasvetli çünkü %100 güvenli olacak açık kaynaklı deepfake dedektörleri yok ve deepfake sahtekarlığının üretimi kolaylaşıp ucuzlaştıkça daha da gelişmesi bekleniyor. Sumsub'un dahili istatistiklerine göre, derin sahtekarlığın yaygınlığı 2022'den 2023'ün ilk çeyreğine kadar önemli ölçüde arttı:

• 2022'den 2023'ün ilk çeyreğine kadar tüm dolandırıcılık türleri arasında deepfake'lerin oranı Kanada'da %4.500, ABD'de %1.200, Almanya'da %407 ve Birleşik Krallık'ta %392 arttı.

• 2023'ün ilk çeyreğinde, küresel deepfake dolandırıcılığının en fazla olduğu ülkeler sırasıyla %11,8 ve %11,2 ile Büyük Britanya ve İspanya'dan geldi; onu Almanya (%6,7) ve Hollanda (%4,7) izledi. ABD, küresel deepfake dolandırıcılık vakalarının %4,3'ünü temsil ederek 5. sırada yer aldı.

Deneylerimiz, deepfake tespiti konusunda hâlâ yapılacak çok şey olduğunu gösteriyor. En iyi açık kaynaklı deepfake tespit modelleri bile gerçek dünyaya hazır değil ve dolandırıcılarla mücadele edemiyor.

Deepfake dedektörleri hakkında çok sayıda makale var ancak çoğunda kod veya model ağırlıkları mevcut değil.

Bu nedenle buradaki sorunlardan biri, derin sahte tespit yöntemlerinin geliştirilmesine engel oluşturan açıklık eksikliğidir.

Bu nedenle Sumsub olarak biz:

• Deepfake'lerle sürekli olarak mücadele ediyoruz ve kurum içi deepfake tespit teknolojisi .

• Deepfake ve sentetik sahtekarlık tespiti için şirket içi dört farklı makine öğrenimi odaklı modelden oluşan setimizi sunuyoruz. Sahte Aşkına . Herkesin ücretsiz olarak indirip kullanabileceği bir model olan Sumsub, modellerin yeteneklerini daha da geliştirmek için yapay zeka araştırma topluluğundan geri bildirim istiyor.

Yine de İnternet kullanıcılarının görsellerinin çevrimiçi korunmasına ilişkin asıl sorumluluk, kullanıcıların kendilerine aittir. Kişisel fotoğraflarınızı çevrimiçi olarak paylaşma konusunda dikkatli olmayı unutmayın. Bunun yerine tıpkı yazarlarımızın yaptığı gibi şık avatarlar kullansanız iyi olur.

Ve Burada , Deepfake kötüye kullanımından nasıl uzak duracağınıza dair diğer yararlı ipuçlarını bulabilirsiniz.

Sumsub'da Baş Bilgisayarlı Görme Mühendisi Maksim Artemev ve Bilgisayarlı Görme Mühendisi Slava Pirogov tarafından yazılmıştır.