Nicht alle Deepfake-Detektoren sind gleich

Deepfakes sind in den letzten Jahren auf dem Vormarsch, wobei mehrere Face-Swap-Tools bei Betrügern und sogar bei organisierten kriminellen Gruppen immer beliebter werden.

Laut Europol-Bericht „ Sich der Realität stellen? Strafverfolgung und die Herausforderung von Deepfakes „Deepfakes könnten sogar bei schwerwiegenderen Straftaten wie CEO-Betrug, Beweismanipulation und der Produktion nicht einvernehmlicher Pornografie eingesetzt werden.“

Allerdings ist es wie bei allem, was mit KI zu tun hat, immer ein Wettrüsten zwischen Betrügern und modernen Deepfake-Detektoren. Im Rahmen der International Fraud Awareness Week wollten wir einen Realitätscheck über die Fähigkeiten und Fortschritte von Deepfake-Detektoren in den letzten Jahren durchführen – ein Realitätscheck, der nur deshalb notwendig ist, weil Deepfake-Betrug nach wie vor ein großes Problem darstellt.

In unserer internen Forschung haben wir die Leistung moderner Open-Source-Deepfake-Detektoren analysiert, die seit 2020 veröffentlicht wurden.

Hier ist unsere grundlegende Beobachtung: Wenn es darum geht, zwischen echten und gefälschten Inhalten zu unterscheiden, sind Computer den Menschen längst überlegen. Dieses Ergebnis unterstreicht die Notwendigkeit, die Leistungsfähigkeit modernster Algorithmen und Methoden zu nutzen.

Fast alle führenden Arbeiten auf diesem Gebiet erwähnen die Gesichtserkennung als grundlegendes Element ihrer Algorithmen. Die Gesichtserkennung ist eine Beinahe-Lösung, die sich durch hohe Genauigkeit auszeichnet – nicht perfekt, aber nah dran.

Wenn ein Gesicht im Bild prominent positioniert ist und nach vorne blickt, zeichnen sich moderne Erkennungsmodelle durch eine schnelle und zuverlässige Identifizierung aus.

Und obwohl es mehrere Möglichkeiten gibt, Deepfake-Bilder zu erstellen, ist eine Methode sowohl beliebt als auch robust: der One-Shot-Face-Swapping. Diese Technik verwendet zwei Bilder, eine Quelle und ein Ziel, um Gesichtszüge von ersterem auf letzteres zu übertragen.

In der aktuellen Landschaft gilt es als der leistungsstärkste Ansatz zur Erstellung von Deepfake-Bildern und -Videos.

Sie können unsere ausprobieren Deepfake-Spiel selbst und probieren Sie es aus.

Studien

Der Mangel an leicht verfügbarem Code und Gewichten in den meisten verwandten Arbeiten unterstreicht eine gemeinsame Herausforderung im Bereich der Deepfake-Erkennung.

In dieser Landschaft haben geschäftliche Anwendungen häufig Vorrang vor der wissenschaftlichen Verbreitung, was zu einem eingeschränkten Zugang zu den Tools und Ressourcen führt, die für akademische und Forschungsgemeinschaften unerlässlich sind.

Dieser Mangel an offen geteilten Code- und Modellgewichten war ein erhebliches Hindernis für die breitere Weiterentwicklung von Deepfake-Erkennungsmethoden.

Es gibt zahlreiche Ansätze zur Deepfake-Erkennung und mit jeder Konferenz erscheinen neue Artikel.

Einige dieser Artikel konzentrieren sich hauptsächlich auf die Modellarchitektur für die Deepfake-Erkennung, wobei sie sich stark vom Transformer-Modell inspirieren lassen und versuchen, es an die Herausforderung anzupassen.

In der Zwischenzeit konzentrieren sich andere Artikel auf Trainingsmethoden, insbesondere auf synthetische Datensätze, die mit gefälschten Bildern gefüllt sind. Das Feld ist reich an Benchmarks, und im folgenden Abschnitt werden wir einige der leistungsstärksten unter ihnen besprechen, wobei wir diejenigen mit Open-Source-Code und verfügbaren Gewichten hervorheben.

FaceForensics++

Die wichtigste Grundlage für alle modernen Deepfake-Erkennungsmethoden ist die in dem Artikel veröffentlichte Forschung FaceForensics++: Lernen, manipulierte Gesichtsbilder zu erkennen . Der Hauptbeitrag der Autoren ist ein umfangreicher Datensatz mit über 1,8 Millionen Bildern aus 1000 YouTube-Videos, kategorisiert in Roh-, Hochqualitäts- und Niedrigqualitätsoptionen.

Sie verwendeten menschliche Beobachter, um diese Unterscheidungen zu bestätigen. Das Deepfake-Klassifizierungsmodell im Artikel ist ein binäres System, das auf einem XceptionNet-Backbone mit ImageNet-Gewichten basiert und auf deren Datensatz fein abgestimmt ist.

Durch den Einsatz eines einfachen Abstimmungsmechanismus auf der Grundlage von Modellantworten erzielten die Autoren trotz der architektonischen Einfachheit des Modells einen erheblichen Einfluss auf den Bereich der Deepfake-Erkennung.

Multi-Aufmerksamkeits-Deepfake-Erkennung

Die Autoren heben ein häufiges Problem früherer Deepfake-Erkennungsmodelle hervor, die sich hauptsächlich dadurch auszeichnen, dass sie auf einem einfachen binären Klassifizierer-Ansatz basieren.

Der grundlegende binäre Klassifikatoransatz, der subtile Unterscheidungen zwischen echten und gefälschten Bildern nicht berücksichtigt. Die Autoren schlagen hier eine Alternative vor, die von einer feinkörnigen Klassifizierung inspiriert ist und ein Multi-Aufmerksamkeitsnetzwerk mit mehreren Aufmerksamkeitsköpfen verwendet, um sich auf verschiedene Artefaktregionen zu konzentrieren.

Dieses Netzwerk kombiniert Texturmerkmale auf niedriger Ebene und semantische Merkmale auf hoher Ebene, um Bilddarstellungen und einen besonderen aufmerksamkeitsgesteuerten Datenerweiterungsmechanismus für das Training zu erstellen.

Dieser Ansatz beseitigt die Einschränkungen bestehender Modelle und macht ihn zu einer vielversprechenden Methode zur Deepfake-Erkennung.

Multimodale Multiskalentransformatoren zur Deepfake-Erkennung

Die Autoren von „M2TR: Multimodale Multiskalentransformatoren zur Deepfake-Erkennung „Betonen Sie, wie wichtig es ist, sich auf bestimmte Bereiche in Bildern zu konzentrieren, in denen gefälschte Inhalte erscheinen könnten.

Sie führen einen multimodalen Ansatz mit einer mehrskaligen Struktur ein und verwenden einen Frequenzfilter, um Artefakte zu erkennen, die nach der Komprimierung möglicherweise nicht sichtbar sind.

Darüber hinaus verwenden sie einen von der Selbstaufmerksamkeit inspirierten Cross-Modality Fusion-Block, um RGB- und Frequenzmerkmale in einer einheitlichen Darstellung zusammenzuführen und so ihre Deepfake-Erkennungsmethode zu verbessern.

End-to-End-Rekonstruktions-Klassifizierungslernen zur Erkennung von Gesichtsfälschungen

In " End-to-End-Rekonstruktions-Klassifizierungslernen zur Erkennung von Gesichtsfälschungen „Die Autoren befassen sich mit einem häufigen Problem bei Deepfake-Erkennungsmethoden, die sich auf bestimmte Fälschungsmuster konzentrieren, die möglicherweise nicht alle möglichen Manipulationen umfassen.

Sie schlagen einen Ansatz vor, der auf zwei Komponenten basiert: Rekonstruktionslernen und Klassifizierungslernen:

• Durch Rekonstruktionslernen werden die Darstellungen verbessert, um unbekannte Fälschungsmuster zu erkennen.

• Durch das Klassifikationslernen werden Unterschiede zwischen echten und gefälschten Bildern identifiziert.

  
  

Die Autoren verwenden einen mehrskaligen Ansatz, um diese Darstellungen zu verbessern, indem sie ein spezielles Rekonstruktionsnetzwerk zur Modellierung realer Gesichter und einen metrischen Lernverlust verwenden, um die Erkennung bisher unbekannter Fälschungsmuster zu verbessern.

Impliziter Identitätsverlust: Der Stolperstein für die Verbesserung der Verallgemeinerung der Deepfake-Erkennung

Auf der Arbeit, " Impliziter Identitätsverlust: Der Stolperstein für die Verbesserung der Verallgemeinerung der Deepfake-Erkennung „Die Autoren befassen sich mit einem wichtigen Problem bei der Deepfake-Erkennung. Sie weisen darauf hin, dass viele Deepfake-Modelle auf Face-Swapping-Techniken basieren, was zu einer einzigartigen Herausforderung führen kann.

Diese Modelle neigen dazu, sich an die Verteilung echter IDs zu erinnern, was bedeutet, dass ein gefälschtes Bild manchmal als eine Mischung aus zwei verschiedenen IDs erscheinen kann. Dieses Problem wird jedoch besonders schwierig, wenn versucht wird, diese Modelle auf neue, unbekannte oder übergreifende Datensätze anzuwenden. In diesen Fällen fällt es dem Modell schwer, die wahre Identität des Bildes zu entschlüsseln, da es zuvor noch nie darauf gestoßen ist.

Um dieses Problem anzugehen, das die Autoren als „implizites Identitätsleck“ bezeichnen, versuchen sie, Lösungen zu finden, die die Verallgemeinerung von Deepfake-Erkennungsmodellen über die Grenzen ihrer Trainingsdatensätze hinaus verbessern.

Um dieses Phänomen zu beweisen, haben die Autoren zunächst vorab trainierte Deepfake-Klassifikatoren verwendet und alle Ebenen bis auf die letzte eingefroren. Sie ersetzten die letzte Schicht durch eine lineare Schicht und optimierten sie für eine ID-Klassifizierungsaufgabe.

Dieses Experiment zeigte, dass eine einzelne lineare Schicht effektiv trainiert werden kann, um IDs mit hoher Genauigkeit zu klassifizieren, was das Potenzial für Identitätsverluste demonstriert. Anschließend entwickelten die Autoren eine neue Methode zum Austauschen von Gesichtsteilen in unterschiedlichen Maßstäben, wobei der Schwerpunkt auf dem Austausch bestimmter Gesichtsregionen lag.

Anschließend trainierten sie ein mehrskaliges Erkennungsmodell, indem sie die aus diesem Prozess generierten Bilder nutzten. Dieses Modell untersucht Feature-Maps unterschiedlicher Größe in verschiedenen Schichten, um das Vorhandensein von Artefaktbereichen zu erkennen, und liefert so eine gründliche Beobachtung der wahrscheinlichen Signale einer Deepfake-Manipulation.

Deepfakes mit selbstgemischten Bildern erkennen

Das neueste bemerkenswerte Papier im Bereich der Deepfake-Erkennung ist „ Deepfakes mit selbstgemischten Bildern erkennen .“ In dieser Forschung haben die Autoren einen neuartigen Ansatz gewählt, indem sie ihr eigenes Modell anhand eines einzigartigen Datensatzes trainiert haben.

Dieser Datensatz besteht aus Bildern, die durch die Mischung von Pseudo-Quell- und Zielbildern erstellt wurden, die aus einzelnen, makellosen Bildern abgeleitet wurden. Dieser Prozess reproduziert effektiv häufige Fälschungsartefakte, die bei Deepfakes häufig vorkommen.

Die wichtigste Erkenntnis hinter diesem Ansatz besteht darin, dass Klassifikatoren durch die Verwendung allgemeinerer und weniger leicht erkennbarer gefälschter Stichproben generischere und robustere Darstellungen lernen können, ohne einer Überanpassung an manipulationsspezifische Artefakte zu unterliegen.

Die Autoren identifizieren vier Haupttypen häufiger Deepfake-Artefakte: Orientierungspunkt-Nichtübereinstimmung, Mischgrenze, Farb-Nichtübereinstimmung und Frequenzinkonsistenz. Anschließend synthetisieren sie diese Artefakte mithilfe eines speziellen Modells.

Für die Modellarchitektur verwendeten die Autoren EfficientNet-b4, vorab trainiert auf dem ImageNet-Datensatz. Sie optimieren dieses Modell anhand ihres SBI-Datensatzes (Self-Blended Images) und stellen so sicher, dass das Modell in der Lage ist, Deepfakes zu erkennen, indem sie aus diesen gemischten Bildern mit häufigen Fälschungsartefakten lernen.

Unsere Experimente. Metriken und Datensätze

Wir haben die Leistung moderner Deepfake-Detektoren analysiert, die nach 2020 veröffentlicht wurden, und stellen deren Code- und Modellgewichte für die öffentliche Nutzung und Forschungszwecke zur Verfügung.

Wir haben relevante Metriken für jedes Modell anhand derselben öffentlichen Datensätze berechnet, um zu sehen, wie die von den Autoren offengelegten Qualitäten auf einen ähnlichen Datensatz übertragen werden. Dann haben wir einfache Transformationen angewendet, die häufig von Betrügern verwendet werden, um die Verifizierung zu umgehen (z. B. Face-Swap), und haben gesehen, wie effizient Deepfake-Detektoren arbeiten.

Wir verwendeten Celeba-Hauptquartier Und LFW als Basisdatensätze für reale Ground-Truth-Bilder. Beide werden häufig in Forschung und Entwicklung eingesetzt. Die Bilder aus diesen beiden Datensätzen könnten für die meisten Computer-Vision-Aufgaben als „Domänen“-Bilder klassifiziert werden.

Um eine Grundwahrheit gefälschter Bilddatensätze einzuführen, verwendeten wir einen Stand der Technik Deepfake-Modell aus dem Jahr 2021 namens SimSwap . Er wird von vielen immer noch als der beste und beliebteste Einzelfoto-Deepfake-Generator angesehen.

Um eine ausreichende Menge an Bildern zu generieren, haben wir zufällige Paare von Quell- und Referenzfotos aus dem Datensatz verwendet, um Fake-Celeba-HQ und Fake-LFW zu erstellen. Jeder Datensatz besteht aus genau 10.000 Bildern.

Der Einfachheit halber haben wir als Hauptmetrik zur Messung der Qualität der Modelle eine 1-Klassen-Genauigkeit mit einem Standardschwellenwert von 0,5 verwendet. Mit anderen Worten: Wir haben für jeden Datensatz den Prozentsatz der richtig erratenen Labels berechnet. Darüber hinaus berechnen wir eine Gesamt-ROC-AUC-Metrik über kombinierte echte und gefälschte Datensätze.

Experiment 1:

Tabelle 1. 1-Klassen-Genauigkeit und AUC für echte/gefälschte Datensätze ohne Änderungen

Wie erwartet hatten die meisten Modelle Probleme bei der Erkennung von SimSwap-Deepfakes. Das beste Modell ist SBI mit einem Wert von 82 % und 96 %, was einem vielversprechenden AUC-Wert von 0,84 entspricht.

Überraschend ist, dass es viele leistungsfähige Modelle gibt, die Schwierigkeiten hatten, Bilder aus realen Datensätzen als real zu klassifizieren:

• RECCE wertete die meisten echten Bilder als Fälschungen.

• MAT, FF und M2TR bewerteten weniger als die Hälfte der Gesichter von LFW als Deepfakes.

  
  

Es gibt 3 Modelle, die einen AUC-Wert nahe 0,5 haben. Dies wirft Fragen zur Übertragbarkeit dieser Modelle auf einen realistischeren Bereich auf und wie sie von Betrügern leicht umgangen werden können.

Experiment 2:

Um zu testen, wie sich diese Modelle in einem realistischeren Bereich verhalten, werden wir zwei verschiedene Techniken ausprobieren, die Betrüger normalerweise bei der Verwendung von Deepfakes nutzen.

Das erste, was sie tun, um die meisten Artefakte und Unregelmäßigkeiten zu verbergen, ist die Verkleinerung. Da es bei den meisten Liveness- und Deepfake-Prüfungen keine Anforderungen an die Videoqualität gibt, komprimieren Betrüger in der Regel Deepfake-Videos.

Um diesen Ansatz zu simulieren, verwenden wir dieselben Datensätze, komprimieren jedoch jedes Bild mithilfe eines bilinearen Algorithmus auf eine viel kleinere Auflösung (128 x 128). Idealerweise sollten Deepfake-Detektoren in der Lage sein, Deepfakes auch dann zu erkennen, wenn die Auflösung der Bilder bei der Inferenz von der Auflösung während des Trainingsprozesses abweicht.

Abbildung 2: Beste Metriken der Deepfake-Detektoren für einen Datensatz mit geringer Qualität

Hier sind die Ergebnisse mehr als verwirrend. Modelle, die eine mehr oder weniger wettbewerbsfähige Leistung erzielten, weisen bei gefälschten Datensätzen jetzt eine Genauigkeit von nahezu Null auf. Man sieht, dass das MAT-Modell einfach alles als reales Bild bewertet hat und das RECCE-Modell dieser Entscheidung sehr nahe kommt.

Experiment 3:

Die zweite Betrugspraxis besteht darin, das Bild hochzuskalieren, um gefälschte Bilder zu retuschieren und alle Unvollkommenheiten zu beseitigen, die dazu führen könnten, dass gefälschte Bilder den Detektoren „verraten“ werden. Eines von vielen solchen Beispielen sind die Augen: Auf den meisten gefälschten Bildern gibt es keine runden Pupillen oder Lichtbrechungen.

Daher verwendet ein Betrüger normalerweise eine spezielle Verschönerungs- oder „Verbesserungs“-Software, ähnlich denen, die in Instagram oder TikTok verwendet werden, um alle Unreinheiten zu maskieren.

Um die Auswirkungen einer solchen Software zu simulieren, haben wir die eng verwandte Software verwendet Open-Source-Analogon: GPEN . Dies ist ein Enhancer, der GANs verwendet, um das Gesicht aufzuwerten und zu verbessern.

Abbildung 3: Beste Metriken der Deepfake-Detektoren in einem erweiterten Datensatz

Hier erkennt man den gleichen Trend wie in Experiment 2. Das MAT-Modell bewertete alles als echt und RECCE bewertete alles als falsch. Die Leistung von SBI und CADDM ist besser als die von Random, aber sie übersehen mehr als die Hälfte der Deepfakes in Fake-LFW- und Fake-CELEBA-HQ-Datensätzen.

Abschluss

Das Ergebnis dieser Untersuchung ist düster, da es keine Open-Source-Deepfake-Detektoren gibt, die zu 100 % sicher wären, und es wird erwartet, dass sich Deepfake-Betrug weiter entwickelt, da seine Erzeugung immer einfacher und kostengünstiger wird. Laut internen Statistiken von Sumsub ist die Verbreitung von Deepfake-Betrug von 2022 bis zum ersten Quartal 2023 erheblich gestiegen:

• Von 2022 bis zum ersten Quartal 2023 stieg der Anteil von Deepfakes an allen Betrugsarten in Kanada um 4.500 %, in den USA um 1.200 %, in Deutschland um 407 % und im Vereinigten Königreich um 392 %.

• Im ersten Quartal 2023 kamen die meisten Deepfakes aus Großbritannien und Spanien mit 11,8 % bzw. 11,2 % des weltweiten Deepfake-Betrugs, gefolgt von Deutschland (6,7 %) und den Niederlanden (4,7 %). Die USA belegten den 5. Platz und repräsentierten 4,3 % der weltweiten Deepfake-Betrugsfälle.

Unsere Experimente zeigen, dass es bei der Deepfake-Erkennung noch viel zu tun gibt. Selbst die besten Open-Source-Deepfake-Erkennungsmodelle sind nicht auf die reale Welt vorbereitet und können Betrüger nicht bekämpfen.

Es gibt eine große Anzahl von Artikeln über Deepfake-Detektoren, in den meisten sind jedoch keine Code- oder Modellgewichte verfügbar.

Aus diesem Grund ist eines der Probleme hier die mangelnde Offenheit, die ein Hindernis für die Verbesserung der Deepfake-Erkennungsmethoden darstellt.

Deshalb haben wir bei Sumsub:

• Wir bekämpfen kontinuierlich Deepfakes und verbessern unsere hauseigene Deepfake-Erkennungstechnologie .

• Bieten Sie unser hauseigenes Set aus vier verschiedenen, auf maschinellem Lernen basierenden Modellen zur Erkennung von Deepfakes und synthetischem Betrug an Um der Fälschung willen . Es steht jedem zum kostenlosen Download und zur Nutzung zur Verfügung, und Sumsub bittet um Feedback von der KI-Forschungsgemeinschaft, um die Fähigkeiten der Modelle weiter zu verbessern.

Dennoch liegt die Hauptverantwortung für den Online-Schutz der Bilder von Internetnutzern bei den Nutzern selbst. Seien Sie vorsichtig, wenn Sie persönliche Fotos online teilen. Verwenden Sie stattdessen lieber stilvolle Avatare, so wie es unsere Autoren getan haben.

Und Hier , Hier finden Sie weitere nützliche Tipps, wie Sie Deepfake-Missbrauch vermeiden können.

Geschrieben von Maksim Artemev, Lead Computer Vision Engineer, und Slava Pirogov, Computer Vision Engineer, bei Sumsub