Autoren: (1) Gonzalo J. Aniano Porcile, LinkedIn; (2) Jack Gindi, LinkedIn; (3) Shivansh Mundra, LinkedIn; (4) James R. Verbus, LinkedIn; (5) Hany Farid, LinkedIn und University of California, Berkeley. Linktabelle Zusammenfassung und Einleitung Datensätze Modell Ergebnisse Diskussion, Danksagungen und Referenzen Abstrakt Die auf KI basierende Bildgenerierung hat sich weiterhin schnell verbessert und produziert zunehmend realistischere Bilder mit weniger offensichtlichen visuellen Mängeln. KI-generierte Bilder werden verwendet, um gefälschte Online-Profile zu erstellen, die wiederum für Spam, Betrug und Desinformationskampagnen verwendet werden. Da das allgemeine Problem der Erkennung jeglicher Art von manipulierten oder synthetisierten Inhalten zunehmend Aufmerksamkeit erhält, konzentrieren wir uns hier auf die engere Aufgabe, ein echtes Gesicht von einem KI-generierten Gesicht zu unterscheiden. Dies gilt insbesondere für die Bekämpfung unechter Online-Konten mit einem gefälschten Benutzerprofilfoto. Wir zeigen, dass durch die Konzentration auf ausschließlich Gesichter ein widerstandsfähigeres und universelleres Artefakt erkannt werden kann, das die Erkennung KI-generierter Gesichter durch eine Vielzahl von GAN- und diffusionsbasierten Synthese-Engines und über Bildauflösungen (so niedrig wie 128 × 128 Pixel) und -qualitäten hinweg ermöglicht. 1. Einleitung In den letzten drei Jahrzehnten wurden bemerkenswerte Fortschritte bei der statistischen Modellierung natürlicher Bilder erzielt. Das einfachste Leistungsspektralmodell [20] erfasst den für natürliche Bilder typischen 1/ω-Frequenzabfall, Abbildung 1(a). Da dieses Modell keine Phaseninformationen enthält, ist es nicht in der Lage, detaillierte Strukturinformationen zu erfassen. Anfang 2000 konnten neue statistische Modelle die natürliche Statistik sowohl der Größe als auch (einigermaßen) der Phase erfassen [25], was zu Durchbrüchen bei der Modellierung grundlegender Texturmuster führte, Abbildung 1(b). Diese Modelle können zwar wiederkehrende Muster erfassen, aber nicht die geometrischen Eigenschaften von Objekten, Gesichtern oder komplexen Szenen. Ab 2017 begannen generative Modelle, die auf großen Datensätzen natürlicher Bilder, Fortschritten im Deep Learning und leistungsstarken GPU-Clustern basieren, detaillierte Eigenschaften menschlicher Gesichter und Objekte zu erfassen [16, 18]. Diese generativen kontradiktorischen Netzwerke (GANs) werden anhand einer großen Anzahl von Bildern aus einer einzigen Kategorie (Gesichter, Autos, Katzen usw.) trainiert und erfassen hochdetaillierte Eigenschaften. von beispielsweise Gesichtern, Abbildung 1(c), sind aber auf nur eine einzige Kategorie beschränkt. In jüngster Zeit haben diffusionsbasierte Modelle [2,26] generative Bildmodelle mit linguistischen Eingabeaufforderungen kombiniert, was die Synthese von Bildern aus beschreibenden Textaufforderungen wie „ein Imker malt ein Selbstporträt“, Abbildung 1(d), ermöglicht. Traditionell wurde die Entwicklung generativer Bildmodelle von zwei Hauptzielen getrieben: (1) die grundlegenden statistischen Eigenschaften natürlicher Bilder zu verstehen und (2) die daraus resultierenden synthetisierten Bilder für alles zu verwenden, von der Darstellung von Computergrafiken bis hin zur menschlichen Psychophysik und Datenerweiterung in klassischen Computer Vision-Aufgaben. Heute findet generative KI jedoch auch in schändlicheren Anwendungsfällen Anwendung, von Spam über Betrug bis hin zu zusätzlichem Treibstoff für Desinformationskampagnen. Das Erkennen manipulierter oder synthetisierter Bilder ist besonders schwierig, wenn in großen Netzwerken mit Hunderten von Millionen von Benutzern gearbeitet wird. Diese Herausforderung wird noch größer, wenn der durchschnittliche Benutzer Schwierigkeiten hat, ein echtes von einem gefälschten Gesicht zu unterscheiden [24]. Da wir uns mit der Verwendung generativer KI bei der Erstellung gefälschter Online-Benutzerkonten befassen, versuchen wir, schnelle und zuverlässige Techniken zu entwickeln, mit denen echte von KI-generierten Gesichtern unterschieden werden können. Als nächstes stellen wir unsere Arbeit in den Kontext verwandter Techniken. 1.1. Verwandte Arbeiten Da wir uns speziell auf KI-generierte Gesichter konzentrieren, werden wir verwandte Arbeiten überprüfen, die sich ebenfalls auf die Unterscheidung echter von gefälschten Gesichtern konzentrieren oder darauf anwendbar sind. Es gibt zwei große Kategorien von Ansätzen zur Erkennung von KI-generierten Inhalten [10]. Bei den ersten, hypothesengetriebenen Ansätzen werden spezifische Artefakte in KI-generierten Gesichtern ausgenutzt, wie etwa Inkonsistenzen in der bilateralen Gesichtssymmetrie in Form von Hornhautreflexionen [13] und Pupillenform [15] oder Inkonsistenzen in der Kopfhaltung und der räumlichen Anordnung von Gesichtszügen (Augen, Nasenspitze, Mundwinkel, Kinn usw.) [23, 33, 34]. Der Vorteil dieser Ansätze besteht darin, dass sie explizite Anomalien auf semantischer Ebene lernen. Der Nachteil besteht darin, dass Synthese-Engines diese Artefakte im Laufe der Zeit scheinbar – entweder implizit oder explizit – korrigieren. Andere nicht gesichtsspezifische Artefakte umfassen räumliche Frequenz- oder Rauschanomalien [5,8,12,21,35], aber diese Artefakte neigen dazu, für einfache Waschangriffe (z. B. Transkodierung, additives Rauschen, Bildgrößenänderung) anfällig zu sein. Bei den zweiten, datengetriebenen Ansätzen wird maschinelles Lernen eingesetzt, um zu lernen, wie man zwischen realen und KI-generierten Bildern unterscheidet [11, 29, 32]. Diese Modelle liefern oft gute Ergebnisse bei der Analyse von Bildern, die mit ihrem Training übereinstimmen, haben dann aber Probleme mit Bildern außerhalb des Bereichs und/oder sind anfällig für Lay-Attacken, da sich das Modell an Artefakte auf niedriger Ebene klammert [9]. Wir versuchen, das Beste aus beiden Ansätzen zu nutzen. Indem wir unser Modell auf einer Reihe von Synthese-Engines (GAN und Diffusion) trainieren, versuchen wir zu vermeiden, dass wir uns an ein bestimmtes Artefakt auf niedriger Ebene klammern, das nicht verallgemeinert werden kann oder anfällig für einfache Laundering-Angriffe sein kann. Indem wir uns nur auf die Erkennung von KI-generierten Gesichtern (und nicht auf beliebige synthetische Bilder) konzentrieren, zeigen wir, dass unser Modell anscheinend ein Artefakt auf semantischer Ebene erfasst hat, das sich von KI-generierten Gesichtern unterscheidet, was für unsere spezifische Anwendung, das Aufspüren potenziell betrügerischer Benutzerkonten, äußerst wünschenswert ist. Wir zeigen auch, dass unser Modell widerstandsfähig gegen die Erkennung von KI-generierten Gesichtern ist, die zuvor beim Training nicht erkannt wurden, und dass es über eine große Bandbreite von Bildauflösungen und -qualitäten hinweg widerstandsfähig ist. Dieses Dokument ist . auf Arxiv unter der CC 4.0-Lizenz verfügbar
