Tous les détecteurs Deepfake ne sont pas créés égaux

Les deepfakes ont augmenté ces dernières années, avec de multiples outils d'échange de visage gagnant en popularité parmi les fraudeurs et même les groupes criminels organisés.

Selon le rapport d'Europol « Face à la réalité ? L’application de la loi et le défi des deepfakes ", les deepfakes pourraient même être utilisés dans des crimes plus graves tels que la fraude au PDG, la falsification de preuves et la production de pornographie non consensuelle.

Cependant, comme pour tout ce qui concerne l’IA, c’est toujours une course aux armements entre les fraudeurs et les détecteurs modernes de deepfake. À l'issue de la Semaine internationale de sensibilisation à la fraude, nous voulions fournir une vérification de la réalité des capacités et des progrès des détecteurs de deepfake au cours des dernières années - une vérification de la réalité nécessaire uniquement en raison de l'ampleur du problème de la fraude par deepfake.

Dans nos recherches internes, nous avons analysé les performances des détecteurs de deepfake modernes et open source publiés depuis 2020.

Voici notre observation fondamentale : lorsqu’il s’agit de distinguer les contenus réels des faux, les ordinateurs ont longtemps surpassé les humains. Cette découverte souligne la nécessité d’exploiter la puissance des algorithmes et des méthodes de pointe.

Presque tous les travaux de pointe dans ce domaine mettent en évidence la détection des visages comme élément fondamental de leurs algorithmes. La détection des visages est une solution proche, caractérisée par une grande précision – pas parfaite, mais proche.

Lorsqu’un visage est bien en vue sur une image et regarde vers l’avant, les modèles de détection modernes excellent dans l’identification rapide et fiable.

Et bien qu’il existe plusieurs façons de créer des images deepfake, une méthode se révèle à la fois populaire et robuste : l’échange de visage en une seule fois. Cette technique utilise deux images, une source et une cible, pour transférer les traits du visage de la première vers la seconde.

Dans le paysage actuel, cette méthode est considérée comme l’approche la plus puissante pour créer des images et des vidéos deepfake.

Vous pouvez essayer notre Jeu deepfake vous-même et vérifiez-le.

Études

Le manque de code et de pondérations facilement disponibles dans la majorité des travaux connexes souligne un défi commun dans le domaine de la détection des deepfakes.

Ce paysage donne souvent la priorité aux applications commerciales plutôt qu’à la diffusion scientifique, ce qui entraîne un accès limité aux outils et aux ressources essentiels aux communautés universitaires et de recherche.

Ce manque de code et de poids de modèle ouvertement partagés a constitué un obstacle important à l’avancement plus large des méthodes de détection des deepfakes.

Il existe de nombreuses approches pour détecter les deepfakes, et à chaque conférence, de nouveaux articles apparaissent.

Certains de ces articles se concentrent principalement sur l’architecture du modèle pour la détection des deepfakes, s’inspirant considérablement du modèle du transformateur et tentant de l’adapter au défi.

Parallèlement, d’autres articles se concentrent sur les méthodes de formation, notamment sur des ensembles de données synthétiques remplis de fausses images. Le domaine est riche en benchmarks, et dans la section suivante, nous discuterons de certains des plus puissants d'entre eux, en mettant l'accent sur ceux dont le code open source et les pondérations sont disponibles.

FaceForensics++

La base de référence la plus importante pour toutes les méthodes modernes de détection des deepfakes est la recherche publiée dans l'article. FaceForensics++ : Apprendre à détecter les images faciales manipulées . La principale contribution des auteurs est un vaste ensemble de données de plus de 1,8 million d'images provenant de 1 000 vidéos YouTube, classées en options brutes, de haute qualité et de mauvaise qualité.

Ils ont utilisé des observateurs humains pour valider ces distinctions. Le modèle de classification deepfake présenté dans l'article est un système binaire basé sur un squelette XceptionNet avec des poids ImageNet, affinés sur leur ensemble de données.

En utilisant un mécanisme de vote simple basé sur les réponses du modèle, les auteurs ont obtenu un impact significatif dans le domaine de la détection des deepfakes malgré la simplicité architecturale du modèle.

Détection Deepfake multi-attention

Les auteurs mettent en évidence un problème courant dans les modèles précédents de détection des deepfakes, qui se caractérisent principalement par leur recours à une approche de classificateur binaire simple.

L'approche de base du classificateur binaire qui ne tient pas compte des distinctions subtiles entre les images réelles et fausses. Les auteurs proposent ici une alternative inspirée de la classification fine, utilisant un réseau multi-attention avec plusieurs têtes d'attention pour se concentrer sur différentes régions d'artefacts.

Ce réseau combine des fonctionnalités de texture de bas niveau et des fonctionnalités sémantiques de haut niveau pour créer des représentations d'images et un mécanisme distinctif d'augmentation des données guidé par l'attention pour la formation.

Cette approche répond aux limites des modèles existants, ce qui en fait une méthode prometteuse pour la détection des deepfakes.

Transformateurs multimodaux multi-échelles pour la détection des Deepfakes

Les auteurs de « M2TR : Transformateurs multimodaux multi-échelles pour la détection des Deepfakes " soulignent l'importance de se concentrer sur des régions spécifiques des images où du faux contenu peut apparaître.

Ils introduisent une approche multimodale avec une structure multi-échelle, utilisant un filtre de fréquence pour détecter les artefacts qui peuvent ne pas être visibles après compression.

Ils utilisent en outre un bloc de fusion multimodalité inspiré par l’auto-attention pour fusionner les caractéristiques RVB et de fréquence en une représentation unifiée, améliorant ainsi leur méthode de détection des deepfakes.

Apprentissage de reconstruction-classification de bout en bout pour la détection de contrefaçon de visage

Dans " Apprentissage de reconstruction-classification de bout en bout pour la détection de contrefaçon de visage ", les auteurs abordent un problème courant dans les méthodes de détection des deepfakes qui se concentrent sur des modèles de contrefaçon spécifiques, qui peuvent ne pas englober toutes les manipulations possibles.

Ils proposent une approche basée sur deux composantes : l’apprentissage par reconstruction et l’apprentissage par classification :

• L'apprentissage par reconstruction améliore les représentations pour détecter des modèles de contrefaçon inconnus.

• L'apprentissage de la classification identifie les disparités entre les images réelles et fausses.

  
  

Les auteurs emploient une approche multi-échelle pour améliorer ces représentations, en utilisant un réseau de reconstruction dédié pour modéliser les visages réels et une perte d'apprentissage métrique pour améliorer la détection de modèles de contrefaçon jusqu'alors inconnus.

Fuite d'identité implicite : la pierre d'achoppement pour améliorer la généralisation de la détection des deepfakes

Dans le travail, " Fuite d'identité implicite : la pierre d'achoppement pour améliorer la généralisation de la détection des deepfakes ", les auteurs abordent un problème important concernant la détection des deepfakes. Ils soulignent que de nombreux modèles de deepfake sont basés sur des techniques d'échange de visage, ce qui peut conduire à un défi unique.

Ces modèles ont tendance à mémoriser la distribution des véritables pièces d’identité, ce qui signifie qu’une fausse image peut parfois apparaître comme un mélange de deux pièces d’identité différentes. Cependant, ce problème devient particulièrement difficile lorsque l’on tente d’appliquer ces modèles à des ensembles de données nouveaux, invisibles ou croisés. Dans ces cas-là, le modèle a du mal à déchiffrer la véritable identité de l’image car il ne l’a jamais rencontrée auparavant.

Pour résoudre ce problème, que les auteurs appellent « fuite d'identité implicite », ils s'efforcent de trouver des solutions qui améliorent la généralisation des modèles de détection des deepfakes au-delà des limites de leurs ensembles de données de formation.

Pour fournir la preuve de ce phénomène, les auteurs ont d’abord utilisé des classificateurs deepfake pré-entraînés et ont gelé toutes les couches sauf la dernière. Ils ont remplacé la dernière couche par une couche linéaire et l’ont peaufinée pour une tâche de classification des identifiants.

Cette expérience a montré qu’une seule couche linéaire pouvait être efficacement entraînée à classer les identifiants avec une grande précision, démontrant ainsi le potentiel de fuite d’identité. Ensuite, les auteurs ont créé une nouvelle méthode pour échanger des parties du visage à différentes échelles, en mettant l’accent principalement sur l’échange de régions spécifiques du visage.

Ils ont ensuite formé un modèle de détection multi-échelle en utilisant les images générées par ce processus. Ce modèle examine des cartes de caractéristiques de différentes tailles dans diverses couches pour détecter l'existence de zones d'artefacts, fournissant ainsi une observation approfondie des signaux probables de manipulation de deepfake.

Détection des Deepfakes avec des images auto-mélangées

Le dernier article notable dans le domaine de la détection des deepfakes est " Détection des Deepfakes avec des images auto-mélangées " Dans cette recherche, les auteurs ont adopté une approche nouvelle en entraînant leur propre modèle à l'aide d'un ensemble de données unique.

Cet ensemble de données se compose d'images générées par le mélange d'images pseudo-source et cibles dérivées d'images vierges individuelles. Ce processus reproduit efficacement les artefacts de contrefaçon courants souvent rencontrés dans les deepfakes.

L’idée clé derrière cette approche est qu’en utilisant de faux échantillons plus généraux et moins facilement reconnaissables, les classificateurs peuvent apprendre des représentations plus génériques et plus robustes sans succomber au surajustement d’artefacts spécifiques à la manipulation.

Les auteurs identifient quatre principaux types d’artefacts deepfake courants : l’inadéquation des points de repère, la limite de mélange, l’inadéquation des couleurs et l’incohérence des fréquences. Ils synthétisent ensuite ces artefacts à l’aide d’un modèle spécialisé.

Pour l'architecture du modèle, les auteurs ont utilisé EfficientNet-b4, pré-entraîné sur l'ensemble de données ImageNet. Ils affinent ce modèle sur leur ensemble de données Self-Blended Images (SBI), garantissant que le modèle devient apte à détecter les deepfakes en apprenant de ces images mélangées avec des artefacts de contrefaçon courants.

Nos expériences. Métriques et ensembles de données

Nous avons analysé les performances des détecteurs de deepfake modernes et de pointe qui ont été publiés après 2020 et mettons leurs codes et poids de modèle à la disposition du public et de la recherche.

Nous avons calculé des métriques pertinentes pour chaque modèle sur les mêmes ensembles de données publiques afin de voir comment les qualités divulguées par les auteurs sont transférées à un ensemble de données similaire. Ensuite, nous avons appliqué des transformations simples qui sont fréquemment utilisées par les fraudeurs pour contourner la vérification (comme l'échange de visage) et avons constaté l'efficacité des détecteurs de deepfake.

Nous avons utilisé Celeba-QG et LFW comme ensembles de données de base pour des images réelles de vérité terrain. Les deux sont largement utilisés en recherche et développement. Les images de ces deux ensembles de données pourraient être classées comme images de « domaine » pour la plupart des tâches de vision par ordinateur.

Pour introduire un ensemble de données de fausses images de vérité terrain, nous avons utilisé un outil de pointe modèle deepfake de 2021 appelé SimSwap . Il est toujours considéré par beaucoup comme le meilleur et le plus populaire générateur de deepfake à photo unique.

Pour générer une quantité suffisante d'images, nous avons utilisé des paires aléatoires de photos source et de référence de l'ensemble de données pour créer Fake-Celeba-HQ et Fake-LFW. Chaque ensemble de données contient exactement 10 000 images.

Pour plus de simplicité, nous avons utilisé la principale mesure de mesure de la qualité des modèles avec une précision de 1 classe avec un seuil par défaut de 0,5. En d’autres termes, pour chaque ensemble de données, nous avons calculé le pourcentage d’étiquettes correctement devinées. De plus, nous calculons une métrique ROC-AUC totale sur des ensembles de données combinés réels et faux.

Expérience 1 :

Tableau 1. Précision de classe 1 et AUC pour les ensembles de données réels/faux sans modifications

Comme prévu, la plupart des modèles ont eu des problèmes pour détecter les deepfakes SimSwap. Le meilleur modèle est SBI, avec un score de 82 % et 96 %, montrant un score AUC prometteur de 0,84.

Ce qui est inattendu, c'est qu'il existe de nombreux modèles performants qui ont eu des difficultés à classer comme réelles les images provenant d'ensembles de données réels :

• RECCE a qualifié la plupart des images réelles de fausses.

• MAT, FF et M2TR ont identifié moins de la moitié des visages de LFW comme étant des deepfakes.

  
  

Il existe 3 modèles qui ont un score AUC proche de 0,5. Cela soulève des questions sur la transférabilité de ces modèles vers un domaine plus réaliste et sur la manière dont ils peuvent facilement être contournés par les fraudeurs.

Expérience 2 :

Pour tester le comportement de ces modèles sur un domaine plus réaliste, nous essaierons deux techniques différentes que les fraudeurs exploitent habituellement lorsqu'ils utilisent des deepfakes.

La première chose qu’ils font pour masquer la plupart des artefacts et des irrégularités est la réduction d’échelle. Étant donné que dans la plupart des contrôles de vivacité et de deepfake, il n'y a aucune exigence en matière de qualité vidéo, les fraudeurs compressent généralement les vidéos deepfakes.

Pour simuler cette approche, nous utiliserons les mêmes ensembles de données, mais compresserons chaque image à une résolution beaucoup plus petite (128 x 128) à l'aide d'un algorithme bilinéaire. Idéalement, les détecteurs de deepfake devraient être capables de détecter les deepfakes même si la résolution des images lors de l'inférence diffère de la résolution au cours du processus de formation.

Figure 2 : Meilleures métriques des détecteurs de deepfake sur un ensemble de données de faible qualité

Ici, les résultats sont plus que déroutants. Les modèles qui atteignaient des performances plus ou moins compétitives ont désormais une précision proche de zéro sur de faux ensembles de données. On peut voir que le modèle MAT a simplement tout évalué comme une image réelle, et le modèle RECCE est très proche de la même décision.

Expérience 3 :

La deuxième pratique frauduleuse consiste à mettre à l’échelle l’image pour retoucher les images truquées afin de supprimer toutes les imperfections qui pourraient « abandonner » les images fabriquées aux détecteurs. L’un des nombreux exemples est celui des yeux : il n’y a pas de pupilles rondes ni de réfractions lumineuses sur la plupart des images truquées.

Ainsi, un fraudeur utilise généralement un logiciel d’embellissement ou d’« amélioration » spécifique, similaire à ceux utilisés sur Instagram ou TikTok, pour masquer toutes les impuretés.

Pour simuler les effets d'un tel logiciel, nous avons utilisé son logiciel étroitement lié analogique open source : GPEN . Il s'agit d'un activateur qui utilise les GAN pour améliorer le visage et l'améliorer.

Figure 3 : Meilleures métriques des détecteurs de deepfake sur un ensemble de données amélioré

Ici, on peut observer la même tendance que dans l'expérience 2. Le modèle MAT a tout considéré comme réel et RECCE a tout considéré comme faux. Les performances de SBI et CADDM sont meilleures que celles du hasard, mais ils ont manqué plus de la moitié des deepfakes dans les ensembles de données Fake-LFW et Fake-CELEBA-HQ.

Conclusion

Le résultat de cette recherche est sombre puisqu’il n’existe pas de détecteurs open source de deepfake qui seraient sécurisés à 100 %, tandis que la fraude deepfake devrait se développer davantage, à mesure que sa génération devient plus facile et moins chère. Selon les statistiques internes de Sumsub, la prévalence de la fraude deepfake a considérablement augmenté entre 2022 et le premier trimestre 2023 :

• De 2022 au premier trimestre 2023, la proportion de deepfakes parmi tous les types de fraude a augmenté de 4 500 % au Canada, de 1 200 % aux États-Unis, de 407 % en Allemagne et de 392 % au Royaume-Uni.

• Au premier trimestre 2023, la plupart des deepfakes provenaient de Grande-Bretagne et d'Espagne avec respectivement 11,8 % et 11,2 % de la fraude mondiale par deepfake, suivis de l'Allemagne (6,7 %) et des Pays-Bas (4,7 %). Les États-Unis occupent la 5e place, représentant 4,3 % des cas mondiaux de fraude par deepfake.

Nos expériences montrent qu’il reste encore beaucoup à faire en matière de détection des deepfakes. Même les meilleurs modèles open source de détection des deepfakes ne sont pas préparés pour le monde réel et ne peuvent pas lutter contre les fraudeurs.

Il existe un grand nombre d'articles sur les détecteurs de deepfake, mais la plupart d'entre eux ne disposent pas de poids de code ou de modèle.

Pour cette raison, l’un des problèmes ici est le manque d’ouverture qui crée un obstacle à l’amélioration des méthodes de détection des deepfakes.

Par conséquent, chez Sumsub :

• Combattons continuellement les deepfakes et améliorons notre technologie interne de détection des deepfakes .

• Proposez notre ensemble interne de quatre modèles distincts basés sur l'apprentissage automatique pour la détection des fraudes profondes et synthétiques appelés Pour l'amour du faux . Il est disponible pour tout le monde en téléchargement et en utilisation gratuits, et Sumsub sollicite les commentaires de la communauté de recherche en IA pour améliorer encore les capacités des modèles.

Pourtant, la responsabilité principale de la protection en ligne des images des internautes incombe aux utilisateurs eux-mêmes. N'oubliez pas d'être prudent lorsque vous partagez des photos personnelles en ligne. Mieux vaut plutôt utiliser des avatars élégants, tout comme nos auteurs l’ont fait.

Et ici , vous pouvez trouver d’autres conseils utiles sur la façon d’éviter les abus de deepfake.

Écrit par Maksim Artemev, ingénieur principal en vision par ordinateur, et Slava Pirogov, ingénieur en vision par ordinateur, chez Sumsub