并非所有 Deepfake 探测器都是一样的

过去几年，深度换脸技术一直呈上升趋势，多种换脸工具在欺诈者甚至有组织犯罪集团中越来越受欢迎。

根据欧洲刑警组织的报告“ 面对现实？执法和深度造假的挑战”，深度造假甚至可以用于更严重的犯罪，例如首席执行官欺诈、篡改证据以及制作未经同意的色情内容。

然而，与人工智能相关的一切一样，欺诈者和现代深度造假探测器之间始终是一场军备竞赛。在国际欺诈意识周结束后，我们希望对过去几年中 Deepfake 探测器的功能和进步进行现实检查 - 仅因为 Deepfake 欺诈问题仍然存在多么严重，才需要进行现实检查。

在我们的内部研究中，我们分析了 2020 年以来发布的开源现代最先进的 Deepfake 探测器的性能。

这是我们的基本观察：在区分真实内容和虚假内容方面，计算机的表现长期以来一直优于人类。这一发现强调了利用尖端算法和方法的力量的必要性。

该领域几乎所有的领先作品都突出地将人脸检测作为其算法的基本要素。人脸检测是一种近乎解决方案，其特点是高精度——虽然不完美，但很接近。

当人脸位于图像中的显着位置并向前看时，现代检测模型擅长快速可靠的识别。

虽然创建深度伪造图像的方法有多种，但其中一种方法既流行又强大：一次性换脸。该技术使用两个图像（源图像和目标图像）将面部特征从前者转移到后者。

在当前情况下，它被认为是创建深度伪造图像和视频的最强大方法。

您可以尝试我们的深假游戏你自己，检查一下。

学习

大多数相关工作中缺乏现成的代码和权重，这凸显了深度伪造检测领域的一个共同挑战。

这种情况通常优先考虑商业应用而不是科学传播，导致学术和研究社区所必需的工具和资源的获取受到限制。

缺乏公开共享的代码和模型权重一直是深度伪造检测方法更广泛发展的重大障碍。

深度伪造检测的方法有很多种，每次会议都会出现新的文章。

其中一些文章主要关注深度伪造检测的模型架构，从 Transformer 模型中汲取大量灵感，并尝试使其适应挑战。

与此同时，其他文章重点关注训练方法，特别是充满假图像的合成数据集。该领域有丰富的基准测试，在下一节中，我们将讨论其中一些最强大的基准测试，并强调那些具有开源代码和可用权重的基准测试。

人脸取证++

所有现代深度伪造检测方法最突出的基线是论文中发表的研究FaceForensics++：学习检测经过处理的面部图像。作者的主要贡献是一个包含来自 1000 个 YouTube 视频的超过 180 万张图像的广泛数据集，分为原始、高质量和低质量选项。

他们使用人类观察者来验证这些区别。论文中的 Deepfake 分类模型是一个基于 XceptionNet 主干和 ImageNet 权重的二进制系统，并在其数据集上进行了微调。

尽管模型的架构很简单，但作者通过采用基于模型响应的简单投票机制，在深度伪造检测领域取得了重大影响。

多注意力 Deepfake 检测

作者强调了以前的深度伪造检测模型中的一个常见问题，其主要特征是依赖于简单的二元分类器方法。

基本的二元分类器方法没有考虑真实图像和假图像之间的细微区别。作者在这里提出了一种受细粒度分类启发的替代方案，使用具有多个注意力头的多注意力网络来关注不同的伪影区域。

该网络结合了低级纹理特征和高级语义特征来创建图像表示和独特的注意力引导数据增强机制以进行训练。

这种方法解决了现有模型的局限性，使其成为深度伪造检测的一种有前景的方法。

用于 Deepfake 检测的多模态多尺度 Transformer

《M2TR》的作者：用于 Deepfake 检测的多模态多尺度 Transformer ”强调关注图像中可能出现虚假内容的特定区域的重要性。

他们引入了具有多尺度结构的多模态方法，使用频率滤波器来检测压缩后可能不可见的伪影。

他们进一步采用了受自注意力机制启发的跨模态融合块，将 RGB 和频率特征合并为统一的表示，从而增强了他们的 Deepfake 检测方法。

用于人脸伪造检测的端到端重建分类学习

在 ” 用于人脸伪造检测的端到端重建分类学习，”作者解决了深度伪造检测方法中的一个常见问题，该方法侧重于特定的伪造模式，该模式可能不包含所有可能的操作。

他们提出了一种基于两个组成部分的方法：重建学习和分类学习：

• 重建学习增强了表征以检测未知的伪造模式。

• 分类学习可以识别真实图像和虚假图像之间的差异。

  
  

作者采用多尺度方法来改进这些表示，使用专用重建网络对真实面孔进行建模，并使用度量学习损失来增强对先前未知的伪造模式的检测。

隐式身份泄露：提高 Deepfake 检测泛化能力的绊脚石

在工作中， ”隐式身份泄露：提高 Deepfake 检测泛化能力的绊脚石”，作者解决了有关 Deepfake 检测的一个重要问题。他们指出，许多 Deepfake 模型都基于面部交换技术，这可能会带来独特的挑战。

这些模型往往会记住真实 ID 的分布，这意味着假图像有时可能会显示为两个不同 ID 的混合。然而，当尝试将这些模型应用于新的、未见过的或交叉数据集时，这个问题变得尤其具有挑战性。在这些情况下，模型很难破译图像的真实身份，因为它以前从未遇到过。

为了解决这个被作者称为“隐式身份泄露”的问题，他们努力寻找解决方案，以提高深度伪造检测模型的泛化能力，使其超出训练数据集的范围。

为了提供这种现象的证据，作者最初采用了预训练的 Deepfake 分类器，并冻结了除最后一层之外的所有层。他们用线性层替换了最后一层，并针对 ID 分类任务对其进行了微调。

该实验表明，可以有效地训练单个线性层以高精度对 ID 进行分类，从而证明了身份泄漏的可能性。然后，作者创建了一种以不同比例交换面部部分的新方法，主要关注交换特定的面部区域。

然后，他们利用此过程生成的图像来训练多尺度检测模型。该模型仔细检查不同层中不同大小的特征图，以检测伪影区域的存在，从而对深度伪造操作的可能信号进行彻底观察。

使用自混合图像检测 Deepfakes

Deepfake 检测领域最新的著名论文是“使用自混合图像检测 Deepfakes ” 在这项研究中，作者采用了一种新颖的方法，使用独特的数据集训练自己的模型。

该数据集由通过混合源自各个原始图像的伪源图像和目标图像而生成的图像组成。这个过程有效地复制了深度赝品中经常遇到的常见伪造品。

这种方法背后的关键见解是，通过使用更通用且不易识别的假样本，分类器可以学习更通用和更稳健的表示，而不会过度拟合特定于操作的伪影。

作者确定了常见的深度伪造伪影的四种主要类型：地标不匹配、混合边界、颜色不匹配和频率不一致。然后他们使用专门的模型合成这些工件。

对于模型架构，作者采用了在 ImageNet 数据集上进行预训练的 EfficientNet-b4。他们在自混合图像（SBI）数据集上对该模型进行了微调，确保该模型能够通过从这些具有常见伪造伪影的混合图像中学习来擅长检测深度伪造品。

我们的实验。指标和数据集

我们分析了 2020 年之后发布的现代最先进的 Deepfake 探测器的性能，并将其代码和模型权重可供公众和研究使用。

我们在相同的公共数据集上计算了每个模型的相关指标，以了解作者披露的质量如何转移到类似的数据集。然后，我们应用了欺诈者经常使用的简单转换来绕过验证（例如面部交换），并观察了深度伪造检测器的执行效率。

我们用了塞莱巴总部和LFW作为地面真实图像的基础数据集。两者都广泛用于研究和开发。对于大多数计算机视觉任务来说，这两个数据集的图像可以归类为“域”图像。

为了引入真实的假图像数据集，我们使用了最先进的2021 年推出的 Deepfake 模型，名为 SimSwap 。它仍然被许多人认为是最好和最受欢迎的单张照片深度伪造生成器。

为了生成足够数量的图像，我们使用数据集中的随机源照片和参考照片来创建 Fake-Celeba-HQ 和 Fake-LFW。每个数据集正好有 10,000 张图像。

为简单起见，衡量模型质量的主要指标我们使用 1 级精度，默认阈值为 0.5。换句话说，对于每个数据集，我们计算了正确猜测的标签的百分比。此外，我们还计算了真实和虚假数据集的总 ROC-AUC 指标。

实验一：

表 1. 未经更改的真/假数据集的 1 类准确率和 AUC

正如预期的那样，大多数模型在检测 SimSwap deepfakes 时都存在一些问题。最好的模型是 SBI，得分为 82% 和 96%，AUC 得分为 0.84。

出乎意料的是，有很多有能力的模型很难将真实数据集中的图像分类为真实的：

• RECCE 将大部分真实图像评分为赝品。

• MAT、FF 和 M2TR 将 LFW 中不到一半的面孔评为深度伪造。

  
  

有 3 个模型的 AUC 分数接近 0.5。这就引发了关于这些模型能否转移到更现实的领域以及欺诈者如何轻松绕过它们的问题。

实验2：

为了测试这些模型在更现实的领域中的表现，我们将尝试欺诈者在使用深度伪造品时通常使用的两种不同技术。

为了隐藏大部分伪影和不规则现象，他们所做的第一件事就是缩小规模。由于大多数活性和深度伪造检查对视频质量没有要求，因此欺诈者通常会对深度伪造视频进行压缩。

为了模拟这种方法，我们将使用相同的数据集，但使用双线性算法将每个图像压缩到更小的分辨率 (128x128)。理想情况下，即使推理图像的分辨率与训练过程中的分辨率不同，深度伪造检测器也应该能够检测深度伪造。

图 2：低质量数据集上的 Deepfake 检测器的最佳指标

在这里，结果不仅令人困惑。原本或多或少具有竞争力的模型现在在假数据集上的准确率几乎为零。可以看到，MAT 模型只是将所有内容作为真实图像进行评分，而 RECCE 模型非常接近相同的判定。

实验3：

第二种欺诈行为是升级图像以修饰深度伪造的图像，以消除可能“放弃”伪造图像给检测器的所有缺陷。许多这样的例子之一就是眼睛：大多数深度伪造的图像上都没有圆形瞳孔或光折射。

因此，欺诈者通常会使用一些类似于 Instagram 或 TikTok 中使用的特定美化或“增强”软件来掩盖所有杂质。

为了模拟此类软件的效果，我们使用了与其密切相关的开源模拟：GPEN 。这是一个增强器，使用 GAN 来升级面部并增强它。

图 3：深度伪造检测器在增强数据集上的最佳指标

在这里，我们可以看到与实验 2 相同的趋势。MAT 模型将所有内容评分为真实，RECCE 将所有内容评分为虚假。 SBI 和 CADDM 的性能优于随机，但它们错过了 Fake-LFW 和 Fake-CELEBA-HQ 数据集中一半以上的 Deepfakes。

结论

这项研究的结果令人沮丧，因为没有 100% 安全的开源 Deepfake 检测器，而 Deepfake 欺诈预计将进一步发展，因为它的生成变得越来越容易、越来越便宜。根据 Sumsub 的内部统计数据，从 2022 年到 2023 年第一季度，深度造假欺诈的流行率大幅增长：

• 从 2022 年到 2023 年第一季度，加拿大所有欺诈类型中深度造假的比例增加了 4,500%，美国增加了 1,200%，德国增加了 407%，英国增加了 392%。

• 2023 年第一季度，深度造假最多的国家是英国和西班牙，分别占全球深度造假欺诈的 11.8% 和 11.2%，其次是德国（6.7%）和荷兰（4.7%）。美国排名第五，占全球深度造假欺诈案件的 4.3%。

我们的实验表明，深度伪造检测还有很多工作要做。即使是最好的开源深度伪造检测模型也没有为现实世界做好准备，也无法对抗欺诈者。

关于 Deepfake 检测器的论文有很多，但大多数都没有可用的代码或模型权重。

因此，这里的问题之一是缺乏开放性，这为深度伪造检测方法的改进造成了障碍。

因此，我们 Sumsub：

• 不断打击深度伪造并改进我们的内部 Deepfake 检测技术。

• 提供我们内部的四种不同的机器学习驱动模型，用于深度伪造和合成欺诈检测，称为为了假货。它可供所有人免费下载和使用，Sumsub 寻求人工智能研究社区的反馈，以进一步提高模型的功能。

但网络用户图像在线保护的主要责任还是在于用户自己。请记住在网上分享个人照片时要小心。最好使用时尚的头像，就像我们的作者所做的那样。

和这里，您可以找到有关如何远离 Deepfake 滥用的其他有用提示。

作者：Sumsub 首席计算机视觉工程师 Maksim Artemev 和计算机视觉工程师 Slava Pirogov