在野外寻找人工智能生成的面孔：摘要和简介

链接表

• 摘要和简介
• 数据集
• 模型
• 结果
• 讨论、致谢和参考文献

抽象的

基于人工智能的图像生成技术持续快速改进，生成的图像越来越逼真，明显的视觉缺陷越来越少。人工智能生成的图像被用于创建虚假的在线个人资料，而这些个人资料又被用于垃圾邮件、欺诈和虚假信息活动。由于检测任何类型的操纵或合成内容这一普遍问题越来越受到关注，我们在这里将重点放在一个更狭窄的任务上，即区分真实面孔和人工智能生成的面孔。这在处理使用虚假用户个人资料照片的虚假在线帐户时尤其适用。我们表明，通过只关注面孔，可以检测到更具弹性和通用性的工件，该工件允许从各种基于 GAN 和扩散的合成引擎中检测人工智能生成的面孔，并跨越图像分辨率（低至 128 × 128 像素）和质量。

1. 简介

过去三十年来，自然图像的统计建模取得了显著进展。最简单的功率谱模型 [20] 捕捉到了自然图像中典型的 1/ω 频率幅度下降，如图 1(a) 所示。由于该模型不包含任何相位信息，因此无法捕捉详细的结构信息。到 2000 年初，新的统计模型能够捕捉幅度和（部分）相位的自然统计数据 [25]，从而在基本纹理模式建模方面取得了突破，如图 1(b) 所示。

虽然这些模型能够捕捉重复的模式，但它们无法捕捉物体、人脸或复杂场景的几何属性。从 2017 年开始，在大量自然图像数据集、深度学习的进步和强大的 GPU 集群的推动下，生成模型开始捕捉人脸和物体的详细属性 [16, 18]。这些生成对抗网络 (GAN) 使用来自单一类别（人脸、汽车、猫等）的大量图像进行训练，可以捕捉高度详细的属性

例如，面部图像（图 1(c)），但仅限于单个类别。最近，基于扩散的模型 [2,26] 将生成图像模型与语言提示相结合，允许从描述性文本提示（如“养蜂人画自画像”）合成图像（图 1(d)）。

传统上，生成图像模型的开发由两个主要目标驱动：(1) 了解自然图像的基本统计特性；(2) 将生成的合成图像用于从计算机图形渲染到人类心理物理学以及经典计算机视觉任务中的数据增强等所有领域。然而，如今，生成 AI 发现了更多邪恶的用例，从垃圾邮件到欺诈，以及虚假信息活动的额外燃料。

在拥有数亿用户的大型网络上，检测被操纵或合成的图像尤其具有挑战性。当普通用户难以区分真人脸和假人脸时，这一挑战就变得更加严峻[24]。由于我们担心生成式人工智能会被用来创建虚假的在线用户账户，因此我们寻求开发快速可靠的技术来区分真人脸和人工智能生成的脸部。接下来，我们将把我们的工作放在相关技术的背景下。

1.1. 相关工作

由于我们将重点关注人工智能生成的面孔，因此我们将回顾相关工作，这些工作也侧重于或适用于区分真假面孔。检测人工智能生成内容的方法大致有两类 [10]。

在第一种假设驱动的方法中，人工智能生成的人脸中的特定伪影会被利用，例如以角膜反射 [13] 和瞳孔形状 [15] 形式出现的双侧面部对称性不一致，或头部姿势和面部特征（眼睛、鼻尖、嘴角、下巴等）空间布局的不一致 [23, 33, 34]。这些方法的好处是它们可以学习明确的语义级异常。缺点是随着时间的推移，合成引擎似乎会 – 或隐或显 – 纠正这些伪影。其他非面部特定伪影包括空间频率或噪声异常 [5,8,12,21,35]，但这些伪影往往容易受到简单的洗钱攻击（例如，转码、加性噪声、图像调整大小）。

在第二种数据驱动方法中，机器学习用于学习如何区分真实图像和人工智能生成的图像 [11, 29, 32]。这些模型在分析与其训练一致的图像时通常表现良好，但在处理域外图像时会遇到困难和/或容易受到洗钱攻击，因为模型会锁定低级伪像 [9]。

我们试图充分利用这两种方法的优点。通过在一系列合成引擎（GAN 和扩散）上训练我们的模型，我们力求避免锁定不具有普遍性或可能容易受到简单洗钱攻击的特定低级工件。通过专注于仅检测 AI 生成的面孔（而不是任意合成图像），我们表明我们的模型似乎已经捕获了与 AI 生成的面孔不同的语义级工件，这对于我们查找潜在欺诈用户帐户的特定应用非常有利。我们还表明，我们的模型能够检测到训练中未见过的 AI 生成的面孔，并且在各种图像分辨率和质量下都具有弹性。