在野外寻找人工智能生成的人脸：讨论、致谢和参考文献

链接表

• 摘要和简介
• 数据集
• 模型
• 结果
• 讨论、致谢和参考文献

5.讨论

对于许多图像分类问题，大型神经模型（具有适当代表性的数据）因其学习判别特征的能力而具有吸引力。然而，这些模型可能容易受到对抗性攻击 [4]。我们的模型是否像以前的模型一样容易受到攻击，这些模型中，微不足道的对抗性噪声会混淆模型 [3]。特别是，我们似乎已经学到的明显的结构或语义伪影是否会对故意的对抗性攻击产生更高的鲁棒性，这还有待观察。

对于不太复杂的攻击，包括转码和图像调整大小等洗钱操作，我们已经

表明我们的模型在广泛的洗钱操作中具有弹性。

人工智能生成内容的创作和检测本质上是对抗性的，创作者和检测者之间会有一些可预测的来回。虽然检测似乎毫无用处，但事实并非如此。通过不断构建检测器，我们迫使创作者继续投入时间和成本来创造令人信服的假货。虽然足够老练的创作者可能会绕过大多数防御措施，但普通创作者则不会。

在像我们这样的大型在线平台上运行时，这种缓解（而非消除）策略对于创建更安全的在线空间非常有用。此外，任何成功的防御都会采用不止一种，而是多种不同的方法来利用各种工件。绕过所有这些防御将对对手构成重大挑战。通过学习看似强大的工件，该工件在分辨率、质量和一系列合成引擎上都具有弹性，本文描述的方法为防御工具包添加了一个强大的新工具。

致谢

这项工作是 Hany Farid 教授与 LinkedIn 的 Trust Data 团队合作的成果[10]。我们感谢 Matya 的 Bohacek 在创建 AI 生成人脸方面提供的帮助。我们感谢 LinkedIn Scholars[11] 计划促成了此次合作。我们还要感谢 Ya Xu、Daniel Olmedilla、Kim Capps-Tanaka、Jenelle Bray、Shaunak Chatterjee、Vidit Jain、Ting Chen、Vipin Gupta、Dinesh Palanivelu、Milinda Lakkam 和 Natesh Pillai 对这项工作的支持。我们感谢 NVIDIA 的 David Luebke、Margaret Albrecht、Edwin Nieda、Koki Nagano、George Chellapa、Burak Yoldemir 和 Ankit Patel，他们公开提供 StyleGAN 生成软件、训练模型和合成图像，从而促进了我们的工作，并提出了宝贵的建议。

参考

[1] 稳定性人工智能。https://stability.ai。1

[2] David Bau、Alex Andonian、Audrey Cui、YeonHwan Park、Ali Jahanian、Aude Oliva 和 Antonio Torralba。用文字绘画。arXiv:2103.10951，2021 年。1

[3] Nicholas Carlini 和 Hany Farid。利用白盒和黑盒攻击规避深度伪造图像检测器。IEEE/CVF 计算机视觉和模式识别研讨会论文集，第 658–659 页，2020 年。7

[4] Nicholas Carlini 和 David Wagner。《神经网络鲁棒性评估》。《IEEE 安全与隐私研讨会》，第 39-57 页。IEEE，2017 年。7

[5] Lucy Chai、David Bau、Ser-Nam Lim 和 Phillip Isola。什么使假图像可检测？理解可概括的属性。欧洲计算机视觉会议，第 103-120 页，2020 年。2

[6] Eric R Chan、Connor Z Lin、Matthew A Chan、Koki Nagano、Boxiao Pan、Shalini De Mello、Orazio Gallo、Leonidas J Guibas、Jonathan Tremblay、Sameh Khamis 等人。高效几何感知 3D 生成对抗网络。国际计算机视觉与模式识别会议，第 16123-16133 页，2022 年。2

[7] Franc¸ois Chollet。Xception：使用深度可分离卷积进行深度学习。arXiv:1610.02357，2017 年。4

[8] Riccardo Corvi、Davide Cozzolino、Giada Zingarini、Giovanni Poggi、Koki Nagano 和 Luisa Verdoliva。关于检测由扩散模型生成的合成图像。国际声学、语音和信号处理会议，第 1-5 页。IEEE，2023 年。2、5、7

[9] Chengdong Dong、Ajay Kumar 和 Eryun Liu。在从光谱域印记中检测 GAN 生成的假图像之前请三思。在国际计算机视觉与模式识别会议上，第 7865-7874 页，2022 年。2

[10] Hany Farid。创建、使用、滥用和检测深度伪造。《在线信任与安全杂志》，1(4)，2022 年。2

[11] Joel Frank、Thorsten Eisenhofer、Lea Schonherr、Asja Fis- ¨ cher、Dorothea Kolossa 和 Thorsten Holz。利用频率分析进行深度伪造图像识别。arXiv:2003.08685，2020 年。2

[12] Diego Gragnaniello、Davide Cozzolino、Francesco Marra、Giovanni Poggi 和 Luisa Verdoliva。GAN 生成的图像容易检测吗？对最新技术的批判性分析。在 IEEE 国际多媒体会议和博览会上，第 1-6 页，2021 年。2

[13] Hui Guo、Shu Hu、Xin Wang、Ming-Ching Chang 和 Siwei Lyu。眼睛说明一切：不规则的瞳孔形状揭示了由 gan 生成的面孔。IEEE 声学、语音和信号处理国际会议，第 2904-2908 页。IEEE，2022 年。2

[14] 何开明, 张翔宇, 任少卿, 孙健.用于图像识别的深度残差学习。 arXiv: 1512.03385, 2015.4

[15] Shu Hu、Yuezun Li 和 Siwei Lyu。使用不一致的角膜镜面高光曝光 GAN 生成的面部。在 IEEE 声学、语音和信号处理国际会议上，第 2500-2504 页。IEEE，2021 年。2

[16] Tero Karras、Timo Aila、Samuli Laine 和 Jaakko Lehtinen。逐步发展 GAN 以提高质量、稳定性和变化性。arXiv:1710.10196，2017 年。1

[17] Tero Karras、Miika Aittala、Samuli Laine、Erik Hark onen、Janne Hellsten、Jaakko Lehtinen 和 Timo Aila。无别名生成对抗网络。在神经信息处理系统中，2021 年。1、2

[18] Tero Karras、Samuli Laine 和 Timo Aila。基于样式的生成对抗网络生成器架构。国际计算机视觉与模式识别会议，第 4401-4410 页，2019 年。1、2

[19] Tero Karras、Samuli Laine、Miika Aittala、Janne Hellsten、Jaakko Lehtinen 和 Timo Aila。分析并改进StyleGAN的图像质量。在国际计算机视觉与模式识别会议上，第 8110-8119 页，2020 年。2

[20] David C Knill、David Field 和 Daniel Kerstent。《人类对分形图像的辨别》。JOSA A，7(6):1113–1123，1990 年。1

[21] 刘波, 杨帆, 毕秀丽, 肖斌, 李伟生, 高新波.通过真实图像检测生成的图像。在欧洲计算机视觉会议上，第 95-110 页。 Springer，2022 年。2

[22] 刘泽、林宇桐、曹越、胡涵、魏逸轩、张政、Stephen Lin、郭百宁。 Swin Transformer：使用移位窗口的分层视觉变换器。在 IEEE/CVF 国际计算机视觉会议上，2021 年。4

[23] Shivansh Mundra、Gonzalo J. Aniano Porcile、Smit Marvaniya、James R. Verbus 和 Hany Farid。从紧凑嵌入中展示集体生成的个人资料照片。在国际计算机视觉与模式识别研讨会上，2023 年。2、7

[24] Sophie J Nightingale 和 Hany Farid。人工智能合成的面孔与真实面孔难以区分，更值得信赖。美国国家科学院院刊，119(8):e2120481119，2022 年。2

[25] Javier Portilla 和 Eero P Simoncelli。基于复杂小波系数联合统计的参数纹理模型。国际计算机视觉杂志，40:49–70，2000 年。1

[26] Robin Rombach、Andreas Blattmann、Dominik Lorenz、Patrick Esser 和 Bjorn Ommer。使用潜在扩散模型的高分辨率图像合成。国际计算机视觉与模式识别会议，第 10684-10695 页，2022 年。1、4

[27] Pawan Sinha、Benjamin Balas、Yuri Ostrovsky 和 Richard Russell。《人类面部识别：所有计算机视觉研究人员都应该知道的 19 个结果》。《IEEE 论文集》，94(11):1948–1962，2006 年。6

[28] Mukund Sundararajan、Ankur Taly 和 Qiqi Yan。深度网络的公理归因。arXiv: 1703.01365，2017 年。6

[29] Chuangchuang Tan、Yao Zhao、Shikui Wei、Guanghua Gu 和 Yunchao Wei。梯度学习：用于 GAN 生成图像检测的广义伪影表示。国际计算机视觉与模式识别会议，第 12105-12114 页，2023 年。2

[30] Mingxing Tan 和 Quoc V. Le。Efficientnet：重新思考卷积神经网络的模型缩放。arXiv：1905.11946，2020 年。4

[31] 彼得·汤普森。玛格丽特·撒切尔：一种新的幻觉。Perception，9(4):483–484, 1980. 6

[32] Sheng-Yu Wang、Oliver Wang、Richard Zhang、Andrew Owens 和 Alexei A Efros。CNN 生成的图像目前出奇地容易识别。国际计算机视觉与模式识别会议，第 8695-8704 页，2020 年。2

[33] Xin Yang、Yuezun Li 和 Siwei Lyu。使用不一致的头部姿势揭露深度伪造。IEEE 声学、语音和信号处理国际会议，第 8261-8265 页。IEEE，2019 年。2

[34] Xin Yang、Yuezun Li、Honggang Qi 和 Siwei Lyu。利用地标位置展示 GAN 合成人脸。ACM 信息隐藏和多媒体安全研讨会，第 113-118 页，2019 年。2

[35] Xu Zhang、Svebor Karaman 和 Shih-Fu Chang。检测和模拟 GAN 假图像中的伪影。IEEE 国际信息取证和安全研讨会，第 1-6 页，2019 年。2

[10] 本文描述的模型不用于对任何 LinkedIn 会员采取行动。

[11] https://careers.linkedin.com/scholars