Trouver des visages générés par l'IA dans la nature : discussion, remerciements et références

Tableau des liens

• Résumé et introduction
• Ensembles de données
• Modèle
• Résultats
• Discussion, remerciements et références

5. Discussion

Pour de nombreux problèmes de classification d’images, les grands modèles neuronaux – dotés de données suffisamment représentatives – sont attrayants pour leur capacité à apprendre des caractéristiques discriminantes. Ces modèles peuvent cependant être vulnérables aux attaques adverses [4]. Il reste à voir si notre modèle est aussi vulnérable que les modèles précédents dans lesquels des quantités imperceptibles de bruit contradictoire confondent le modèle [3]. En particulier, il reste à voir si les artefacts structurels ou sémantiques apparents que nous semblons avoir appris donneront plus de robustesse aux attaques adverses intentionnelles.

En termes d'attaques moins sophistiquées, y compris les opérations de blanchiment comme le transcodage et le redimensionnement d'images, nous avons

a montré que notre modèle est résilient dans un large éventail d’opérations de blanchiment.

La création et la détection de contenu généré par l’IA sont intrinsèquement contradictoires, avec un va-et-vient quelque peu prévisible entre le créateur et le détecteur. Même si la détection peut sembler futile, ce n’est pas le cas. En construisant continuellement des détecteurs, nous obligeons les créateurs à continuer d'investir du temps et de l'argent pour créer des contrefaçons convaincantes. Et même si le créateur suffisamment sophistiqué sera probablement capable de contourner la plupart des défenses, ce n’est pas le cas du créateur moyen.

Lorsque nous opérons sur de grandes plateformes en ligne comme la nôtre, cette stratégie d’atténuation – mais pas d’élimination – est précieuse pour créer des espaces en ligne plus sûrs. De plus, toute défense réussie fera appel non pas à une, mais à de nombreuses approches différentes exploitant divers artefacts. Contourner toutes ces défenses posera des défis importants à l’adversaire. En apprenant ce qui semble être un artefact robuste et résilient en termes de résolution, de qualité et d'une gamme de moteurs de synthèse, l'approche décrite ici ajoute un nouvel outil puissant à une boîte à outils défensive.

Remerciements

Ce travail est le fruit d’une collaboration entre le professeur Hany Farid et l’équipe Trust Data de LinkedIn[10]. Nous remercions Bohacek de Matya pour son aide dans la création des visages générés par l'IA. Nous remercions le programme LinkedIn Scholars[11] d’avoir permis cette collaboration. Nous remercions également Ya Xu, Daniel Olmedilla, Kim Capps-Tanaka, Jenelle Bray, Shaunak Chatterjee, Vidit Jain, Ting Chen, Vipin Gupta, Dinesh Palanivelu, Milinda Lakkam et Natesh Pillai pour leur soutien à ce travail. Nous remercions David Luebke, Margaret Albrecht, Edwin Nieda, Koki Nagano, George Chellapa, Burak Yoldemir et Ankit Patel de NVIDIA pour avoir facilité notre travail en rendant le logiciel de génération StyleGAN, les modèles entraînés et les images synthétisées accessibles au public, et pour leur précieux suggestions.

Les références

[1] Stabilité IA. https://stabilité.ai. 1

[2] David Bau, Alex Andonian, Audrey Cui, YeonHwan Park, Ali Jahanian, Aude Oliva et Antonio Torralba. Peignez par mot. arXiv:2103.10951, 2021.1

[3] Nicolas Carlini et Hany Farid. Éviter les détecteurs de fausses images avec des attaques par boîte blanche et boîte noire. Dans Actes de la conférence IEEE/CVF sur les ateliers de vision par ordinateur et de reconnaissance de formes, pages 658-659, 2020. 7

[4] Nicolas Carlini et David Wagner. Vers l’évaluation de la robustesse des réseaux de neurones. Dans Symposium IEEE sur la sécurité et la confidentialité, pages 39 à 57. IEEE, 2017. 7

[5] Lucy Chai, David Bau, Ser-Nam Lim et Phillip Isola. Qu’est-ce qui rend les fausses images détectables ? Comprendre les propriétés qui se généralisent. Dans Conférence européenne sur la vision par ordinateur, pages 103 à 120, 2020.2

[6] Eric R Chan, Connor Z Lin, Matthew A Chan, Koki Nagano, Boxiao Pan, Shalini De Mello, Orazio Gallo, Leonidas J Guibas, Jonathan Tremblay, Sameh Khamis et al. Réseaux contradictoires génératifs 3D efficaces et sensibles à la géométrie. Dans Conférence internationale sur la vision par ordinateur et la reconnaissance de formes, pages 16123-16133, 2022.2

[7] François Chollet. Xception : apprentissage profond avec des convolutions séparables en profondeur. arXiv:1610.02357, 2017.4

[8] Riccardo Corvi, Davide Cozzolino, Giada Zingarini, Giovanni Poggi, Koki Nagano et Luisa Verdoliva. Sur la détection d'images synthétiques générées par des modèles de diffusion. Dans Conférence internationale sur l'acoustique, la parole et le traitement du signal, pages 1 à 5. IEEE, 2023. 2, 5, 7

[9] Chengdong Dong, Ajay Kumar et Eryun Liu. Réfléchissez à deux fois avant de détecter les fausses images générées par le GAN à partir de leurs empreintes de domaine spectral. Dans Conférence internationale sur la vision par ordinateur et la reconnaissance de formes, pages 7865-7874, 2022.2

[10] Hany Farid. Créer, utiliser, abuser et détecter des contrefaçons profondes. Journal de confiance et de sécurité en ligne, 1(4), 2022. 2

[11] Joel Frank, Thorsten Eisenhofer, Lea Schonherr, Asja Fischer, Dorothea Kolossa et Thorsten Holz. Tirer parti de l’analyse de fréquence pour une reconnaissance approfondie des fausses images. arXiv:2003.08685, 2020.2

[12] Diego Gragnaniello, Davide Cozzolino, Francesco Marra, Giovanni Poggi et Luisa Verdoliva. Les images générées par le GAN sont-elles faciles à détecter ? Une analyse critique de l'état de l'art. Dans Conférence internationale de l'IEEE sur le multimédia et l'exposition, pages 1 à 6, 2021.2

[13] Hui Guo, Shu Hu, Xin Wang, Ming-Ching Chang et Siwei Lyu. Les yeux disent tout : les formes irrégulières des pupilles révèlent des visages générés par le gan. Dans Conférence internationale de l'IEEE sur l'acoustique, la parole et le traitement du signal, pages 2904-2908. IEEE, 2022.2

[14] Kaiming He, Xiangyu Zhang, Shaoqing Ren et Jian Sun. Apprentissage résiduel profond pour la reconnaissance d'images. arXiv : 1512.03385, 2015.4

[15] Shu Hu, Yuezun Li et Siwei Lyu. Exposition des visages générés par GAN à l'aide de reflets spéculaires cornéens incohérents. Dans Conférence internationale de l'IEEE sur l'acoustique, la parole et le traitement du signal, pages 2500-2504. IEEE, 2021.2

[16] Tero Karras, Timo Aila, Samuli Laine et Jaakko Lehtinen. Croissance progressive des GAN pour une qualité, une stabilité et une variation améliorées. arXiv:1710.10196, 2017.1

[17] Tero Karras, Miika Aittala, Samuli Laine, Erik Hark ¨ onen, ¨ Janne Hellsten, Jaakko Lehtinen et Timo Aila. Réseaux contradictoires génératifs sans alias. Dans Systèmes de traitement de l'information neuronale, 2021. 1, 2

[18] Tero Karras, Samuli Laine et Timo Aila. Une architecture génératrice basée sur le style pour les réseaux adverses génératifs. Dans Conférence internationale sur la vision par ordinateur et la reconnaissance de formes, pages 4401-4410, 2019. 1, 2

[19] Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen et Timo Aila. Analyser et améliorer la qualité d'image de StyleGAN. Dans Conférence internationale sur la vision par ordinateur et la reconnaissance de formes, pages 8110-8119, 2020.2

[20] David C. Knill, David Field et Daniel Kerstent. Discrimination humaine des images fractales. JOSA A, 7(6):1113-1123, 1990. 1

[21] Bo Liu, Fan Yang, Xiuli Bi, Bin Xiao, Weisheng Li et Xinbo Gao. Détection des images générées par des images réelles. Dans Conférence européenne sur la vision par ordinateur, pages 95-110. Springer, 2022.2

[22] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin et Baining Guo. Transformateur Swin : Transformateur de vision hiérarchique utilisant des fenêtres décalées. Dans le cadre de la Conférence internationale IEEE/CVF sur la vision par ordinateur, 2021.4

[23] Shivansh Mundra, Gonzalo J. Aniano Porcile, Smit Marvaniya, James R. Verbus et Hany Farid. Exposition de photos de profil générées à partir d'intégrations compactes. Dans le cadre de l'atelier de la Conférence internationale sur la vision par ordinateur et la reconnaissance de formes, 2023. 2, 7

[24] Sophie J. Nightingale et Hany Farid. Les visages synthétisés par l’IA sont impossibles à distinguer des visages réels et sont plus dignes de confiance. Actes de l'Académie nationale des sciences, 119(8):e2120481119, 2022. 2

[25] Javier Portilla et Eero P Simoncelli. Un modèle de texture paramétrique basé sur des statistiques conjointes de coefficients d'ondelettes complexes. Revue internationale de vision par ordinateur, 40 : 49-70, 2000. 1

[26] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser et Bjorn Ommer. Synthèse d'images haute résolution avec modèles de diffusion latente. Dans Conférence internationale sur la vision par ordinateur et la reconnaissance de formes, pages 10684-10695, 2022. 1, 4

[27] Pawan Sinha, Benjamin Balas, Yuri Ostrovsky et Richard Russell. Reconnaissance faciale par les humains : dix-neuf résultats que tous les chercheurs en vision par ordinateur devraient connaître. Actes de l'IEEE, 94(11):1948-1962, 2006. 6

[28] Mukund Sundararajan, Ankur Taly et Qiqi Yan. Attribution axiomatique pour les réseaux profonds. arXiv : 1703.01365, 2017.6

[29] Chuangchuang Tan, Yao Zhao, Shikui Wei, Guanghua Gu et Yunchao Wei. Apprentissage sur les gradients : représentation généralisée des artefacts pour la détection d'images générées par GAN. Dans Conférence internationale sur la vision par ordinateur et la reconnaissance de formes, pages 12105-12114, 2023.2

[30] Mingxing Tan et Quoc V. Le. Efficientnet : Repenser la mise à l'échelle du modèle pour les réseaux de neurones convolutifs. arXiv : 1905.11946, 2020.4

[31] Peter Thompson. Margaret Thatcher : Une nouvelle illusion. Perception, 9(4):483-484, 1980. 6

[32] Sheng-Yu Wang, Oliver Wang, Richard Zhang, Andrew Owens et Alexei A Efros. Les images générées par CNN sont étonnamment faciles à repérer... pour l'instant. Dans Conférence internationale sur la vision par ordinateur et la reconnaissance de formes, pages 8695-8704, 2020.2

[33] Xin Yang, Yuezun Li et Siwei Lyu. Exposer des faux profonds en utilisant des poses de tête incohérentes. Dans Conférence internationale de l'IEEE sur l'acoustique, la parole et le traitement du signal, pages 8261 à 8265. IEEE, 2019.2

[34] Xin Yang, Yuezun Li, Honggang Qi et Siwei Lyu. Exposition de visages synthétisés par GAN à l'aide d'emplacements de points de repère. Dans l'atelier ACM sur la dissimulation des informations et la sécurité multimédia, pages 113 à 118, 2019.2

[35] Xu Zhang, Svebor Karaman et Shih-Fu Chang. Détection et simulation d'artefacts dans les fausses images GAN. Dans Atelier international de l'IEEE sur la criminalistique et la sécurité de l'information, pages 1 à 6, 2019.2

[10] Le modèle décrit dans cet ouvrage n'est pas utilisé pour prendre des mesures contre les membres de LinkedIn.

[11] https://careers.linkedin.com/scholars