Tìm kiếm khuôn mặt do AI tạo ra trong thế giới hoang dã: Thảo luận, Lời cảm ơn và Tài liệu tham khảo

Bảng liên kết

• Tóm tắt và giới thiệu
• Bộ dữ liệu
• Người mẫu
• Kết quả
• Thảo luận, Lời cảm ơn và Tài liệu tham khảo

5. Thảo luận

Đối với nhiều vấn đề phân loại hình ảnh, các mô hình thần kinh lớn – với dữ liệu đại diện phù hợp – rất hấp dẫn vì khả năng tìm hiểu các đặc điểm phân biệt. Tuy nhiên, những mô hình này có thể dễ bị tấn công bởi các cuộc tấn công bất lợi [4]. Vẫn còn phải xem liệu mô hình của chúng tôi có dễ bị tổn thương như các mô hình trước đó hay không, trong đó lượng nhiễu đối nghịch không thể nhận thấy làm nhiễu mô hình [3]. Cụ thể, vẫn còn phải xem liệu các tạo tác ngữ nghĩa hoặc cấu trúc rõ ràng mà chúng ta dường như đã học được có mang lại sức mạnh mạnh mẽ hơn cho các cuộc tấn công đối nghịch có chủ ý hay không.

Xét về các cuộc tấn công ít phức tạp hơn, bao gồm các hoạt động rửa tiền như chuyển mã và thay đổi kích thước hình ảnh, chúng tôi có

cho thấy rằng mô hình của chúng tôi có khả năng phục hồi trong nhiều hoạt động rửa tiền.

Việc tạo và phát hiện nội dung do AI tạo ra vốn có tính chất đối nghịch với sự tương tác qua lại có thể đoán trước được giữa người tạo và người phát hiện. Mặc dù có vẻ như việc phát hiện đó là vô ích nhưng thực tế không phải vậy. Bằng cách liên tục xây dựng các máy dò, chúng tôi buộc người sáng tạo phải tiếp tục đầu tư thời gian và chi phí để tạo ra những sản phẩm giả thuyết phục. Và mặc dù người sáng tạo đủ tinh vi có thể vượt qua hầu hết các biện pháp phòng thủ, nhưng người sáng tạo bình thường thì không.

Khi hoạt động trên các nền tảng trực tuyến lớn như của chúng tôi, chiến lược giảm thiểu - nhưng không loại bỏ - này rất có giá trị để tạo ra không gian trực tuyến an toàn hơn. Ngoài ra, bất kỳ biện pháp phòng thủ thành công nào cũng sẽ sử dụng không chỉ một mà nhiều cách tiếp cận khác nhau để khai thác các hiện vật khác nhau. Việc vượt qua tất cả các biện pháp phòng thủ như vậy sẽ đặt ra những thách thức đáng kể cho đối thủ. Bằng cách tìm hiểu những gì có vẻ là một tạo phẩm mạnh mẽ, có khả năng phục hồi qua độ phân giải, chất lượng và một loạt công cụ tổng hợp, phương pháp được mô tả ở đây sẽ bổ sung thêm một công cụ mới mạnh mẽ vào bộ công cụ phòng thủ.

Sự nhìn nhận

Công trình này là sản phẩm hợp tác giữa Giáo sư Hany Farid và nhóm Dữ liệu Tin cậy tại LinkedIn[10]. Chúng tôi cảm ơn Bohacek của Matya vì sự giúp đỡ của anh ấy trong việc tạo ra những khuôn mặt do AI tạo ra. Chúng tôi cảm ơn chương trình LinkedIn Scholars[11] đã tạo điều kiện cho sự hợp tác này. Chúng tôi cũng cảm ơn Ya Xu, Daniel Olmedilla, Kim Capps-Tanaka, Jenelle Bray, Shaunak Chatterjee, Vidit Jain, Ting Chen, Vipin Gupta, Dinesh Palanivelu, Milinda Lakkam và Natesh Pillai vì đã hỗ trợ công việc này. Chúng tôi rất biết ơn David Luebke, Margaret Albrecht, Edwin Nieda, Koki Nagano, George Chellapa, Burak Yoldemir và Ankit Patel tại NVIDIA vì đã tạo điều kiện thuận lợi cho công việc của chúng tôi bằng cách cung cấp công khai phần mềm tạo StyleGAN, các mô hình đã đào tạo và hình ảnh tổng hợp cũng như vì giá trị của chúng. gợi ý.

Người giới thiệu

[1] AI ổn định. https://ổn định.ai. 1

[2] David Bau, Alex Andonian, Audrey Cui, YeonHwan Park, Ali Jahanian, Aude Oliva và Antonio Torralba. Vẽ theo từng chữ. arXiv:2103.10951, 2021. 1

[3] Nicholas Carlini và Hany Farid. Trốn tránh các trình phát hiện hình ảnh deepfake bằng các cuộc tấn công hộp trắng và hộp đen. Trong Kỷ yếu của hội nghị IEEE/CVF về hội thảo nhận dạng mẫu và thị giác máy tính, trang 658–659, 2020. 7

[4] Nicholas Carlini và David Wagner. Hướng tới việc đánh giá sự mạnh mẽ của mạng lưới thần kinh. Trong Hội nghị chuyên đề của IEEE về Bảo mật và Quyền riêng tư, trang 39–57. IEEE, 2017. 7

[5] Lucy Chai, David Bau, Ser-Nam Lim và Phillip Isola. Điều gì làm cho hình ảnh giả mạo có thể bị phát hiện? Hiểu các thuộc tính có tính khái quát. Trong Hội nghị Châu Âu về Thị giác Máy tính, trang 103–120, 2020. 2

[6] Eric R Chan, Connor Z Lin, Matthew A Chan, Koki Nagano, Boxiao Pan, Shalini De Mello, Orazio Gallo, Leonidas J Guibas, Jonathan Tremblay, Sameh Khamis, và những người khác. Mạng đối thủ tạo 3D nhận biết hình học hiệu quả. Trong Hội nghị quốc tế về Thị giác máy tính và Nhận dạng mẫu, trang 16123–16133, 2022. 2

[7] Chollet Pháp. Xception: Học sâu với các tích chập có thể phân tách theo chiều sâu. arXiv:1610.02357, 2017. 4

[8] Riccardo Corvi, Davide Cozzolino, Giada Zingarini, Giovanni Poggi, Koki Nagano và Luisa Verdoliva. Về việc phát hiện hình ảnh tổng hợp được tạo ra bởi các mô hình khuếch tán. Trong Hội nghị quốc tế về Âm học, Xử lý giọng nói và tín hiệu, trang 1–5. IEEE, 2023. 2, 5, 7

[9] Chengdong Dong, Ajay Kumar và Eryun Liu. Hãy suy nghĩ kỹ trước khi phát hiện các hình ảnh giả mạo do GAN tạo ra từ dấu vết miền quang phổ của chúng. Trong Hội nghị quốc tế về Thị giác máy tính và Nhận dạng mẫu, trang 7865–7874, 2022. 2

[10] Hany Farid. Tạo, sử dụng, lạm dụng và phát hiện hàng giả sâu. Tạp chí Tin cậy và An toàn Trực tuyến, 1(4), 2022. 2

[11] Joel Frank, Thorsten Eisenhofer, Lea Schonherr, Asja Fis- ¨ cher, Dorothea Kolossa, và Thorsten Holz. Tận dụng phân tích tần số để nhận dạng hình ảnh giả sâu. arXiv:2003.08685, 2020. 2

[12] Diego Gragnaniello, Davide Cozzolino, Francesco Marra, Giovanni Poggi và Luisa Verdoliva. Hình ảnh được tạo bằng GAN có dễ phát hiện không? Một phân tích quan trọng về tình trạng của trái tim. Trong Hội nghị Quốc tế về Đa phương tiện và Triển lãm của IEEE, trang 1–6, 2021. 2

[13] Hui Guo, Shu Hu, Xin Wang, Ming-Ching Chang và Siwei Lyu. Đôi mắt nói lên tất cả: Hình dạng đồng tử không đều để lộ khuôn mặt do một nhóm tạo ra. Trong Hội nghị quốc tế của IEEE về Âm học, Xử lý giọng nói và tín hiệu, trang 2904–2908. IEEE, 2022. 2

[14] Kaiming He, Xiangyu Zhang, Shaoqing Ren và Jian Sun. Học dư sâu để nhận dạng hình ảnh. arXiv: 1512.03385, 2015. 4

[15] Thư Hổ, Nhạc Tôn Li, và Lưu Tư Vi. Phơi bày các khuôn mặt được tạo bởi GAN bằng cách sử dụng các điểm sáng phản chiếu giác mạc không nhất quán. Trong Hội nghị quốc tế của IEEE về Âm học, Xử lý giọng nói và tín hiệu, trang 2500–2504. IEEE, 2021. 2

[16] Tero Karras, Timo Aila, Samuli Laine và Jaakko Lehtinen. Sự phát triển dần dần của GAN để cải thiện chất lượng, tính ổn định và sự thay đổi. arXiv:1710.10196, 2017. 1

[17] Tero Karras, Miika Aittala, Samuli Laine, Erik Hark ¨ onen, ¨ Janne Hellsten, Jaakko Lehtinen và Timo Aila. Mạng đối thủ tạo ra không có bí danh. Trong Hệ thống xử lý thông tin thần kinh, 2021. 1, 2

[18] Tero Karras, Samuli Laine và Timo Aila. Kiến trúc trình tạo dựa trên kiểu cho các mạng đối thủ tổng quát. Trong Hội nghị quốc tế về thị giác máy tính và nhận dạng mẫu, trang 4401–4410, 2019. 1, 2

[19] Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen và Timo Aila. Phân tích và cải thiện chất lượng hình ảnh của StyleGAN. Trong Hội nghị quốc tế về Thị giác máy tính và Nhận dạng mẫu, trang 8110– 8119, 2020. 2

[20] David C Knill, David Field và Daniel Kerstent. Sự phân biệt của con người đối với hình ảnh fractal. JOSA A, 7(6):1113–1123, 1990. 1

[21] Bo Liu, Fan Yang, Xiuli Bi, Bin Xiao, Weisheng Li và Xinbo Gao. Phát hiện hình ảnh được tạo ra bằng hình ảnh thực. Trong Hội nghị Châu Âu về Thị giác Máy tính, trang 95–110. Mùa xuân, 2022. 2

[22] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin và Baining Guo. Máy biến áp Swin: Máy biến áp tầm nhìn phân cấp sử dụng các cửa sổ được dịch chuyển. Trong Hội nghị quốc tế IEEE/CVF về Thị giác máy tính, 2021. 4

[23] Shivansh Mundra, Gonzalo J. Aniano Porcile, Smit Marvaniya, James R. Verbus, và Hany Farid. Hiển thị các ảnh hồ sơ được tổng hợp từ các tệp nhúng nhỏ gọn. Trong Hội nghị quốc tế về Thị giác máy tính và Hội thảo nhận dạng mẫu, 2023. 2, 7

[24] Sophie J Nightingale và Hany Farid. Khuôn mặt do AI tổng hợp không thể phân biệt được với khuôn mặt thật và đáng tin cậy hơn. Kỷ yếu của Viện Hàn lâm Khoa học Quốc gia, 119(8):e2120481119, 2022. 2

[25] Javier Portilla và Eero P Simoncelli. Một mô hình kết cấu tham số dựa trên thống kê chung của các hệ số sóng con phức tạp. Tạp chí quốc tế về thị giác máy tính, 40:49–70, 2000. 1

[26] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser và Bjorn Ommer. Tổng hợp hình ảnh có độ phân giải cao với các mô hình khuếch tán tiềm ẩn. Trong Hội nghị quốc tế về Thị giác máy tính và Nhận dạng mẫu, trang 10684–10695, 2022. 1, 4

[27] Pawan Sinha, Benjamin Balas, Yuri Ostrovsky và Richard Russell. Nhận dạng khuôn mặt của con người: Mười chín kết quả mà tất cả các nhà nghiên cứu thị giác máy tính nên biết. Kỷ yếu của IEEE, 94(11):1948–1962, 2006. 6

[28] Mukund Sundararajan, Ankur Taly, và Qiqi Yan. Phân bổ tiên đề cho các mạng sâu. arXiv: 1703.01365, 2017. 6

[29] Chuangchuang Tan, Yao Zhao, Shikui Wei, Guanhua Gu và Yunchao Wei. Tìm hiểu về độ dốc: Biểu diễn tạo tác tổng quát để phát hiện hình ảnh do GAN tạo. Trong Hội nghị quốc tế về thị giác máy tính và nhận dạng mẫu, trang 12105–12114, 2023. 2

[30] Mingxing Tan và Quốc V. Lê. Hiệu quả: Xem xét lại việc mở rộng quy mô mô hình cho các mạng thần kinh tích chập. arXiv: 1905.11946, 2020. 4

[31] Peter Thompson. Margaret Thatcher: Một ảo tưởng mới. Nhận thức, 9(4):483–484, 1980. 6

[32] Sheng-Yu Wang, Oliver Wang, Richard Zhang, Andrew Owens và Alexei A Efros. Hiện tại, những hình ảnh do CNN tạo ra dễ dàng được phát hiện một cách đáng ngạc nhiên. Trong Hội nghị quốc tế về Thị giác máy tính và Nhận dạng mẫu, trang 8695–8704, 2020. 2

[33] Xin Yang, Yuezun Li, và Siwei Liu. Phơi bày sự giả tạo sâu sắc bằng cách sử dụng các tư thế đầu không nhất quán. Trong Hội nghị quốc tế của IEEE về Âm học, Xử lý giọng nói và tín hiệu, trang 8261–8265. IEEE, 2019. 2

[34] Xin Yang, Yuezun Li, Honggang Qi, và Siwei Lyu. Hiển thị các khuôn mặt được GAN tổng hợp bằng cách sử dụng các vị trí mốc. Trong Hội thảo ACM về Ẩn thông tin và Bảo mật đa phương tiện, trang 113–118, 2019. 2

[35] Xu Zhang, Svebor Karaman, và Shih-Fu Chang. Phát hiện và mô phỏng giả tạo trong ảnh giả GAN. Trong Hội thảo quốc tế của IEEE về Pháp y và bảo mật thông tin, trang 1–6, 2019. 2

[10] Mô hình được mô tả trong tác phẩm này không được sử dụng để thực hiện hành động đối với bất kỳ thành viên LinkedIn nào.

[11] https://careers.linkedin.com/scholars