tác giả: (1) Gonzalo J. Aniano Porcile, LinkedIn; (2) Jack Gindi, LinkedIn; (3) Shivansh Mundra, LinkedIn; (4) James R. Verbus, LinkedIn; (5) Hany Farid, LinkedIn và Đại học California, Berkeley. Bảng liên kết Tóm tắt và giới thiệu Bộ dữ liệu Người mẫu Kết quả Thảo luận, Lời cảm ơn và Tài liệu tham khảo trừu tượng Việc tạo hình ảnh dựa trên AI đã tiếp tục được cải thiện nhanh chóng, tạo ra những hình ảnh ngày càng chân thực hơn với ít sai sót hình ảnh rõ ràng hơn. Hình ảnh do AI tạo ra đang được sử dụng để tạo hồ sơ trực tuyến giả mạo, từ đó được sử dụng cho các chiến dịch spam, lừa đảo và thông tin sai lệch. Vì vấn đề chung về phát hiện bất kỳ loại nội dung bị thao túng hoặc tổng hợp nào đang ngày càng nhận được sự chú ý nên ở đây chúng tôi tập trung vào nhiệm vụ hẹp hơn là phân biệt khuôn mặt thật với khuôn mặt do AI tạo ra. Điều này đặc biệt có thể áp dụng khi xử lý các tài khoản trực tuyến không xác thực bằng ảnh hồ sơ người dùng giả. Chúng tôi cho thấy rằng bằng cách chỉ tập trung vào các khuôn mặt, có thể phát hiện được một tạo tác có mục đích chung và linh hoạt hơn, cho phép phát hiện các khuôn mặt do AI tạo ra từ nhiều công cụ tổng hợp dựa trên GAN và khuếch tán cũng như trên các độ phân giải hình ảnh (ở mức thấp). là 128 × 128 pixel) và chất lượng. 1. Giới thiệu Ba thập kỷ qua đã chứng kiến những tiến bộ vượt bậc trong mô hình thống kê các hình ảnh tự nhiên. Mô hình phổ công suất đơn giản nhất [20] ghi lại sự suy giảm cường độ tần số 1/ω điển hình của hình ảnh tự nhiên, Hình 1(a). Bởi vì mô hình này không kết hợp bất kỳ thông tin pha nào nên nó không thể nắm bắt được thông tin cấu trúc chi tiết. Đến đầu năm 2000, các mô hình thống kê mới đã có thể nắm bắt được số liệu thống kê tự nhiên về cả cường độ và (một số) pha [25], dẫn đến những đột phá trong việc mô hình hóa các mẫu kết cấu cơ bản, Hình 1(b). Mặc dù có thể ghi lại các mẫu lặp lại nhưng các mô hình này không thể ghi lại các đặc tính hình học của vật thể, khuôn mặt hoặc cảnh phức tạp. Bắt đầu từ năm 2017 và được hỗ trợ bởi các tập dữ liệu lớn về hình ảnh tự nhiên, những tiến bộ trong học sâu và cụm GPU mạnh mẽ, các mô hình tổng quát bắt đầu ghi lại các đặc tính chi tiết của khuôn mặt và vật thể con người [16, 18]. Được đào tạo trên một số lượng lớn hình ảnh từ một danh mục duy nhất (khuôn mặt, ô tô, mèo, v.v.), các mạng đối thủ tổng hợp (GAN) này nắm bắt các thuộc tính có độ chi tiết cao ví dụ như các khuôn mặt, Hình 1(c), nhưng chỉ bị giới hạn ở một danh mục duy nhất. Gần đây nhất, các mô hình dựa trên khuếch tán [2,26] đã kết hợp các mô hình hình ảnh tổng quát với các gợi ý ngôn ngữ cho phép tổng hợp hình ảnh từ các gợi ý văn bản mô tả như “người nuôi ong vẽ chân dung tự họa”, Hình 1(d). Theo truyền thống, sự phát triển của các mô hình hình ảnh tổng quát được thúc đẩy bởi hai mục tiêu chính: (1) hiểu các đặc tính thống kê cơ bản của hình ảnh tự nhiên; và (2) sử dụng các hình ảnh tổng hợp thu được cho mọi thứ, từ kết xuất đồ họa máy tính đến tâm sinh lý con người và tăng cường dữ liệu trong các tác vụ thị giác máy tính cổ điển. Tuy nhiên, ngày nay, AI sáng tạo đã phát hiện ra nhiều trường hợp sử dụng bất chính hơn, từ thư rác đến lừa đảo và tạo thêm nhiên liệu cho các chiến dịch đưa thông tin sai lệch. Việc phát hiện các hình ảnh bị chỉnh sửa hoặc tổng hợp đặc biệt khó khăn khi làm việc trên các mạng quy mô lớn với hàng trăm triệu người dùng. Thử thách này càng trở nên quan trọng hơn khi người dùng bình thường gặp khó khăn trong việc phân biệt khuôn mặt thật và khuôn mặt giả [24]. Vì chúng tôi lo ngại về việc sử dụng AI tổng hợp trong việc tạo tài khoản người dùng trực tuyến giả mạo nên chúng tôi tìm cách phát triển các kỹ thuật nhanh và đáng tin cậy để có thể phân biệt khuôn mặt thật với khuôn mặt do AI tạo ra. Tiếp theo, chúng tôi đặt công việc của mình vào bối cảnh của các kỹ thuật liên quan. 1.1. Công việc có liên quan Vì chúng tôi sẽ tập trung cụ thể vào các khuôn mặt do AI tạo ra nên chúng tôi sẽ xem xét công việc liên quan cũng tập trung vào hoặc áp dụng để phân biệt khuôn mặt thật với khuôn mặt giả. Có hai loại phương pháp tiếp cận rộng rãi để phát hiện nội dung do AI tạo ra [10]. Trong các cách tiếp cận đầu tiên, dựa trên giả thuyết, các tạo tác cụ thể trong khuôn mặt do AI tạo ra được khai thác chẳng hạn như sự không nhất quán trong tính đối xứng khuôn mặt hai bên dưới dạng phản xạ giác mạc [13] và hình dạng đồng tử [15] hoặc sự không nhất quán trong tư thế đầu và bố cục không gian các đặc điểm trên khuôn mặt (mắt, chóp mũi, khóe miệng, cằm, v.v.) [23, 33, 34]. Lợi ích của những cách tiếp cận này là chúng tìm hiểu những điều bất thường ở cấp độ ngữ nghĩa rõ ràng. Hạn chế là theo thời gian, các công cụ tổng hợp dường như - ngầm hoặc rõ ràng - sửa chữa các tạo tác này. Các tạo phẩm cụ thể không phải khuôn mặt khác bao gồm các dị thường về tần số không gian hoặc nhiễu [5,8,12,21,35], nhưng các tạo tác này có xu hướng dễ bị tấn công rửa tiền đơn giản (ví dụ: chuyển mã, nhiễu phụ gia, thay đổi kích thước hình ảnh). Trong cách tiếp cận thứ hai, dựa trên dữ liệu, học máy được sử dụng để tìm hiểu cách phân biệt giữa hình ảnh thật và hình ảnh do AI tạo ra [11, 29, 32]. Các mô hình này thường hoạt động tốt khi phân tích hình ảnh phù hợp với quá trình đào tạo của chúng, nhưng sau đó gặp khó khăn với các hình ảnh ngoài miền và/hoặc dễ bị tấn công rửa tiền do mô hình bám vào các tạo phẩm cấp thấp [9]. Chúng tôi cố gắng tận dụng những gì tốt nhất của cả hai cách tiếp cận này. Bằng cách đào tạo mô hình của chúng tôi trên một loạt công cụ tổng hợp (GAN và khuếch tán), chúng tôi tìm cách tránh bám vào một tạo phẩm cấp thấp cụ thể không khái quát hóa hoặc có thể dễ bị tấn công rửa tiền đơn giản. Bằng cách tập trung vào việc chỉ phát hiện các khuôn mặt do AI tạo ra (chứ không phải các hình ảnh tổng hợp tùy ý), chúng tôi cho thấy rằng mô hình của chúng tôi dường như đã thu được một tạo phẩm ở cấp độ ngữ nghĩa khác biệt với các khuôn mặt do AI tạo ra, vốn rất được mong muốn cho ứng dụng cụ thể của chúng tôi nhằm tìm kiếm người dùng có khả năng lừa đảo. tài khoản. Chúng tôi cũng cho thấy rằng mô hình của chúng tôi có khả năng phục hồi tốt trong việc phát hiện các khuôn mặt do AI tạo ra trước đây chưa từng thấy trong quá trình đào tạo và có khả năng phục hồi trên nhiều độ phân giải và chất lượng hình ảnh. Bài viết này theo giấy phép CC 4.0. có sẵn trên arxiv
