Tìm kiếm khuôn mặt do AI tạo ra trong tự nhiên: Kết quả

Bảng liên kết

• Tóm tắt và giới thiệu
• Bộ dữ liệu
• Người mẫu
• Kết quả
• Thảo luận, Lời cảm ơn và Tài liệu tham khảo

4. Kết quả

Hiệu suất đánh giá và đào tạo cơ bản của chúng tôi được thể hiện trong Bảng 2. Đánh giá được chia nhỏ dựa trên việc hình ảnh đánh giá có chứa khuôn mặt hay không (hình ảnh đào tạo chỉ chứa khuôn mặt) và liệu các hình ảnh đó có được tạo bằng cùng một khuôn mặt (trong công cụ) hay không các công cụ tổng hợp (ngoài động cơ) khác nhau như các công cụ được sử dụng trong đào tạo (xem Phần 2.6). Để cung cấp sự so sánh trực tiếp về tỷ lệ dương tính thực sự [8] (TPR) cho quá trình đào tạo và đánh giá, chúng tôi điều chỉnh ngưỡng phân loại cuối cùng để mang lại tỷ lệ dương tính giả [9] (FPR) là 0,5%.

Với FPR cố định 0,5%, khuôn mặt do AI tạo ra được phân loại chính xác trong quá trình đào tạo và đánh giá với tỷ lệ 98%. Trên các công cụ tổng hợp khác nhau (StyleGAN 1,2,3, Stable Diffusion 1,2 và DALL-E 2) được sử dụng để đào tạo, TPR có phần thay đổi từ mức thấp 93,3% cho Stable Diffusion 1 đến mức cao 99,5% cho StyleGAN 2 và 98,9% cho StyleGAN1, 99,9% cho StyleGAN3, 94,9% cho Khuếch tán ổn định 2 và 99,2% cho DALL-E 2.

Đối với các mặt được tạo bởi công cụ tổng hợp không được sử dụng trong

Training (out-of-engine), TPR giảm xuống 84,5% ở cùng FPR, cho thấy khả năng khái quát out-of-domain tốt nhưng chưa hoàn hảo. Trên các công cụ tổng hợp khác nhau không được sử dụng trong đào tạo, TPR rất khác nhau với mức thấp 19,4% cho Midjourney đến mức cao 99,5% cho EG3D và 95,4% cho generate.photos. Trình phân loại của chúng tôi khái quát hóa tốt trong một số trường hợp và thất bại trong những trường hợp khác. Tuy nhiên, hạn chế này có thể được giảm thiểu bằng cách kết hợp những hình ảnh ngoài động cơ này vào quá trình đào tạo ban đầu.

Trong một kết quả đặc biệt đáng chú ý, các khuôn mặt không phải được tạo ra bởi cùng một công cụ tổng hợp như được sử dụng trong đào tạo – đều được phân loại không chính xác. Điều này rất có thể là do một số hình ảnh thực của chúng tôi không chứa khuôn mặt (xem Phần 2.1) trong khi tất cả các hình ảnh do AI tạo ra đều chứa khuôn mặt. Vì chúng tôi chỉ quan tâm đến việc phát hiện khuôn mặt giả được sử dụng để tạo tài khoản nên chúng tôi không coi đây là hạn chế lớn. Kết quả này cũng gợi ý rằng trình phân loại của chúng tôi đã bám vào một thuộc tính cụ thể của khuôn mặt do AI tạo ra chứ không phải một số tạo tác cấp thấp nào đó từ quá trình tổng hợp cơ bản (ví dụ: dấu vân tay nhiễu [8]). Trong Phần 4.1, chúng tôi cung cấp thêm bằng chứng để hỗ trợ cho giả thuyết này.

Kết quả cơ bản trên dựa trên quá trình huấn luyện và đánh giá hình ảnh ở độ phân giải 512×512 pixel. Hiển thị trong Hình 3(a) (màu xanh lam đặc) là TPR khi hình ảnh huấn luyện được giảm tỷ lệ xuống độ phân giải thấp hơn (256, 128, 64 và 32) và sau đó tăng tỷ lệ lên 512 để phân loại. Với cùng FPR là 0,5%, TPR để phân loại khuôn mặt do AI tạo ra giảm khá nhanh so với mức cơ bản là 98,0%.

Tuy nhiên, tỷ lệ dương thực sự cải thiện đáng kể khi mô hình được huấn luyện trên hình ảnh ở độ phân giải N × N (N = 32, 64, 128 hoặc 256) và sau đó được đánh giá dựa trên cùng TPR được thấy trong huấn luyện, Hình 3(a ) (nét đứt màu đỏ). Như trước đây, tỷ lệ dương tính giả được cố định ở mức 0,5%. Ở đây chúng ta thấy TPR ở độ phân giải 128×128 vẫn tương đối cao (91,9%) và chỉ giảm ở độ phân giải thấp nhất 32×32 (44,1%). Khả năng phát hiện khuôn mặt do AI tạo ra ở độ phân giải tương đối thấp cho thấy rằng mô hình của chúng tôi chưa bám vào một tạo phẩm cấp thấp sẽ không tồn tại ở mức lấy mẫu xuống này.

Hiển thị trong Hình 3(b) là TPR của bộ phân loại, được huấn luyện trên các hình ảnh PNG và JPEG không nén có chất lượng khác nhau, được đánh giá dựa trên các hình ảnh có nhiều chất lượng JPEG (từ chất lượng cao nhất là 100 đến chất lượng thấp nhất là 20). Ở đây, chúng ta thấy rằng TPR để xác định khuôn mặt do AI tạo ra (FPR là 0,5%) giảm dần với TPR là 94,3% ở chất lượng 80 và TPR là 88,0% ở chất lượng 60. Một lần nữa, khả năng phát hiện khuôn mặt do AI tạo ra ở sự hiện diện của các tạo phẩm nén JPEG cho thấy rằng mô hình của chúng tôi chưa bám vào một tạo phẩm cấp thấp.

4.1. Khả năng giải thích

Như được trình bày trong Phần 4, bộ phân loại của chúng tôi có khả năng phân biệt cao các khuôn mặt AI được tạo từ một loạt các công cụ tổng hợp khác nhau. Tuy nhiên, bộ phân loại này chỉ giới hạn ở các khuôn mặt, Bảng 2. Nghĩa là, khi hiển thị các hình ảnh không phải khuôn mặt từ cùng một công cụ tổng hợp như được sử dụng trong đào tạo, bộ phân loại hoàn toàn không thể phân loại chúng là do AI tạo ra.

Chúng tôi thừa nhận rằng bộ phân loại của chúng tôi có thể đã học được một tạo tác ở cấp độ ngữ nghĩa. Tuyên bố này được hỗ trợ một phần bởi thực tế là trình phân loại của chúng tôi vẫn có độ chính xác cao ngay cả ở độ phân giải thấp tới 128×128 pixel, Hình 3(a) và vẫn có độ chính xác hợp lý ngay cả khi nén JPEG khá mạnh, Hình 3(b) . Ở đây chúng tôi cung cấp thêm bằng chứng để hỗ trợ cho tuyên bố này rằng chúng tôi đã học được một tạo tác ở cấp độ cấu trúc hoặc ngữ nghĩa.

Người ta đã chứng minh rõ ràng rằng mặc dù nhận dạng đối tượng có mục đích chung trong hệ thống thị giác của con người rất hiệu quả đối với việc định hướng đối tượng, tư thế và biến dạng phối cảnh, nhưng nhận dạng và xử lý khuôn mặt lại kém mạnh mẽ hơn ngay cả đối với một thao tác đảo ngược đơn giản [27]. Hiệu ứng này được minh họa một cách thú vị trong ảo ảnh Margaret Thatcher cổ điển [31]. Các mặt ở hàng trên cùng của Hình 4 là phiên bản đảo ngược của các mặt ở hàng dưới cùng. Trong phiên bản bên phải, mắt và miệng bị đảo ngược so với khuôn mặt. Loại cocktail đặc trưng kỳ cục này hiện rõ ở khuôn mặt thẳng đứng chứ không phải ở khuôn mặt đảo ngược.

Chúng tôi tự hỏi liệu bộ phân loại của chúng tôi có gặp khó khăn trong việc phân loại

các mặt đảo ngược theo chiều dọc. 10.000 hình ảnh xác nhận tương tự (Phần 2.6) đã được đảo ngược và phân loại lại. Với cùng FPR cố định 0,5%, TPR giảm 20 điểm phần trăm từ 98,0% xuống 77,7%.

Bằng cách so sánh, việc lật các hình ảnh xác nhận chỉ quanh trục dọc (tức là lật trái-phải) không mang lại thay đổi nào về TPR là 98,0% với cùng FPR 0,5%. Cặp kết quả này, kết hợp với độ phân giải và chất lượng nén mạnh mẽ, cho thấy rằng mô hình của chúng tôi chưa bám vào một tạo phẩm cấp thấp và thay vào đó có thể đã phát hiện ra một thuộc tính cấu trúc hoặc ngữ nghĩa giúp phân biệt khuôn mặt do AI tạo ra với khuôn mặt thật.

Chúng tôi khám phá thêm bản chất của trình phân loại bằng phương pháp gradient tích hợp [28]. Phương pháp này gán các dự đoán do mạng sâu đưa ra cho các tính năng đầu vào của nó. Bởi vì phương pháp này có thể được áp dụng mà không có bất kỳ thay đổi nào đối với mô hình đã huấn luyện, nên nó cho phép chúng ta tính toán mức độ liên quan của từng pixel hình ảnh đầu vào đối với quyết định của mô hình.

Được hiển thị trong Hình 5(a) là độ lớn không dấu của các chuyển màu tích hợp được chuẩn hóa (trong phạm vi [0, 1]) được tính trung bình trên 100 hình ảnh StyleGAN 2 (vì các khuôn mặt StyleGANgenerated đều được căn chỉnh nên độ chuyển màu trung bình phù hợp với các đặc điểm trên khuôn mặt trên tất cả hình ảnh). Được hiển thị trong Hình 5(b)-(e) là các hình ảnh đại diện và độ dốc tích hợp chuẩn hóa của chúng cho hình ảnh được tạo bởi DALL-2, Midjourney, Stable Diffusion 1 và Stable Diffusion 2. Trong mọi trường hợp, chúng tôi thấy rằng các pixel có liên quan nhất , tương ứng với độ dốc lớn hơn, chủ yếu tập trung quanh vùng mặt và các vùng da khác.

4.2. So sánh

Bởi vì nó tập trung đặc biệt vào việc phát hiện các khuôn mặt được tạo bởi GAN nên công việc của [23] có liên quan trực tiếp nhất đến khuôn mặt của chúng tôi. Trong tác phẩm này, các tác giả cho thấy rằng mô hình tuyến tính chiều thấp nắm bắt được sự căn chỉnh chung của khuôn mặt của các khuôn mặt do StyleGAN tạo ra. Được đánh giá dựa trên 3.000 khuôn mặt StyleGAN, mô hình của họ phân loại chính xác 99,5% khuôn mặt GAN và 1% khuôn mặt thật được phân loại sai là AI. Để so sánh, chúng tôi đạt được TPR tương tự nhưng với FPR thấp hơn 0,5%.

Tuy nhiên, không giống như cách tiếp cận của chúng tôi, vốn khái quát hóa cho các khuôn mặt GAN khác như được tạo.photos, TPR cho công việc trước đó giảm xuống 86,0% (với cùng 1% FPR). Hơn nữa, công việc trước đó không phát hiện được các khuôn mặt dựa trên sự khuếch tán vì những khuôn mặt này đơn giản là không chứa thành phần căn chỉnh giống như các khuôn mặt StyleGAN. Bằng cách so sánh, kỹ thuật của chúng tôi khái quát hóa trên các bề mặt được tạo bởi GAN và khuếch tán cũng như các công cụ tổng hợp chưa từng thấy trong quá trình đào tạo.

Chúng tôi cũng đã đánh giá một mô hình tiên tiến gần đây khai thác sự hiện diện của các tạo tác Fourier trong các hình ảnh do AI tạo ra [8]. Trên tập dữ liệu đánh giá của chúng tôi về các khuôn mặt được tạo bởi AI thực và trong động cơ, mô hình này chỉ phân loại chính xác 23,8% số khuôn mặt do AI tạo ra với cùng FPR là 0,5%. TPR này thấp hơn đáng kể so với TPR trong mô hình của chúng tôi là 98,0% và cũng thấp hơn TPR 90% được báo cáo trong [8]. Chúng tôi đưa ra giả thuyết rằng sự khác biệt này là do các hình ảnh thực tế ngoài tự nhiên đa dạng và đầy thử thách hơn trong tập dữ liệu của chúng tôi.

[8] Tỷ lệ dương thực sự (TPR) là tỷ lệ ảnh do AI tạo ra được phân loại chính xác.

[9] Tỷ lệ dương tính giả (FPR) là tỷ lệ ảnh thật được phân loại không chính xác.