Không phải tất cả các máy dò Deepfake đều được tạo ra như nhau

Deepfakes đã gia tăng trong vài năm gần đây, với nhiều công cụ hoán đổi khuôn mặt đang trở nên phổ biến đối với những kẻ lừa đảo và thậm chí cả các nhóm tội phạm có tổ chức.

Theo báo cáo của Europol “ Đối mặt với thực tế? Thực thi pháp luật và thách thức của deepfake ,” deepfake thậm chí có thể được sử dụng trong các tội phạm nghiêm trọng hơn như gian lận CEO, giả mạo bằng chứng và sản xuất nội dung khiêu dâm không có sự đồng thuận.

Tuy nhiên, cũng như mọi thứ liên quan đến AI, đây luôn là cuộc chạy đua vũ trang giữa những kẻ lừa đảo và máy phát hiện deepfake hiện đại. Sau Tuần lễ Nhận thức về Gian lận Quốc tế, chúng tôi muốn cung cấp một bài kiểm tra thực tế về khả năng và sự tiến bộ của máy phát hiện deepfake trong vài năm qua - một cuộc kiểm tra thực tế chỉ cần thiết vì vấn đề gian lận deepfake vẫn còn rất lớn.

Trong nghiên cứu nội bộ của mình, chúng tôi đã phân tích hiệu suất của các máy phát hiện deepfake hiện đại, nguồn mở hiện đại được xuất bản từ năm 2020.

Đây là quan sát cơ bản của chúng tôi: khi nói đến việc phân biệt giữa nội dung thật và giả, máy tính từ lâu đã vượt trội hơn con người. Phát hiện này nhấn mạnh sự cần thiết phải khai thác sức mạnh của các thuật toán và phương pháp tiên tiến.

Hầu như tất cả các công trình hàng đầu trong lĩnh vực này đều đề cao tính năng nhận diện khuôn mặt như một yếu tố cơ bản trong thuật toán của họ. Nhận diện khuôn mặt là một giải pháp gần như có độ chính xác cao—không hoàn hảo nhưng gần đúng.

Khi một khuôn mặt được đặt ở vị trí nổi bật trong hình ảnh và nhìn về phía trước, các mô hình phát hiện hiện đại có khả năng nhận dạng nhanh chóng và đáng tin cậy vượt trội.

Và mặc dù có một số cách để tạo hình ảnh deepfake, nhưng có một phương pháp nổi bật vừa phổ biến vừa mạnh mẽ: hoán đổi khuôn mặt một lần. Kỹ thuật này sử dụng hai hình ảnh, một nguồn và một mục tiêu, để chuyển các đặc điểm khuôn mặt từ hình ảnh trước sang hình ảnh sau.

Trong bối cảnh hiện tại, nó được coi là cách tiếp cận mạnh mẽ nhất để tạo ra hình ảnh và video deepfake.

Bạn có thể thử của chúng tôi Trò chơi giả mạo chính bạn và kiểm tra nó.

Học

Việc thiếu mã và trọng lượng có sẵn trong phần lớn các công việc liên quan nhấn mạnh một thách thức chung trong lĩnh vực phát hiện deepfake.

Bối cảnh này thường ưu tiên các ứng dụng kinh doanh hơn là phổ biến khoa học, dẫn đến khả năng tiếp cận hạn chế với các công cụ và tài nguyên cần thiết cho cộng đồng học thuật và nghiên cứu.

Việc thiếu mã và trọng lượng mô hình được chia sẻ công khai này đã là một rào cản đáng kể đối với sự tiến bộ rộng rãi hơn của các phương pháp phát hiện deepfake.

Có rất nhiều cách tiếp cận để phát hiện deepfake và với mỗi hội nghị, các bài báo mới lại xuất hiện.

Một số bài viết này tập trung chủ yếu vào kiến trúc mô hình để phát hiện deepfake, lấy cảm hứng đáng kể từ mô hình máy biến áp và cố gắng điều chỉnh nó cho phù hợp với thách thức.

Trong khi đó, các bài viết khác tập trung vào phương pháp đào tạo, đặc biệt là về các tập dữ liệu tổng hợp chứa đầy hình ảnh giả. Lĩnh vực này có rất nhiều điểm chuẩn và trong phần sau, chúng ta sẽ thảo luận về một số điểm chuẩn mạnh nhất trong số đó, nhấn mạnh những điểm chuẩn có sẵn mã nguồn mở và trọng số.

Pháp y khuôn mặt++

Cơ sở nổi bật nhất cho tất cả các phương pháp phát hiện deepfake hiện đại là nghiên cứu được công bố trên bài báo FaceForensics++: Học cách phát hiện hình ảnh khuôn mặt bị thao túng . Đóng góp chính của tác giả là một bộ dữ liệu phong phú gồm hơn 1,8 triệu hình ảnh từ 1000 video trên YouTube, được phân loại thành các tùy chọn thô, chất lượng cao và chất lượng thấp.

Họ đã sử dụng những người quan sát con người để xác nhận những khác biệt này. Mô hình phân loại deepfake trong bài báo là một hệ thống nhị phân dựa trên xương sống XceptionNet với các trọng số ImageNet, được tinh chỉnh trên tập dữ liệu của họ.

Bằng cách sử dụng cơ chế bỏ phiếu đơn giản dựa trên phản hồi của mô hình, các tác giả đã đạt được tác động đáng kể trong lĩnh vực phát hiện deepfake bất chấp kiến trúc của mô hình đơn giản.

Phát hiện Deepfake đa sự chú ý

Các tác giả nhấn mạnh một vấn đề phổ biến trong các mô hình phát hiện deepfake trước đây, đặc trưng chủ yếu là sự phụ thuộc vào phương pháp phân loại nhị phân đơn giản.

Cách tiếp cận phân loại nhị phân cơ bản không tính đến sự khác biệt tinh tế giữa hình ảnh thật và giả. Các tác giả ở đây đề xuất một giải pháp thay thế lấy cảm hứng từ phân loại chi tiết, sử dụng mạng đa chú ý với nhiều đầu chú ý để tập trung vào các vùng tạo tác khác nhau.

Mạng này kết hợp các tính năng kết cấu cấp thấp và các tính năng ngữ nghĩa cấp cao để tạo ra các biểu diễn hình ảnh và cơ chế tăng cường dữ liệu hướng dẫn chú ý đặc biệt để đào tạo.

Cách tiếp cận này giải quyết những hạn chế của các mô hình hiện có, khiến nó trở thành một phương pháp đầy hứa hẹn để phát hiện deepfake.

Máy biến áp đa quy mô đa phương thức để phát hiện Deepfake

Các tác giả của "M2TR: Máy biến áp đa quy mô đa phương thức để phát hiện Deepfake " nhấn mạnh tầm quan trọng của việc tập trung vào các vùng cụ thể trong hình ảnh nơi có thể xuất hiện nội dung giả mạo.

Họ giới thiệu một cách tiếp cận đa phương thức với cấu trúc đa quy mô, sử dụng bộ lọc tần số để phát hiện các thành phần giả có thể không nhìn thấy được sau khi nén.

Họ tiếp tục sử dụng khối Fusion đa phương thức lấy cảm hứng từ sự tự chú ý để hợp nhất các tính năng RGB và tần số thành một biểu diễn thống nhất, nâng cao phương pháp phát hiện deepfake của họ.

Học tập phân loại-tái tạo từ đầu đến cuối để phát hiện giả mạo khuôn mặt

TRONG " Học tập phân loại-tái tạo từ đầu đến cuối để phát hiện giả mạo khuôn mặt ", các tác giả giải quyết một vấn đề phổ biến trong các phương pháp phát hiện deepfake tập trung vào các mẫu giả mạo cụ thể, có thể không bao gồm tất cả các hành vi thao túng có thể xảy ra.

Họ đề xuất một cách tiếp cận dựa trên hai thành phần: học tái thiết và học phân loại:

• Học tái thiết nâng cao các biểu diễn để phát hiện các mẫu giả mạo chưa xác định.

• Học phân loại xác định sự khác biệt giữa hình ảnh thật và giả.

  
  

Các tác giả sử dụng cách tiếp cận đa quy mô để cải thiện các biểu diễn này, sử dụng mạng tái tạo chuyên dụng để mô hình hóa các khuôn mặt thật và tổn thất học số liệu để tăng cường phát hiện các mẫu giả mạo chưa biết trước đó.

Rò rỉ danh tính ngầm: Trở ngại trong việc cải thiện khả năng khái quát hóa phát hiện deepfake

Trong công việc, " Rò rỉ danh tính ngầm: Trở ngại trong việc cải thiện khả năng khái quát hóa phát hiện deepfake ", các tác giả giải quyết một vấn đề quan trọng liên quan đến việc phát hiện deepfake. Họ chỉ ra rằng nhiều mô hình deepfake dựa trên kỹ thuật hoán đổi khuôn mặt, điều này có thể dẫn đến một thách thức đặc biệt.

Những mô hình này có xu hướng ghi nhớ sự phân bố của ID chính hãng, điều đó có nghĩa là hình ảnh giả mạo đôi khi có thể xuất hiện dưới dạng kết hợp của hai ID khác nhau. Tuy nhiên, vấn đề này trở nên đặc biệt khó khăn khi cố gắng áp dụng các mô hình này cho các tập dữ liệu mới, chưa được nhìn thấy hoặc chéo. Trong những trường hợp này, mô hình gặp khó khăn trong việc giải mã danh tính thực sự của hình ảnh vì nó chưa từng gặp phải hình ảnh đó trước đây.

Để giải quyết vấn đề này mà các tác giả gọi là "Rò rỉ danh tính ngầm", họ nỗ lực tìm giải pháp cải thiện tính tổng quát của các mô hình phát hiện deepfake vượt ra ngoài giới hạn của tập dữ liệu huấn luyện của họ.

Để cung cấp bằng chứng về hiện tượng này, ban đầu, các tác giả đã sử dụng các bộ phân loại deepfake đã được huấn luyện trước và đóng băng tất cả các lớp ngoại trừ lớp cuối cùng. Họ đã thay thế lớp cuối cùng bằng một lớp tuyến tính và tinh chỉnh nó cho nhiệm vụ phân loại ID.

Thử nghiệm này cho thấy một lớp tuyến tính duy nhất có thể được đào tạo một cách hiệu quả để phân loại ID với độ chính xác cao, cho thấy khả năng rò rỉ danh tính. Sau đó, các tác giả đã tạo ra một phương pháp mới để hoán đổi các bộ phận của khuôn mặt ở các tỷ lệ khác nhau, với trọng tâm chính là hoán đổi các vùng khuôn mặt cụ thể.

Sau đó, họ đã huấn luyện một mô hình phát hiện đa quy mô bằng cách sử dụng các hình ảnh được tạo ra từ quá trình này. Mô hình này xem xét kỹ lưỡng các bản đồ đặc trưng có kích thước khác nhau trong các lớp khác nhau để phát hiện sự tồn tại của các khu vực giả tạo, mang lại khả năng quan sát kỹ lưỡng về các tín hiệu có thể xảy ra khi thao tác deepfake.

Phát hiện deepfake bằng hình ảnh tự trộn

Bài báo đáng chú ý mới nhất trong lĩnh vực phát hiện deepfake là " Phát hiện deepfake bằng hình ảnh tự trộn ." Trong nghiên cứu này, các tác giả đã thực hiện một cách tiếp cận mới bằng cách đào tạo mô hình của riêng họ bằng cách sử dụng một bộ dữ liệu duy nhất.

Bộ dữ liệu này bao gồm các hình ảnh được tạo ra thông qua việc trộn các hình ảnh nguồn và đích giả có nguồn gốc từ các hình ảnh nguyên sơ riêng lẻ. Quá trình này sao chép một cách hiệu quả các hiện vật giả mạo phổ biến thường gặp trong các tác phẩm deepfake.

Điểm mấu chốt đằng sau cách tiếp cận này là bằng cách sử dụng các mẫu giả tổng quát hơn và ít dễ nhận biết hơn, các bộ phân loại có thể tìm hiểu các cách biểu diễn chung chung và mạnh mẽ hơn mà không bị khuất phục trước việc trang bị quá mức cho các tạo phẩm dành riêng cho thao tác.

Các tác giả xác định bốn loại hiện vật deepfake phổ biến chính: mốc không khớp, ranh giới hòa trộn, màu sắc không khớp và tần số không nhất quán. Sau đó, họ tổng hợp các hiện vật này bằng cách sử dụng một mô hình chuyên dụng.

Đối với kiến trúc mô hình, các tác giả đã sử dụng EfficiencyNet-b4, được đào tạo trước trên bộ dữ liệu ImageNet. Họ tinh chỉnh mô hình này trên tập dữ liệu Hình ảnh tự trộn (SBI) của mình, đảm bảo rằng mô hình trở nên thành thạo trong việc phát hiện các tác phẩm sâu bằng cách học hỏi từ những hình ảnh được pha trộn này với các tạo tác giả mạo phổ biến.

Thí nghiệm của chúng tôi. Số liệu và bộ dữ liệu

Chúng tôi đã phân tích hiệu suất của các máy dò deepfake tiên tiến nhất được xuất bản sau năm 2020 và có sẵn mã cũng như trọng lượng mô hình của chúng để sử dụng công khai và nghiên cứu.

Chúng tôi đã tính toán các số liệu liên quan cho từng mô hình trên cùng một tập dữ liệu công khai để xem chất lượng do tác giả tiết lộ được chuyển sang tập dữ liệu tương tự như thế nào. Sau đó, chúng tôi áp dụng các phép biến đổi đơn giản thường được những kẻ lừa đảo sử dụng để vượt qua quá trình xác minh (như hoán đổi khuôn mặt) và xem các trình phát hiện deepfake hoạt động hiệu quả như thế nào.

Chúng tôi đã sử dụng Celeba-HQ Và LFW làm bộ dữ liệu cơ sở cho hình ảnh thực tế trên mặt đất. Cả hai đều được sử dụng rộng rãi trong nghiên cứu và phát triển. Hình ảnh từ hai bộ dữ liệu này có thể được phân loại là hình ảnh “miền” cho hầu hết các tác vụ thị giác máy tính.

Để giới thiệu bộ dữ liệu hình ảnh giả thực tế, chúng tôi đã sử dụng công nghệ tiên tiến nhất mô hình deepfake từ năm 2021 có tên SimSwap . Nó vẫn được nhiều người coi là trình tạo deepfake ảnh đơn tốt nhất và phổ biến nhất.

Để tạo đủ số lượng hình ảnh, chúng tôi đã sử dụng các cặp ảnh nguồn và ảnh tham chiếu ngẫu nhiên từ tập dữ liệu để tạo Fake-Celeba-HQ và Fake-LFW. Mỗi tập dữ liệu chính xác là 10.000 hình ảnh.

Để đơn giản, số liệu chính để đo chất lượng của các mô hình, chúng tôi đã sử dụng độ chính xác 1 lớp với ngưỡng mặc định là 0,5. Nói cách khác, đối với mỗi tập dữ liệu, chúng tôi đã tính tỷ lệ phần trăm các nhãn được đoán đúng. Ngoài ra, chúng tôi tính toán tổng chỉ số ROC-AUC trên các tập dữ liệu thật và giả kết hợp.

Thí nghiệm 1:

Bảng 1. Độ chính xác 1 lớp và AUC cho bộ dữ liệu thật/giả không có thay đổi

Đúng như dự đoán, hầu hết các mô hình đều gặp một số vấn đề khi phát hiện các deepfake SimSwap. Mô hình tốt nhất là SBI, đạt 82% và 96% cho thấy điểm AUC 0,84 đầy hứa hẹn.

Điều bất ngờ là có rất nhiều mô hình có khả năng gặp khó khăn trong việc phân loại hình ảnh từ bộ dữ liệu thực là thực:

• RECCE cho rằng hầu hết các hình ảnh thật đều là giả.

• MAT, FF và M2TR ghi được ít hơn một nửa số khuôn mặt từ LFW là deepfake.

  
  

Có 3 mẫu có điểm AUC gần 0,5. Điều này đặt ra câu hỏi về khả năng chuyển đổi các mô hình này sang một lĩnh vực thực tế hơn và làm thế nào chúng có thể dễ dàng bị những kẻ lừa đảo vượt qua.

Thí nghiệm 2:

Để kiểm tra cách các mô hình này hoạt động trên một miền thực tế hơn, chúng tôi sẽ thử hai kỹ thuật khác nhau mà những kẻ lừa đảo thường khai thác khi sử dụng deepfake.

Điều đầu tiên họ làm để che giấu hầu hết các hiện vật và sự bất thường là thu nhỏ quy mô. Vì hầu hết các quá trình kiểm tra độ chân thực và giả mạo sâu đều không có yêu cầu về chất lượng video nên những kẻ lừa đảo thường nén video được làm giả sâu.

Để mô phỏng phương pháp này, chúng tôi sẽ sử dụng cùng một bộ dữ liệu nhưng nén từng hình ảnh xuống độ phân giải nhỏ hơn nhiều (128x128) bằng thuật toán song tuyến tính. Lý tưởng nhất là các trình phát hiện deepfake có thể phát hiện các deepfake ngay cả khi độ phân giải của hình ảnh khi suy luận khác với độ phân giải trong quá trình đào tạo.

Hình 2: Số liệu tốt nhất của máy phát hiện deepfake trên tập dữ liệu chất lượng thấp

Ở đây, kết quả còn hơn cả khó hiểu. Các mô hình đã đạt được hiệu suất cạnh tranh ít nhiều hiện có độ chính xác gần như bằng 0 trên các tập dữ liệu giả. Người ta có thể thấy rằng mô hình MAT chỉ đơn giản ghi mọi thứ là ảnh thật và mô hình RECCE rất gần với quyết định tương tự.

Thí nghiệm 3:

Hành vi gian lận thứ hai là nâng cấp hình ảnh để chỉnh sửa các hình ảnh được làm giả sâu nhằm loại bỏ tất cả các điểm không hoàn hảo có thể “bỏ” hình ảnh bịa đặt cho máy dò. Một trong nhiều ví dụ như vậy là đôi mắt: không có đồng tử tròn hay khúc xạ ánh sáng trên hầu hết các hình ảnh được làm giả sâu.

Vì vậy, kẻ lừa đảo thường sử dụng một số phần mềm làm đẹp hoặc “nâng cao” cụ thể tương tự như phần mềm được sử dụng trong Instagram hoặc TikTok để che giấu mọi tạp chất.

Để mô phỏng tác dụng của phần mềm đó, chúng tôi đã sử dụng tương tự nguồn mở: GPEN . Đây là một công cụ tăng cường sử dụng GAN để nâng cao khuôn mặt và nâng cao nó.

Hình 3: Số liệu tốt nhất của máy phát hiện deepfake trên tập dữ liệu nâng cao

Ở đây, người ta có thể thấy xu hướng tương tự như trong Thí nghiệm 2. Mô hình MAT cho điểm mọi thứ là thật và RECCE cho điểm mọi thứ là giả. Hiệu suất của SBI và CADDM tốt hơn so với ngẫu nhiên, nhưng chúng đã bỏ lỡ hơn một nửa số lần deepfake trong bộ dữ liệu Fake-LFW và Fake-CELEBA-HQ.

Phần kết luận

Kết quả của nghiên cứu này thật ảm đạm vì không có máy phát hiện deepfake nguồn mở nào có thể an toàn 100%, trong khi gian lận deepfake dự kiến sẽ phát triển hơn nữa vì việc tạo ra nó ngày càng dễ dàng và rẻ hơn. Theo thống kê nội bộ của Sumsub, tỷ lệ lừa đảo deepfake tăng đáng kể từ năm 2022 đến quý 1 năm 2023:

• Từ năm 2022 đến quý 1 năm 2023, tỷ lệ deepfake trong số tất cả các loại lừa đảo đã tăng 4.500% ở Canada, 1.200% ở Mỹ, 407% ở Đức và 392% ở Anh.

• Trong quý 1 năm 2023, nhiều vụ deepfake nhất đến từ Vương quốc Anh và Tây Ban Nha với tỷ lệ gian lận deepfake toàn cầu lần lượt là 11,8% và 11,2%, tiếp theo là Đức (6,7%) và Hà Lan (4,7%). Mỹ giữ vị trí thứ 5, chiếm 4,3% số vụ lừa đảo deepfake toàn cầu.

Các thử nghiệm của chúng tôi cho thấy vẫn còn rất nhiều việc phải làm để phát hiện deepfake. Ngay cả những mô hình phát hiện deepfake nguồn mở tốt nhất cũng chưa sẵn sàng cho thế giới thực và không thể chống lại những kẻ lừa đảo.

Có rất nhiều bài viết về máy dò deepfake, nhưng hầu hết chúng đều không có sẵn mã hoặc trọng lượng mô hình.

Do đó, một trong những vấn đề ở đây là sự thiếu cởi mở tạo ra rào cản cho việc cải tiến các phương pháp phát hiện deepfake.

Vì vậy, chúng tôi tại Sumsub:

• Đang liên tục chống lại các tác nhân sâu và cải thiện công nghệ phát hiện deepfake nội bộ .

• Cung cấp bộ bốn mô hình dựa trên máy học riêng biệt của chúng tôi để phát hiện gian lận tổng hợp và giả mạo sâu được gọi là Vì lợi ích của sự giả mạo . Nó có sẵn cho mọi người tải xuống và sử dụng miễn phí và Sumsub đang tìm kiếm phản hồi từ cộng đồng nghiên cứu AI để cải thiện hơn nữa khả năng của mô hình.

Tuy nhiên, trách nhiệm chính trong việc bảo vệ trực tuyến hình ảnh của người dùng Internet lại thuộc về chính người dùng. Hãy nhớ thận trọng khi chia sẻ ảnh cá nhân trực tuyến. Thay vào đó, hãy sử dụng những hình đại diện đầy phong cách, giống như các tác giả của chúng tôi đã làm.

Và đây , bạn có thể tìm thấy những lời khuyên hữu ích khác về cách tránh lạm dụng deepfake.

Viết bởi Maksim Artemev, Kỹ sư thị giác máy tính trưởng và Slava Pirogov, Kỹ sư thị giác máy tính, tại Sumsub