모든 Deepfake 탐지기가 동일하게 생성되는 것은 아닙니다

딥페이크는 지난 몇 년 동안 증가세를 보이고 있으며 여러 얼굴 교환 도구가 사기꾼과 조직 범죄 집단 사이에서 인기를 얻고 있습니다.

유로폴 보고서에 따르면 “ 현실을 직시하고 있나요? 법 집행과 딥페이크에 대한 도전 ,” 딥페이크는 CEO 사기, 증거 조작, 합의되지 않은 음란물 제작과 같은 더 심각한 범죄에도 사용될 수 있습니다.

그러나 AI와 관련된 모든 것과 마찬가지로 사기꾼과 최신 딥페이크 탐지기 간의 군비 경쟁은 항상 그렇습니다. 국제 사기 인식 주간(International Fraud Awareness Week)을 맞아 우리는 지난 몇 년 동안 딥페이크 탐지기의 기능과 발전에 대한 현실 점검을 제공하고 싶었습니다. 이는 딥페이크 사기 문제가 얼마나 광범위하게 남아 있는지 때문에 필요한 현실 점검입니다.

내부 연구에서 우리는 2020년 이후 공개된 오픈 소스 최신 최첨단 딥페이크 탐지기의 성능을 분석했습니다.

우리의 근본적인 관찰은 다음과 같습니다. 실제 콘텐츠와 가짜 콘텐츠를 구별하는 데 있어 컴퓨터는 오랫동안 인간보다 성능이 뛰어났습니다. 이 발견은 최첨단 알고리즘과 방법의 힘을 활용해야 할 필요성을 강조합니다.

이 분야의 거의 모든 주요 연구는 얼굴 인식을 알고리즘의 기본 요소로 두드러지게 특징으로 합니다. 얼굴 인식은 완벽하지는 않지만 가까운 높은 정확도를 특징으로 하는 근거리 솔루션입니다.

얼굴이 이미지에서 눈에 띄게 위치하고 앞을 바라볼 때 최신 감지 모델은 빠르고 안정적인 식별 성능이 뛰어납니다.

딥페이크 이미지를 만드는 방법에는 여러 가지가 있지만 한 가지 방법이 인기 있고 강력합니다. 바로 원샷 얼굴 교환입니다. 이 기술은 소스와 타겟이라는 두 개의 이미지를 사용하여 얼굴 특징을 전자에서 후자로 전송합니다.

현재 환경에서는 딥페이크 이미지와 비디오를 생성하는 가장 강력한 접근 방식으로 간주됩니다.

당신은 우리를 시도할 수 있습니다 딥페이크 게임 직접 확인해보세요.

연구

대부분의 관련 작업에서 쉽게 사용할 수 있는 코드와 가중치가 부족하다는 점은 딥페이크 탐지 분야의 공통적인 과제를 강조합니다.

이러한 환경에서는 과학적 보급보다 비즈니스 애플리케이션을 우선시하는 경우가 많으므로 학계 및 연구 커뮤니티에 필수적인 도구와 리소스에 대한 액세스가 제한되는 경우가 많습니다.

공개적으로 공유되는 코드 및 모델 가중치의 부족은 딥페이크 탐지 방법의 광범위한 발전에 중요한 장벽이 되었습니다.

딥페이크 탐지에는 다양한 접근 방식이 있으며, 각 컨퍼런스마다 새로운 기사가 등장합니다.

이러한 기사 중 일부는 주로 딥페이크 탐지를 위한 모델 아키텍처에 중점을 두고 있으며, 변환기 모델에서 상당한 영감을 얻고 이를 과제에 적용하려고 시도합니다.

한편, 다른 기사에서는 훈련 방법, 특히 가짜 이미지로 가득 찬 합성 데이터세트에 초점을 맞췄습니다. 이 분야에는 벤치마크가 풍부하며, 다음 섹션에서는 오픈 소스 코드와 사용 가능한 가중치를 강조하면서 그중 가장 강력한 벤치마크에 대해 논의할 것입니다.

페이스포렌식++

모든 최신 딥페이크 탐지 방법에 대한 가장 눈에 띄는 기준은 논문에 발표된 연구입니다. FaceForensics++: 조작된 얼굴 이미지를 감지하는 방법 학습 . 저자의 주요 기여는 원시, 고품질, 저품질 옵션으로 분류된 1000개의 YouTube 동영상에서 180만 개 이상의 이미지로 구성된 광범위한 데이터 세트입니다.

그들은 이러한 구별을 검증하기 위해 인간 관찰자를 사용했습니다. 논문의 딥페이크 분류 모델은 ImageNet 가중치를 갖춘 XceptionNet 백본을 기반으로 하며 해당 데이터세트에 따라 미세 조정된 바이너리 시스템입니다.

모델 응답을 기반으로 한 간단한 투표 메커니즘을 사용함으로써 저자는 모델의 구조적 단순성에도 불구하고 딥페이크 탐지 분야에 상당한 영향을 미쳤습니다.

다중 주의 딥페이크 탐지

저자는 주로 단순한 바이너리 분류 접근 방식에 의존하는 것이 특징인 이전 딥페이크 탐지 모델의 일반적인 문제를 강조합니다.

실제 이미지와 가짜 이미지 간의 미묘한 차이를 고려하지 않는 기본 이진 분류기 접근 방식입니다. 여기서 저자는 다양한 아티팩트 영역에 초점을 맞추기 위해 여러 주의 헤드가 있는 다중 주의 네트워크를 사용하여 세분화된 분류에서 영감을 받은 대안을 제안합니다.

이 네트워크는 낮은 수준의 질감 특징과 높은 수준의 의미론적 특징을 결합하여 이미지 표현과 훈련을 위한 독특한 주의 유도 데이터 증대 메커니즘을 생성합니다.

이 접근 방식은 기존 모델의 한계를 해결하여 딥페이크 탐지를 위한 유망한 방법이 됩니다.

딥페이크 탐지를 위한 다중 모드 다중 규모 변환기

M2TR의 저자: 딥페이크 탐지를 위한 다중 모드 다중 규모 변환기 "는 이미지에서 가짜 콘텐츠가 나타날 수 있는 특정 영역에 초점을 맞추는 것이 중요함을 강조합니다.

압축 후 보이지 않을 수 있는 아티팩트를 감지하기 위해 주파수 필터를 사용하는 다중 스케일 구조의 다중 모드 접근 방식을 도입합니다.

그들은 또한 Self-Attention에서 영감을 받은 Cross-Modality Fusion 블록을 사용하여 RGB와 주파수 기능을 통합 표현으로 병합하여 딥페이크 탐지 방법을 향상시킵니다.

얼굴 위조 탐지를 위한 엔드 투 엔드 재구성 분류 학습

안에 " 얼굴 위조 탐지를 위한 엔드 투 엔드 재구성 분류 학습 ," 저자는 가능한 모든 조작을 포괄하지 못할 수 있는 특정 위조 패턴에 초점을 맞춘 딥페이크 탐지 방법의 일반적인 문제를 다루고 있습니다.

그들은 재구성 학습과 분류 학습이라는 두 가지 구성 요소를 기반으로 하는 접근 방식을 제안합니다.

• 재구성 학습은 표현을 강화하여 알려지지 않은 위조 패턴을 탐지합니다.

• 분류 학습은 실제 이미지와 가짜 이미지 간의 차이를 식별합니다.

  
  

저자는 실제 얼굴을 모델링하기 위한 전용 재구성 네트워크와 이전에 알려지지 않은 위조 패턴의 탐지를 강화하기 위한 메트릭 학습 손실을 사용하여 이러한 표현을 개선하기 위해 다중 규모 접근 방식을 사용합니다.

암시적 신원 유출: 딥페이크 탐지 일반화를 개선하는 데 걸림돌

근무 중, " 암시적 신원 유출: 딥페이크 탐지 일반화를 개선하는 데 걸림돌 ," 저자는 딥페이크 탐지와 관련된 중요한 문제를 다루고 있습니다. 그들은 많은 딥페이크 모델이 얼굴 교환 기술을 기반으로 하며 이는 독특한 문제로 이어질 수 있음을 지적합니다.

이러한 모델은 진짜 ID의 분포를 기억하는 경향이 있습니다. 즉, 가짜 이미지가 때때로 두 개의 서로 다른 ID가 혼합된 것처럼 나타날 수 있음을 의미합니다. 그러나 이 문제는 이러한 모델을 새로운 데이터세트, 보이지 않는 데이터세트 또는 교차 데이터세트에 적용하려고 할 때 특히 어려워집니다. 이러한 경우 모델은 이전에 이미지를 접한 적이 없기 때문에 이미지의 진정한 정체성을 해독하는 데 어려움을 겪습니다.

저자는 "암시적 신원 유출"이라고 부르는 이 문제를 해결하기 위해 훈련 데이터세트의 한계를 넘어 딥페이크 탐지 모델의 일반화를 개선하는 솔루션을 찾으려고 노력합니다.

이 현상의 증거를 제공하기 위해 저자는 처음에 사전 훈련된 딥페이크 분류기를 가져와 마지막 레이어를 제외한 모든 레이어를 동결했습니다. 그들은 마지막 레이어를 선형 레이어로 교체하고 ID 분류 작업을 위해 미세 조정했습니다.

이 실험에서는 단일 선형 레이어를 효과적으로 훈련하여 높은 정확도로 ID를 분류할 수 있으며 ID 유출 가능성이 있음을 보여주었습니다. 그런 다음 저자는 특정 얼굴 영역을 교체하는 데 중점을 두고 다양한 크기로 얼굴 부분을 교체하는 새로운 방법을 만들었습니다.

그런 다음 이 프로세스에서 생성된 이미지를 활용하여 다중 규모 감지 모델을 교육했습니다. 이 모델은 다양한 계층에서 다양한 크기의 특징 맵을 면밀히 조사하여 아티팩트 영역의 존재를 감지하고 딥페이크 조작의 가능성이 있는 신호를 철저히 관찰합니다.

자체 혼합 이미지로 딥페이크 감지

딥페이크 탐지 분야에서 최근 주목할 만한 논문은 " 자체 혼합 이미지로 딥페이크 감지 ." 이 연구에서 저자는 고유한 데이터 세트를 사용하여 자신의 모델을 훈련하는 새로운 접근 방식을 취했습니다.

이 데이터 세트는 개별 원본 이미지에서 파생된 의사 소스와 대상 이미지를 혼합하여 생성된 이미지로 구성됩니다. 이 프로세스는 딥페이크에서 자주 발생하는 일반적인 위조 아티팩트를 효과적으로 복제합니다.

이 접근 방식의 핵심 통찰력은 보다 일반적이고 쉽게 인식하기 어려운 가짜 샘플을 사용함으로써 분류자가 조작 관련 아티팩트에 대한 과적합에 굴복하지 않고 보다 일반적이고 강력한 표현을 학습할 수 있다는 것입니다.

저자는 일반적인 딥페이크 아티팩트의 네 가지 기본 유형, 즉 랜드마크 불일치, 혼합 경계, 색상 불일치 및 빈도 불일치를 식별합니다. 그런 다음 특수 모델을 사용하여 이러한 아티팩트를 합성합니다.

모델 아키텍처의 경우 저자는 ImageNet 데이터 세트에 대해 사전 교육된 EfficientNet-b4를 사용했습니다. 이들은 자체 혼합 이미지(SBI) 데이터 세트에서 이 모델을 미세 조정하여 모델이 일반적인 위조 아티팩트가 포함된 혼합 이미지로부터 학습하여 딥페이크를 탐지하는 데 능숙하도록 합니다.

우리의 실험. 측정항목 및 데이터세트

우리는 2020년 이후에 출시된 최신 최첨단 딥페이크 탐지기의 성능을 분석했으며 해당 탐지기의 코드 및 모델 가중치를 대중 및 연구용으로 사용할 수 있습니다.

저자가 공개한 품질이 유사한 데이터 세트로 어떻게 전송되는지 확인하기 위해 동일한 공개 데이터 세트에서 각 모델에 대한 관련 지표를 계산했습니다. 그런 다음 사기꾼이 검증을 우회하기 위해 자주 사용하는 간단한 변환(예: 얼굴 교환)을 적용하고 딥페이크 탐지기가 얼마나 효율적으로 작동하는지 확인했습니다.

우리는 사용했었다 셀레바-HQ 그리고 LFW 실제 이미지에 대한 기본 데이터 세트로 사용됩니다. 둘 다 연구 및 개발에 널리 사용됩니다. 이 두 데이터 세트의 이미지는 대부분의 컴퓨터 비전 작업에 대해 "도메인" 이미지로 분류될 수 있습니다.

실제 가짜 이미지 데이터세트를 도입하기 위해 우리는 최첨단 기술을 사용했습니다. SimSwap이라는 2021년 딥페이크 모델 . 이는 여전히 많은 사람들에게 가장 우수하고 인기 있는 단일 사진 딥페이크 생성기로 간주됩니다.

충분한 양의 이미지를 생성하기 위해 데이터 세트에서 임의의 소스 및 참조 사진 쌍을 사용하여 Fake-Celeba-HQ 및 Fake-LFW를 만들었습니다. 각 데이터 세트는 정확히 10,000개의 이미지입니다.

단순화를 위해 모델 품질을 측정하기 위한 기본 측정항목으로 기본 임계값이 0.5인 1등급 정확도를 사용했습니다. 즉, 각 데이터 세트에 대해 올바르게 추측된 레이블의 비율을 계산했습니다. 또한 실제 데이터세트와 가짜 데이터세트를 결합하여 총 ROC-AUC 측정항목을 계산합니다.

실험 1:

표 1. 변경 없는 실제/가짜 데이터세트에 대한 1등급 정확도 및 AUC

예상대로 대부분의 모델에는 SimSwap 딥페이크를 감지하는 데 몇 가지 문제가 있었습니다. 가장 좋은 모델은 SBI로, 82%와 96%로 유망한 0.84 AUC 점수를 보여줍니다.

예상치 못한 점은 실제 데이터 세트의 이미지를 실제 이미지로 분류하는 데 어려움을 겪는 유능한 모델이 많다는 것입니다.

• RECCE는 대부분의 실제 이미지를 가짜로 분류했습니다.

• MAT, FF 및 M2TR은 LFW의 얼굴 중 절반 미만을 딥페이크로 평가했습니다.

  
  

AUC 점수가 0.5에 가까운 모델이 3개 있습니다. 이로 인해 이러한 모델을 보다 현실적인 영역으로 이전할 수 있는지와 사기꾼이 모델을 쉽게 우회할 수 있는 방법에 대한 의문이 제기됩니다.

실험 2:

이러한 모델이 보다 현실적인 영역에서 어떻게 작동하는지 테스트하기 위해 사기꾼이 딥페이크를 사용할 때 일반적으로 활용하는 두 가지 다른 기술을 시도해 보겠습니다.

대부분의 인공물과 불규칙성을 숨기기 위해 가장 먼저 하는 일은 규모를 축소하는 것입니다. 대부분의 라이브니스 및 딥페이크 검사에는 비디오 품질에 대한 요구 사항이 없기 때문에 사기꾼은 일반적으로 딥페이크 비디오를 압축합니다.

이 접근 방식을 시뮬레이션하기 위해 동일한 데이터 세트를 사용하지만 이중선형 알고리즘을 사용하여 각 이미지를 훨씬 더 작은 해상도(128x128)로 압축합니다. 이상적으로 딥페이크 탐지기는 추론에 따른 이미지 해상도가 훈련 과정의 해상도와 다른 경우에도 딥페이크를 탐지할 수 있어야 합니다.

그림 2: 품질이 낮은 데이터 세트에 대한 최고의 딥페이크 탐지기 지표

여기서 결과는 혼란스럽습니다. 다소 경쟁력 있는 성능을 달성했던 모델은 이제 가짜 데이터 세트에 대해 거의 0에 가까운 정확도를 갖습니다. MAT 모델은 단순히 모든 것을 실제 이미지로 점수를 매겼고, RECCE 모델은 동일한 결정에 매우 가깝다는 것을 알 수 있습니다.

실험 3:

두 번째 사기 행위는 이미지를 확대하여 딥페이크 이미지를 수정하여 조작된 이미지를 탐지기에 "포기"할 수 있는 모든 결함을 제거하는 것입니다. 이러한 많은 예 중 하나는 눈입니다. 대부분의 딥페이크 이미지에는 둥근 동공이나 빛 굴절이 없습니다.

따라서 사기꾼은 일반적으로 모든 불순물을 가리기 위해 Instagram이나 TikTok에서 사용되는 것과 유사한 특정 미화 또는 "강화" 소프트웨어를 사용합니다.

그러한 소프트웨어의 효과를 시뮬레이션하기 위해 우리는 밀접하게 관련된 소프트웨어를 사용했습니다. 오픈 소스 아날로그: GPEN . 이것은 GAN을 사용하여 얼굴을 확대하고 향상시키는 강화제입니다.

그림 3: 향상된 데이터세트에 대한 최고의 딥페이크 탐지기 지표

여기서는 실험 2와 동일한 경향을 볼 수 있습니다. MAT 모델은 모든 것을 진짜로 점수를 매겼고 RECCE는 모든 것을 가짜로 점수를 매겼습니다. SBI 및 CADDM의 성능은 무작위보다 우수하지만 Fake-LFW 및 Fake-CELEBA-HQ 데이터 세트에서 딥페이크의 절반 이상을 놓쳤습니다.

결론

100% 안전한 오픈 소스 딥페이크 탐지기가 없기 때문에 이 연구의 결과는 암울합니다. 반면 딥페이크 사기는 세대가 점점 쉬워지고 저렴해짐에 따라 더욱 발전할 것으로 예상됩니다. Sumsub의 내부 통계에 따르면 딥페이크 사기의 발생률은 2022년부터 2023년 1분기까지 상당히 증가했습니다.

• 2022년부터 2023년 1분기까지 모든 사기 유형 중 딥페이크 비율은 캐나다에서 4,500%, 미국에서 1,200%, 독일에서 407%, 영국에서 392% 증가했습니다.

• 2023년 1분기에는 영국과 스페인에서 딥페이크가 가장 많이 발생하여 각각 11.8%와 11.2%의 글로벌 딥페이크 사기가 발생했으며, 독일(6.7%)과 네덜란드(4.7%)가 그 뒤를 이었습니다. 미국은 전 세계 딥페이크 사기 사건의 4.3%를 차지해 5위를 차지했습니다.

우리의 실험에 따르면 딥페이크 탐지와 관련하여 아직 해야 할 일이 많이 남아 있습니다. 최고의 오픈 소스 딥페이크 탐지 모델이라도 현실 세계에 대비하지 못하고 사기꾼과 맞서 싸울 수 없습니다.

딥페이크 탐지기에 관한 수많은 논문이 있지만 대부분은 사용 가능한 코드나 모델 가중치가 없습니다.

그렇기 때문에 여기서 문제 중 하나는 개방성이 부족하여 딥페이크 탐지 방법을 개선하는 데 장애가 된다는 것입니다.

따라서 Sumsub에서는 다음을 수행합니다.

• 지속적으로 딥페이크에 맞서 싸우고 있으며, 자체 딥페이크 탐지 기술 .

• 딥페이크 및 합성 사기 탐지를 위한 4가지 고유한 기계 학습 기반 모델로 구성된 내부 세트를 제공합니다. 가짜를 위해서 . 누구나 무료로 다운로드하여 사용할 수 있으며, Sumsub는 모델 기능을 더욱 향상시키기 위해 AI 연구 커뮤니티의 피드백을 구합니다.

그럼에도 불구하고 인터넷 사용자의 이미지를 온라인에서 보호하는 주요 책임은 사용자 자신에게 있습니다. 개인 사진을 온라인으로 공유할 때는 주의하세요. 대신 작성자처럼 세련된 아바타를 사용하는 것이 좋습니다.

그리고 여기 , 딥페이크 남용을 피하는 방법에 대한 다른 유용한 팁을 찾을 수 있습니다.

Sumsub의 수석 컴퓨터 비전 엔지니어인 Maksim Artemev와 컴퓨터 비전 엔지니어인 Slava Pirogov가 작성했습니다.