야생에서 AI가 생성한 얼굴 찾기: 결과

링크 표

• 초록 및 소개
• 데이터 세트
• 모델
• 결과
• 토론, 감사의 말씀, 참고자료

4. 결과

기본 훈련 및 평가 성능은 표 2에 나와 있습니다. 평가는 평가 이미지에 얼굴이 포함되어 있는지 여부(얼굴만 포함된 훈련 이미지)와 이미지가 동일한 얼굴로 생성되었는지(엔진 내) 또는 얼굴이 포함되었는지 여부에 따라 분류됩니다. 훈련에 사용되는 것과 다른(엔진 외부) 합성 엔진(섹션 2.6 참조) 훈련 및 평가에 대한 참양성률[8](TPR)을 직접 비교하기 위해 최종 분류 임계값을 조정하여 0.5%의 거짓양성률[9](FPR)을 산출합니다.

0.5%의 고정 FPR을 사용하면 AI가 생성한 얼굴이 훈련 및 평가에서 98%의 비율로 올바르게 분류됩니다. 훈련에 사용된 다양한 합성 엔진(StyleGAN 1,2,3, Stable Diffusion 1,2 및 DALL-E 2)에서 TPR은 Stable Diffusion 1의 경우 최저 93.3%에서 StyleGAN의 경우 최고 99.5%까지 다소 다양했습니다. 2, StyleGAN1의 경우 98.9%, StyleGAN3의 경우 99.9%, Stable Diffusion 2의 경우 94.9%, DALL-E 2의 경우 99.2%입니다.

다음에서 사용되지 않는 합성 엔진으로 생성된 얼굴의 경우

훈련(엔진 외부), TPR은 동일한 FPR에서 84.5%로 떨어지며 도메인 외부 일반화는 좋지만 완벽하지는 않습니다. 훈련에 사용되지 않은 다양한 합성 엔진에서 TPR은 Midjourney의 경우 최저 19.4%, EG3D의 경우 최고 99.5%, 생성된.photos의 경우 95.4%로 매우 다양했습니다. 우리의 분류기는 어떤 경우에는 잘 일반화되지만 다른 경우에는 실패합니다. 그러나 이러한 제한은 이러한 엔진 외부 이미지를 초기 교육에 통합함으로써 완화될 수 있습니다.

특히 놀라운 결과는 훈련에 사용된 것과 동일한 합성 엔진에 의해 생성된 비얼굴이 모두 잘못 분류되었다는 것입니다. 이는 실제 이미지 중 일부에는 얼굴이 아닌 이미지가 포함되어 있는 반면(섹션 2.1 참조) 모든 AI 생성 이미지에는 얼굴이 포함되어 있기 때문일 가능성이 높습니다. 우리는 계정을 만드는 데 사용된 가짜 얼굴을 탐지하는 데에만 관심이 있으므로 이것이 큰 제한 사항이라고 생각하지 않습니다. 이 결과는 또한 우리의 분류기가 AI 생성 얼굴의 특정 속성에 고정되어 있으며 기본 합성의 일부 낮은 수준 아티팩트(예: 노이즈 지문 [8])에 고정되어 있음을 시사합니다. 섹션 4.1에서는 이 가설을 뒷받침하는 추가 증거를 제공합니다.

위의 기본 결과는 512×512 픽셀 해상도의 이미지를 훈련하고 평가한 결과입니다. 그림 3(a)(짙은 파란색)에 표시된 TPR은 훈련 이미지가 더 낮은 해상도(256, 128, 64 및 32)로 축소된 다음 분류를 위해 다시 512로 확대될 때의 TPR입니다. 0.5%의 동일한 FPR을 사용하면 AI 생성 얼굴을 분류하기 위한 TPR이 기준선 98.0%에서 상당히 빠르게 떨어집니다.

그러나 모델이 N × N(N = 32, 64, 128 또는 256) 해상도의 이미지에 대해 훈련된 다음 훈련에서 볼 수 있는 동일한 TPR에 대해 평가할 때 참양성률이 크게 향상됩니다. 그림 3(a ) (빨간색 점선). 이전과 마찬가지로 위양성률은 0.5%로 고정됩니다. 여기서 우리는 128×128 해상도의 TPR이 상대적으로 높게 유지되고(91.9%) 가장 낮은 해상도인 32×32(44.1%)에서만 저하된다는 것을 알 수 있습니다. 상대적으로 낮은 해상도에서도 AI가 생성한 얼굴을 감지하는 기능은 우리 모델이 이 수준의 다운샘플링에서 살아남지 못하는 낮은 수준의 아티팩트에 고정되지 않았음을 시사합니다.

그림 3(b)에는 다양한 품질의 압축되지 않은 PNG 및 JPEG 이미지에 대해 훈련된 분류기의 TPR이 표시되며, 다양한 JPEG 품질(최고 품질 100에서 최저 품질 20까지)의 이미지에 대해 평가됩니다. 여기서는 AI 생성 얼굴을 식별하기 위한 TPR(FPR은 0.5%)이 품질 80에서 94.3%의 TPR, 품질 60에서 88.0%의 TPR로 천천히 저하된다는 것을 알 수 있습니다. JPEG 압축 아티팩트가 존재한다는 것은 우리 모델이 낮은 수준의 아티팩트에 고정되지 않았음을 나타냅니다.

4.1. 설명 가능성

섹션 4에서 볼 수 있듯이 분류기는 다양한 합성 엔진에서 생성된 AI 얼굴을 구별하는 능력이 뛰어납니다. 그러나 이 분류기는 표 2와 같이 얼굴에만 국한됩니다. 즉, 훈련에 사용된 것과 동일한 합성 엔진의 얼굴이 아닌 이미지가 제시되면 분류기는 이를 AI 생성으로 분류하는 데 완전히 실패합니다.

우리는 분류자가 의미 수준의 인공물을 학습했을 수도 있다고 가정합니다. 이 주장은 우리의 분류기가 128×128 픽셀의 낮은 해상도(그림 3(a))에서도 높은 정확성을 유지하고 상당히 공격적인 JPEG 압축(그림 3(b))에도 불구하고 상당히 정확한 상태를 유지한다는 사실에 의해 부분적으로 뒷받침됩니다. . 여기서 우리는 구조적 또는 의미적 수준의 인공물을 학습했다는 이 주장을 뒷받침하는 추가 증거를 제공합니다.

인간 시각 시스템의 범용 객체 인식은 객체 방향, 자세 및 원근 왜곡에 매우 강력하지만 얼굴 인식 및 처리는 단순한 반전에도 덜 견고하다는 것이 잘 알려져 있습니다 [27]. 이 효과는 고전적인 Margaret Thatcher 환상에서 유쾌하게 설명됩니다[31]. 그림 4의 위쪽 행에 있는 면은 아래쪽 행에 있는 면의 반전된 버전입니다. 오른쪽 버전에서는 눈과 입이 얼굴에 비해 반전되어 있습니다. 이 기괴한 특징 칵테일은 직립한 얼굴에서는 뚜렷하게 나타나지만 거꾸로 된 얼굴에서는 그렇지 않습니다.

분류자가 분류하는 데 어려움을 겪을지 궁금했습니다.

수직으로 뒤집힌 얼굴. 동일한 10,000개의 검증 이미지(섹션 2.6)를 반전하고 다시 분류했습니다. 동일한 고정 FPR을 0.5%로 설정했을 때 TPR은 98.0%에서 77.7%로 20%포인트 감소했습니다.

이에 비해 수직 축에 대해서만 검증 이미지를 뒤집으면(예: 왼쪽-오른쪽 뒤집기) 동일한 0.5% FPR로 98.0%의 TPR에 변화가 없습니다. 해상도 및 압축 품질에 대한 견고성과 결합된 이 결과 쌍은 우리 모델이 낮은 수준의 아티팩트에 고정되지 않았으며 대신 AI 생성 얼굴과 실제 얼굴을 구별하는 구조적 또는 의미론적 속성을 발견했을 수 있음을 시사합니다.

우리는 통합 그래디언트 방법을 사용하여 분류기의 특성을 더 자세히 탐구합니다[28]. 이 방법은 심층 네트워크가 수행한 예측을 입력 특성에 귀속시킵니다. 이 방법은 훈련된 모델을 변경하지 않고 적용할 수 있기 때문에 모델 결정과 관련하여 각 입력 이미지 픽셀의 관련성을 계산할 수 있습니다.

그림 5(a)에 표시된 것은 100개의 StyleGAN 2 이미지에 대해 평균화된 정규화된([0, 1] 범위 내) 통합 기울기의 부호 없는 크기입니다(StyleGAN 생성된 얼굴이 모두 정렬되어 있기 때문에 평균 기울기는 전체 얼굴 특징과 일치합니다). 모든 이미지). 그림 5(b)-(e)에는 DALL-2, Midjourney, Stable Diffusion 1 및 Stable Diffusion 2에 의해 생성된 이미지에 대한 대표 이미지와 정규화된 통합 그라데이션이 나와 있습니다. 모든 경우에 가장 관련성이 높은 픽셀이 더 큰 그라데이션에 해당하는 는 주로 얼굴 영역과 피부의 기타 영역 주위에 집중됩니다.

4.2. 비교

특히 GAN 생성 얼굴 감지에 중점을 두었기 때문에 [23]의 작업은 우리 작업과 가장 직접적으로 관련되어 있습니다. 이 연구에서 저자는 저차원 선형 모델이 StyleGAN으로 생성된 얼굴의 일반적인 얼굴 정렬을 포착한다는 것을 보여줍니다. 3,000개의 StyleGAN 얼굴에 대해 평가된 모델은 GAN 얼굴의 99.5%를 올바르게 분류했으며 실제 얼굴의 1%는 AI로 잘못 분류되었습니다. 이에 비해 우리는 유사한 TPR을 달성하지만 FPR은 0.5% 더 낮습니다.

그러나 generate.photos와 같은 다른 GAN 얼굴로 일반화하는 우리의 접근 방식과 달리 이 초기 작업의 TPR은 86.0%(동일한 1% FPR 사용)로 떨어집니다. 게다가 이 초기 작업은 확산 기반 얼굴을 감지하지 못합니다. 왜냐하면 이러한 얼굴에는 StyleGAN 얼굴과 동일한 정렬 아티팩트가 포함되어 있지 않기 때문입니다. 이에 비해 우리 기술은 GAN 및 확산 생성 면과 훈련에서는 볼 수 없는 합성 엔진 전반에 걸쳐 일반화됩니다.

우리는 또한 AI 생성 이미지에서 푸리에 아티팩트의 존재를 활용하는 최신 최첨단 모델을 평가했습니다[8]. 실제 및 엔진 내 AI 생성 얼굴의 평가 데이터 세트에서 이 모델은 동일한 FPR 0.5%에서 AI 생성 얼굴의 23.8%만 올바르게 분류합니다. 이 TPR은 우리 모델의 TPR인 98.0%보다 상당히 낮으며 [8]에서 보고된 90% TPR보다 낮습니다. 우리는 이러한 불일치가 데이터세트의 실제 이미지가 더욱 다양하고 까다롭기 때문에 발생한다고 가정합니다.

[8] 참양성률(TPR)은 올바르게 분류된 AI 생성 사진의 비율입니다.

[9] 거짓양성률(FPR)은 잘못 분류된 실제 사진의 비율입니다.