저자: (1) 곤잘로 J. 아니아노 포실(Gonzalo J. Aniano Porcile), LinkedIn; (2) 잭 긴디, 링크드인; (3) 시반시 문드라(Shivansh Mundra), 링크드인; (4) 제임스 R. 버버스(James R. Verbus), 링크드인; (5) Hany Farid, LinkedIn 및 캘리포니아 대학교 버클리 캠퍼스. 링크 표 초록 및 소개 데이터 세트 모델 결과 토론, 감사의 말씀, 참고자료 추상적인 AI 기반 이미지 생성은 지속적으로 빠르게 개선되어 눈에 띄는 시각적 결함이 줄어들고 점점 더 사실적인 이미지를 생성합니다. AI가 생성한 이미지는 스팸, 사기, 허위 정보 캠페인에 사용되는 가짜 온라인 프로필을 만드는 데 사용되고 있습니다. 모든 유형의 조작되거나 합성된 콘텐츠를 탐지하는 일반적인 문제가 점점 더 많은 관심을 받고 있기 때문에 여기서는 실제 얼굴과 AI 생성 얼굴을 구별하는 보다 좁은 작업에 중점을 둡니다. 이는 가짜 사용자 프로필 사진을 사용하여 허위 온라인 계정을 다룰 때 특히 적용됩니다. 우리는 얼굴에만 초점을 맞춤으로써 다양한 GAN 및 확산 기반 합성 엔진과 이미지 해상도(낮은 128 × 128 픽셀) 및 품질. 1. 소개 지난 30년 동안 자연 이미지의 통계적 모델링은 놀라운 발전을 이루었습니다. 가장 간단한 전력 스펙트럼 모델[20]은 그림 1(a)과 같이 자연 이미지의 일반적인 1/Ω 주파수 크기 감소를 포착합니다. 이 모델에는 위상 정보가 포함되어 있지 않기 때문에 자세한 구조 정보를 캡처할 수 없습니다. 2000년 초까지 새로운 통계 모델은 크기와 (일부) 위상 모두의 자연 통계를 포착할 수 있었으며[25] 기본 텍스처 패턴 모델링에 획기적인 발전을 가져왔습니다(그림 1(b)). 이러한 모델은 반복되는 패턴을 캡처할 수 있지만 객체, 얼굴 또는 복잡한 장면의 기하학적 특성을 캡처할 수 없습니다. 2017년부터 자연 이미지의 대규모 데이터 세트, 딥 러닝의 발전, 강력한 GPU 클러스터를 기반으로 생성 모델이 인간의 얼굴과 사물의 세부 속성을 포착하기 시작했습니다[16, 18]. 단일 카테고리(얼굴, 자동차, 고양이 등)의 수많은 이미지로 훈련된 이러한 생성적 적대 신경망(GAN)은 매우 상세한 속성을 포착합니다. 예를 들어 그림 1(c)의 얼굴은 하나의 범주로만 제한됩니다. 가장 최근에 확산 기반 모델[2,26]은 생성 이미지 모델을 언어적 프롬프트와 결합하여 "자화상을 그리는 양봉가"(그림 1(d))와 같은 설명 텍스트 프롬프트에서 이미지를 합성할 수 있도록 했습니다. 전통적으로 생성 이미지 모델의 개발은 두 가지 주요 목표에 의해 추진되었습니다. (1) 자연 이미지의 기본 통계 속성을 이해합니다. (2) 컴퓨터 그래픽 렌더링부터 인간 정신물리학 및 고전적인 컴퓨터 비전 작업의 데이터 증강에 이르기까지 모든 작업에 결과 합성 이미지를 사용합니다. 그러나 오늘날 생성 AI는 스팸부터 사기, 허위 정보 캠페인을 위한 추가 연료에 이르기까지 더욱 사악한 사용 사례를 발견했습니다. 조작되거나 합성된 이미지를 감지하는 것은 수억 명의 사용자가 있는 대규모 네트워크에서 작업할 때 특히 어렵습니다. 이 문제는 일반 사용자가 진짜 얼굴과 가짜 얼굴을 구별하는 데 어려움을 겪을 때 더욱 중요해집니다[24]. 우리는 가짜 온라인 사용자 계정을 생성할 때 생성 AI를 사용하는 것에 관심이 있기 때문에 AI 생성 얼굴과 실제 얼굴을 구별할 수 있는 빠르고 안정적인 기술을 개발하려고 합니다. 다음으로 우리 작업을 관련 기술의 맥락에 배치합니다. 1.1. 관련된 일 특히 AI가 생성한 얼굴에 중점을 둘 것이기 때문에 실제 얼굴과 가짜 얼굴을 구별하는 데 중점을 두거나 적용할 수 있는 관련 작업도 검토할 것입니다. AI 생성 콘텐츠를 탐지하는 접근 방식에는 두 가지 광범위한 범주가 있습니다[10]. 첫 번째 가설 기반 접근 방식에서는 각막 반사[13] 및 동공 모양[15] 형태의 양측 얼굴 대칭의 불일치 또는 머리 자세 및 공간 레이아웃의 불일치와 같은 AI 생성 얼굴의 특정 아티팩트가 활용됩니다. 얼굴 특징 (눈, 코끝, 입가, 턱 등) [23, 33, 34]. 이러한 접근 방식의 이점은 명시적이고 의미 수준의 이상 현상을 학습한다는 것입니다. 단점은 시간이 지남에 따라 합성 엔진이 암시적으로든 명시적으로든 이러한 아티팩트를 수정하는 것처럼 보인다는 것입니다. 기타 비얼굴 특정 아티팩트에는 공간 주파수 또는 노이즈 이상[5,8,12,21,35]이 포함되지만 이러한 아티팩트는 단순 세탁 공격(예: 트랜스코딩, 추가 노이즈, 이미지 크기 조정)에 취약한 경향이 있습니다. 두 번째, 데이터 기반 접근 방식에서는 기계 학습을 사용하여 실제 이미지와 AI 생성 이미지를 구별하는 방법을 학습합니다[11, 29, 32]. 이러한 모델은 훈련과 일치하는 이미지를 분석할 때 잘 수행되는 경우가 많지만 모델이 낮은 수준의 아티팩트에 걸려 있기 때문에 도메인 외부 이미지로 인해 어려움을 겪거나 세탁 공격에 취약합니다[9]. 우리는 이 두 가지 접근 방식의 장점을 모두 활용하려고 합니다. 다양한 합성 엔진(GAN 및 확산)에서 모델을 훈련함으로써 일반화되지 않거나 단순 세탁 공격에 취약할 수 있는 특정 하위 수준 아티팩트에 걸리는 것을 방지하려고 합니다. AI가 생성한 얼굴(임의의 합성 이미지는 아님) 감지에만 초점을 맞춤으로써 우리 모델이 잠재적인 사기 사용자를 찾는 특정 애플리케이션에 매우 바람직한 AI 생성 얼굴과 구별되는 의미 수준 아티팩트를 캡처한 것으로 보인다는 것을 보여줍니다. 계정. 또한 우리 모델은 이전에 훈련에서 볼 수 없었던 AI 생성 얼굴을 감지하는 데 탄력성이 있고 광범위한 이미지 해상도와 품질에 걸쳐 탄력적이라는 것을 보여줍니다. 이 문서는 CC 4.0 라이선스에 따라 있습니다. arxiv에서 볼 수
