著者: （１）ゴンザロ・J・アニアーノ・ポルシル、LinkedIn （２）ジャック・ギンディ、LinkedIn （３）シヴァンシュ・ムンドラ、LinkedIn （4）ジェームズ・R・バーバス、LinkedIn （５）ハニー・ファリド、LinkedInおよびカリフォルニア大学バークレー校。 リンク一覧 概要と序文 データセット モデル 結果 議論、謝辞、参考文献 抽象的な AI ベースの画像生成は急速に改善を続けており、視覚的な欠陥が少なく、ますますリアルな画像が生成されています。AI 生成画像は偽のオンライン プロフィールの作成に使用されており、スパム、詐欺、偽情報キャンペーンに使用されています。操作または合成されたあらゆる種類のコンテンツを検出するという一般的な問題がますます注目を集めているため、ここでは、実際の顔と AI 生成の顔を区別するというより限定されたタスクに焦点を当てています。これは、偽のユーザー プロフィール写真を持つ不正なオンライン アカウントに対処する場合に特に適用されます。顔だけに焦点を当てることで、より回復力のある汎用的なアーティファクトを検出でき、さまざまな GAN ベースおよび拡散ベースの合成エンジンから、さまざまな画像解像度 (128 × 128 ピクセルまで) と品質で AI 生成の顔を検出できることを示します。 1. はじめに 過去 30 年間で、自然画像の統計モデル化は目覚ましい進歩を遂げてきました。最も単純なパワースペクトルモデル [20] は、自然画像に典型的な 1/ω 周波数振幅の減衰を捉えます (図 1(a))。このモデルは位相情報をまったく取り入れていないため、詳細な構造情報を捉えることができません。2000 年初頭までに、新しい統計モデルが振幅と (一部の) 位相の両方の自然統計を捉えられるようになり [25]、基本的なテクスチャパターンのモデル化における画期的な進歩につながりました (図 1(b))。 これらのモデルは、繰り返しパターンを捉えることはできるものの、物体、顔、複雑なシーンの幾何学的特性を捉えることはできません。2017年以降、自然画像の大規模なデータセット、ディープラーニングの進歩、強力なGPUクラスターを活用して、生成モデルは人間の顔や物体の詳細な特性を捉えるようになりました[16、18]。単一のカテゴリ（顔、車、猫など）からの大量の画像でトレーニングされたこれらの生成敵対ネットワーク（GAN）は、非常に詳細な特性を捉えます。 例えば、顔（図1(c)）などの画像を生成するモデルは数多くあるが、単一のカテゴリに限定されている。最近では、拡散ベースのモデル[2,26]が生成画像モデルと言語プロンプトを組み合わせ、「養蜂家が自画像を描いている」などの説明的なテキストプロンプトから画像を合成できるようにしている（図1(d)）。 従来、生成画像モデルの開発は、2 つの主な目標によって推進されてきました。(1) 自然画像の基本的な統計特性を理解すること、(2) 結果として得られる合成画像を、コンピューター グラフィックスのレンダリングから人間の心理物理学、従来のコンピューター ビジョン タスクにおけるデータ拡張まで、あらゆる用途に使用することです。しかし、今日では、生成 AI は、スパムから詐欺、偽情報キャンペーンのさらなる燃料に至るまで、より悪質な使用例が見つかっています。 操作された画像や合成された画像を検出することは、何億人ものユーザーがいる大規模ネットワークで作業する場合、特に困難です。この課題は、平均的なユーザーが本物の顔と偽物の顔を区別するのに苦労する場合にさらに重要になります[24]。私たちは、偽のオンラインユーザーアカウントを作成するための生成AIの使用に関心があるため、本物の顔とAI生成の顔を区別できる高速で信頼性の高い技術の開発を目指しています。次に、私たちの研究を関連技術の文脈に位置付けます。 1.1. 関連研究 本研究ではAI生成の顔に特に焦点を当てるため、本物の顔と偽物の顔を区別することに焦点を当てた、またはそれに応用可能な関連研究についてもレビューする。AI生成コンテンツを検出するアプローチには、大きく分けて2つのカテゴリがある[10]。 最初の仮説主導型のアプローチでは、角膜反射 [13] や瞳孔の形状 [15] の形での左右の顔の対称性の不一致、または頭の姿勢と顔の特徴の空間レイアウト (目、鼻の先、口角、あごなど) の不一致 [23, 33, 34] など、AI 生成の顔の特定のアーティファクトが利用されます。これらのアプローチの利点は、明示的な意味レベルの異常を学習することです。欠点は、時間の経過とともに合成エンジンがこれらのアーティファクトを暗黙的または明示的に修正しているように見えることです。顔に固有でないその他のアーティファクトには、空間周波数またはノイズの異常が含まれますが [5,8,12,21,35]、これらのアーティファクトは単純なロンダリング攻撃 (例: トランスコーディング、加法性ノイズ、画像サイズ変更) に対して脆弱になる傾向があります。 2番目のデータ駆動型アプローチでは、機械学習を使用して、実際の画像とAI生成画像を区別する方法を学習します[11、29、32]。これらのモデルは、トレーニングと一致する画像を分析する場合は優れたパフォーマンスを発揮することが多いですが、ドメイン外の画像では苦労したり、モデルが低レベルのアーティファクトに引っかかるため、ロンダリング攻撃に対して脆弱になったりします[9]。 私たちは、これら両方のアプローチの長所を活用しようとしています。さまざまな合成エンジン (GAN と拡散) でモデルをトレーニングすることで、一般化されないか単純なロンダリング攻撃に対して脆弱な可能性のある特定の低レベルのアーティファクトに固執しないようにしています。AI 生成の顔 (任意の合成画像ではなく) のみの検出に焦点を当てることで、モデルが AI 生成の顔に固有の意味レベルのアーティファクトをキャプチャしているように見えることを示しています。これは、不正な可能性のあるユーザー アカウントを見つけるという特定のアプリケーションに非常に望ましいものです。また、モデルは、トレーニングで以前に見られなかった AI 生成の顔を検出する耐性があり、広範囲の画像解像度と品質にわたって耐性があることも示しています。 この論文はCC 4.0ライセンスの下で 。 arxivで公開されています
