AI 生成の顔の発見: 議論、謝辞、参考文献

リンク一覧

• 概要と序文
• データセット
• モデル
• 結果
• 議論、謝辞、参考文献

5. 議論

多くの画像分類問題では、適切に代表されるデータを持つ大規模なニューラルモデルは、識別特徴を学習する能力があるため魅力的です。しかし、これらのモデルは敵対的攻撃に対して脆弱になる可能性があります [4]。私たちのモデルが、感知できない量の敵対的ノイズがモデルを混乱させる以前のモデルと同じくらい脆弱であるかどうかはまだわかりません [3]。特に、私たちが学習したと思われる明らかな構造的または意味的なアーティファクトが、意図的な敵対的攻撃に対してより堅牢性をもたらすかどうかはまだわかりません。

トランスコーディングや画像のサイズ変更などのロンダリング操作を含む、それほど洗練されていない攻撃に関しては、

私たちのモデルは、広範囲にわたるマネーロンダリング操作にわたって耐性があることが示されました。

AI 生成コンテンツの作成と検出は本質的に敵対的であり、作成者と検出者の間である程度予測可能なやり取りが行われます。検出は無駄に思えるかもしれませんが、そうではありません。検出者を継続的に構築することで、作成者は説得力のある偽物を作成するために時間とコストを投資し続けることを余儀なくされます。十分に洗練された作成者であれば、ほとんどの防御を回避できる可能性がありますが、平均的な作成者はそうではありません。

私たちのような大規模なオンライン プラットフォームで運用する場合、この軽減戦略 (ただし排除ではありません) は、より安全なオンライン スペースを作成するために役立ちます。さらに、防御を成功させるには、さまざまなアーティファクトを利用する 1 つのアプローチではなく、多くの異なるアプローチを採用する必要があります。このような防御をすべて回避することは、敵にとって大きな課題となります。ここで説明するアプローチは、解像度、品質、さまざまな合成エンジンにわたって耐性のある堅牢なアーティファクトを学習することで、防御ツールキットに強力な新しいツールを追加します。

謝辞

この研究は、Hany Farid教授とLinkedIn[10]のTrust Dataチームの共同研究の成果です。AI生成の顔の作成に協力してくれたMatya's Bohacekに感謝します。この共同研究を可能にしてくれたLinkedIn Scholars[11]プログラムに感謝します。また、この研究を支援してくれたYa Xu、Daniel Olmedilla、Kim Capps-Tanaka、Jenelle Bray、Shaunak Chatterjee、Vidit Jain、Ting Chen、Vipin Gupta、Dinesh Palanivelu、Milinda Lakkam、Natesh Pillaiにも感謝します。StyleGAN生成ソフトウェア、トレーニング済みモデル、合成画像を公開することで私たちの研究を促進し、貴重な提案をしてくれたNVIDIAのDavid Luebke、Margaret Albrecht、Edwin Nieda、Koki Nagano、George Chellapa、Burak Yoldemir、Ankit Patelに感謝します。

参考文献

[1] スタビリティAI https://stability.ai. 1

[2] デビッド・バウ、アレックス・アンドニアン、オードリー・クイ、ヨンファン・パーク、アリ・ジャハニアン、オード・オリヴァ、アントニオ・トッラルバ。Paint by word。arXiv:2103.10951、2021年。1

[3] ニコラス・カルリーニとハニー・ファリド。ホワイトボックス攻撃とブラックボックス攻撃によるディープフェイク画像検出器の回避。IEEE/CVFコンピュータービジョンおよびパターン認識ワークショップ会議の議事録、658〜659ページ、2020年。7

[4] ニコラス・カルリーニとデイヴィッド・ワグナー。ニューラルネットワークの堅牢性の評価に向けて。IEEEセキュリティとプライバシーシンポジウム、39～57ページ。IEEE、2017年。7

[5] ルーシー・チャイ、デイビッド・バウ、セルナム・リム、フィリップ・イソラ。偽造画像が検出可能になる理由とは？一般化する特性を理解する。ヨーロッパコンピュータビジョン会議、103～120ページ、2020年。2

[6] Eric R Chan、Connor Z Lin、Matthew A Chan、Koki Nagano、Boxiao Pan、Shalini De Mello、Orazio Gallo、Leonidas J Guibas、Jonathan Tremblay、Sameh Khamis、他「効率的なジオメトリを考慮した3D生成敵対ネットワーク」国際コンピュータビジョンおよびパターン認識会議、16123〜16133ページ、2022年。2

[7] フランソワ・ショレ。Xception: 深さ方向に分離可能な畳み込みによる深層学習。arXiv:1610.02357、2017年4月

[8] Riccardo Corvi、Davide Cozzolino、Giada Zingarini、Giovanni Poggi、Koki Nagano、およびLuisa Verdoliva。拡散モデルによって生成された合成画像の検出について。国際音響、音声および信号処理会議、1〜5ページ。IEEE、2023年。2、5、7

[9] Chengdong Dong、Ajay Kumar、Eryun Liu。GANで生成された偽画像をスペクトル領域の痕跡から検出する前によく考えてください。国際コンピュータビジョンとパターン認識会議、7865〜7874ページ、2022年。2

[10] ハニー・ファリド。ディープフェイクの作成、使用、誤用、検出。オンライン信頼と安全ジャーナル、1(4)、2022年。2

[11] Joel Frank、Thorsten Eisenhofer、Lea Schonherr、Asja Fis-¨cher、Dorothea Kolossa、Thorsten Holz。ディープフェイク画像認識のための周波数分析の活用。arXiv:2003.08685、2020年。2

[12] Diego Gragnaniello、Davide Cozzolino、Francesco Marra、Giovanni Poggi、Luisa Verdoliva。GANで生成された画像は検出しやすいか？最先端の批判的分析。IEEE国際マルチメディア・エキスポ会議、1～6ページ、2021年。2

[13] Hui Guo、Shu Hu、Xin Wang、Ming-Ching Chang、Siwei Lyu。目はすべてを語る：不規則な瞳孔形状がガン生成の顔を明らかにする。IEEE国際音響、音声、信号処理会議、2904〜2908ページ。IEEE、2022年。2

[14] 何凱明、張向宇、任紹青、孫建。画像認識のための深層残差学習。 arXiv: 1512.03385, 2015. 4

[15] Shu Hu、Yuezun Li、Siwei Lyu。不一致な角膜鏡面ハイライトを使用したGAN生成顔の露出。IEEE国際音響、音声、信号処理会議、2500〜2504ページ。IEEE、2021年。2

[16] Tero Karras、Timo Aila、Samuli Laine、Jaakko Lehtinen。品質、安定性、およびバリエーションの向上のためのGANの漸進的成長。arXiv：1710.10196、2017年。1

[17] テロ・カラス、ミイカ・アイッタラ、サムリ・レイン、エリック・ハーク・オネン、ヤンネ・ヘルステン、ヤッコ・レーティネン、ティモ・アイラ。エイリアスフリーの生成的敵対ネットワーク。 Neural Information Processing Systems、2021年1、2

[18] テロ・カラス、サムリ・レイン、ティモ・アイラ「生成的敵対ネットワークのためのスタイルベースのジェネレータアーキテクチャ」国際コンピュータビジョンとパターン認識会議、4401-4410ページ、2019年。1、2

[19] テロ・カラス、サムリ・レイン、ミイカ・アイタラ、ヤンネ・ヘルステン、ヤッコ・レーティネン、ティモ・アイラ。 StyleGAN の画質を分析し、改善します。国際コンピュータビジョンとパターン認識会議、8110～8119ページ、2020年。2

[20] デイビッド・C・ニル、デイビッド・フィールド、ダニエル・ケルステント「フラクタル画像の人間による識別」JOSA A、7(6):1113–1123、1990年。1

[21] Bo Liu、Fan Yang、Xiuli Bi、Bin Xiao、Weisheng Li、Xinbo Gao。生成された画像を実際の画像で検出します。 European Conference on Computer Vision、95～110ページ。シュプリンガー、2022年2月

[22] 劉澤、林宇同、曹悦、韓虎、魏義玄、張鄭、林俊英、郭百寧。 Swin トランスフォーマー: シフトされたウィンドウを使用する階層型ビジョン トランスフォーマー。 IEEE/CVF国際コンピュータビジョン会議、2021年4月

[23] Shivansh Mundra、Gonzalo J. Aniano Porcile、Smit Marvaniya、James R. Verbus、Hany Farid。コンパクト埋め込みからギャングジェネレーションされたプロフィール写真を公開する。国際コンピュータビジョンおよびパターン認識会議ワークショップ、2023年。2、7

[24] ソフィー・J・ナイチンゲールとハニー・ファリド。AI合成顔は本物の顔と区別がつかず、より信頼できる。米国科学アカデミー紀要、119(8):e2120481119、2022年。2

[25] Javier PortillaとEero P Simoncelli。複素ウェーブレット係数の結合統計に基づくパラメトリックテクスチャモデル。国際コンピュータビジョンジャーナル、40:49–70、2000年。1

[26] ロビン・ロンバッハ、アンドレアス・ブラットマン、ドミニク・ロレンツ、パトリック・エッサー、ビョルン・オマー。潜在拡散モデルによる高解像度画像合成。国際コンピュータビジョンおよびパターン認識会議、10684-10695ページ、2022年。1、4

[27] パワン・シンハ、ベンジャミン・バラス、ユーリ・オストロフスキー、リチャード・ラッセル「人間による顔認識：すべてのコンピュータビジョン研究者が知っておくべき19の結果」IEEE紀要、94(11):1948–1962、2006年。6

[28] ムクンド・スンダララジャン、アンクル・タリー、キキ・ヤン。深層ネットワークの公理的帰属。arXiv: 1703.01365, 2017. 6

[29] Chuangchuang Tan、Yao Zhao、Shikui Wei、Guanghua Gu、Yunchao Wei。勾配学習：GAN生成画像検出のための一般化アーティファクト表現。国際コンピュータビジョンおよびパターン認識会議、12105〜12114ページ、2023年。2

[30] ミンシン・タンとクオック・V・ル。Efficientnet：畳み込みニューラルネットワークのモデルスケーリングの再考。arXiv：1905.11946、2020年4月

[31] ピーター・トンプソン『マーガレット・サッチャー：新たな幻想』知覚、9(4):483-484、1980年。6

[32] Sheng-Yu Wang、Oliver Wang、Richard Zhang、Andrew Owens、Alexei A Efros。CNNで生成された画像は驚くほど簡単に見分けられます...今のところ。International Conference on Computer Vision and Pattern Recognition、8695– 8704ページ、2020年。2

[33] Xin Yang、Yuezun Li、Siwei Lyu。一貫性のないヘッドポーズを使用したディープフェイクの検出。IEEE国際音響、音声、信号処理会議、8261-8265ページ。IEEE、2019年。2

[34] Xin Yang、Yuezun Li、Honggang Qi、Siwei Lyu。ランドマーク位置を使用してGAN合成顔を公開する。ACM Workshop on Information Hiding and Multimedia Security、113-118ページ、2019年。2

[35] Xu Zhang、Svebor Karaman、Shih-Fu Chang。GAN偽画像におけるアーティファクトの検出とシミュレーション。IEEE国際情報フォレンジックとセキュリティワークショップ、1-6ページ、2019年。2

[10] この研究で説明したモデルは、LinkedInのメンバーに対してアクションを起こすために使用されるものではありません。

[11] https://careers.linkedin.com/scholars