新たな研究により、AI はこれまで以上に正確に芸術スタイルを模倣できるようになったことが判明

リンク一覧

要約と1. はじめに

2. 背景と関連研究

3. 脅威モデル

4. 堅牢なスタイルの模倣

5. 実験のセットアップ

6. 結果

   6.1 主な調査結果: すべての保護は簡単に回避できる

   6.2 分析

7. 議論と広範な影響、謝辞、参考文献

A. 詳細なアートの例

B. 強力な擬態世代

C. 詳細な結果

D. グレイズ微調整との違い

E. Glaze 2.0 に関する調査結果

F. Mist v2 に関する調査結果

G. スタイル模倣の方法

H. 既存のスタイルの模倣の保護

I. 堅牢な模倣方法

J. 実験のセットアップ

K. ユーザー調査

L. コンピューティングリソース

4 堅牢なスタイルの模倣

保護されたアートワークのみを使用してアーティストのスタイルをエミュレートできる場合、スタイル模倣方法は堅牢であると言えます。堅牢な模倣の方法はすでに提案されていますが、これらの方法とその評価にはいくつかの制限があることをセクション 4.1 で説明します。次に、これらの制限に対処する独自の方法 (セクション 4.3) と評価 (セクション 5) を提案します。

4.1 従来のロバスト模倣手法とその評価の限界

(1) 一部の模倣防止策は、微調整の設定を越えて一般化できません。偽造者の多くは、生成AIに自分の作品を使用しないでほしいというアーティストの真摯な要望を無視するため、本質的に悪意を持っています (Heikkila¨、2022)。したがって、保護策を成功させるには、さまざまなツールを試す可能性のある、十分なリソースを持つ偽造者による回避の試みに抵抗する必要があります。しかし、予備実験では、Glaze (Shan et al.、2023a) は、積極的に回避を試みる前に、元の評価で主張されていたよりも大幅にパフォーマンスが悪いことがわかりました。Glaze の著者と話し合った結果、既製の微調整スクリプトと、Glaze の元の評価で使用されたスクリプト (著者が私たちと共有してくれたもの) との間に小さな違いがあることがわかりました。[1] これらの微調整の小さな違いは、Glaze の保護を大幅に低下させるのに十分です (定性的な例については図 2 を参照)。私たちの既製の微調整スクリプトはスタイル模倣保護を回避するように設計されていなかったため、これらの結果はすでに、既存のツールが提供する表面的で脆弱な保護を示唆しています。アーティストは、偽造者が使用する微調整スクリプトやハイパーパラメータを制御できないため、これらの選択肢全体にわたって保護を堅牢にする必要があります。

（2）既存の堅牢な模倣の試みは最適ではない。これまでの保護の評価は、最先端の方法（既製のものも含む）を使用する、適度にリソースのある偽造者の能力を反映していない。たとえば、Mist（Liang et al., 2023）は、時代遅れで低解像度の精製モデルを使用して、DiffPure 精製に対して評価している。より新しいモデルで DiffPure を使用すると、大幅な改善が見られる。Glaze（Shan et al., 2023a）は、DiffPure のどのバージョンに対しても評価されていないが、最初に JPEG で画像を圧縮してから専用モデルでアップスケールする Compressed Upscaling に対する保護を主張している。しかし、JPEG 圧縮をガウスノイズに置き換えるだけで、模倣保護の除去に非常に効果的なバリアントとして Noisy Upscaling を作成できることを示す（両方の方法の比較については、図 26 を参照）。

（３）既存の評価は包括的ではない。オリジナルの評価ではアーティスト、プロンプト、微調整の設定が異なるため、以前の保護の堅牢性を比較することは困難である。さらに、一部の評価は自動化された指標（例：CLIP類似度）に依存しており、これはスタイルの模倣を測定するには信頼性が低い（Shan et al., 2023a,b）。保護方法の脆弱性と模倣評価の主観性のため、統一された評価が必要であると考えている。

4.2 堅牢な模倣手法の統一的かつ厳密な評価

セクション 4.1 で示した制限に対処するために、既存の保護がさまざまな単純で自然な堅牢な模倣方法に対してどのように機能するかを確実に評価するための統一評価プロトコルを導入します。上記の番号付き制限のそれぞれに対するソリューションは次のとおりです。(1) 攻撃者は、すべての保護が有効であると主張する最も強力なオープンソース モデルである Stable Diffusion 2.1 用の一般的な「既製の」微調整スクリプトを使用します。この微調整スクリプトは、これらの保護とは独立して選択され、ブラック ボックスとして扱われます。(2) セクション 4.3 で説明する 4 つの堅牢な模倣方法を設計します。さまざまな既製のツールを組み合わせることで、専門知識の低い攻撃者にとってシンプルで使いやすいことを優先します。(3) 共通のアーティストとプロンプトのセットで、各模倣保護を各堅牢な模倣方法に対して評価するためのユーザー スタディを設計および実施します。

4.3 堅牢な模倣手法

ここでは、保護の堅牢性を評価するために設計した 4 つの堅牢な模倣方法について説明します。主に、保護された画像の前処理のみを必要とする単純な方法を優先します。これらの方法は、アクセスしやすく、技術的な専門知識を必要とせず、ブラックボックス シナリオで使用できるため (例: 微調整が API サービスとして提供される場合)、リスクが高くなります。完全性を期すために、IMPRESS (Cao et al.、2024) に触発されたホワイトボックス メソッドを 1 つ提案します。

私たちが提案する方法は、以前の研究で（少なくとも部分的に）検討されており、スタイル模倣の保護に対して効果がないことがわかっています（Shan et al., 2023a; Liang et al., 2023; Shan et al., 2023b）。しかし、セクション 4.1 で述べたように、これらの評価にはいくつかの制限がありました。そのため、これらの方法（またはそれらのわずかなバリエーション）を再評価し、以前に主張されていたよりもはるかに効果的であることを示します。

ブラックボックスの前処理方法。

✦ガウスノイズ。簡単な前処理手順として、保護された画像に少量のガウスノイズを追加します。このアプローチは、ブラックボックス拡散モデルの前に使用できます。

✦ DiffPure 。保護によって導入された摂動を除去するために、DiffPure (Nie et al., 2022) とも呼ばれる画像間モデルを使用します (付録 I.1 を参照)。この方法はブラックボックスですが、浄化器とスタイル模倣に使用されるモデルの 2 つの異なるモデルが必要です。浄化器として Stable Diffusion XL を使用します。

✦ノイズの多いアップスケーリング。Glaze (Shan et al., 2023a) で検討されている 2 段階のアップスケーリング精製のシンプルで効果的なバリエーションを紹介します。彼らの方法では、最初に JPEG 圧縮を実行し (摂動を最小限に抑えるため)、次に安定拡散アップスケーラー (Rombach et al., 2022) を使用します (品質の低下を軽減するため)。しかし、アップスケーリングによって JPEG 圧縮アーティファクトが削除されるのではなく、実際には拡大されることがわかりました。より優れた精製方法を設計するために、アップスケーラーはガウス ノイズが追加された画像でトレーニングされていることを確認しました。したがって、最初にガウス ノイズを適用し、次にアップスケーラーを適用することで、保護された画像を精製します。このノイズの多いアップスケーリング方法では、知覚できるアーティファクトは発生せず、保護が大幅に削減されます (例については図 26、詳細については付録 I.2 を参照)。

ホワイトボックス方式。

✦ IMPRESS ++。完全性を期すために、より複雑な方法がスタイル模倣の堅牢性をさらに高めることができるかどうかを評価するためのホワイトボックス手法を設計します。私たちの方法は、IMPRESS (Cao et al., 2024) に基づいていますが、異なる損失関数を採用し、さらにネガティブプロンプト (Miyake et al., 2023) とノイズ除去を適用して、サンプリング手順の堅牢性を向上させています (詳細については、付録 I.3 と図 27 を参照)。

[1] 2つの微調整スクリプトは、主にライブラリ、モデル、ハイパーパラメータの選択が異なります。私たちは標準のHuggingFaceスクリプトとStable Diffusion 2.1（Glaze論文で評価されたモデル）を使用します。