链接表 摘要和 1. 引言 背景和相关工作 威胁模型 稳健风格模仿 实验设置 结果 6.1 主要发现：所有保护措施都很容易被规避 6.2 分析 讨论和更广泛的影响、致谢和参考文献 A. 详细艺术实例 B. 稳健的模仿世代 C. 详细结果 D. 与釉料微调的区别 E. 关于 Glaze 2.0 的发现 F. 关于 Mist v2 的发现 G. 风格模仿的方法 H. 现有的风格模仿保护 一、稳健的模仿方法 J. 实验装置 K. 用户研究 L. 计算资源 4 稳健的风格模仿 如果一种风格模仿方法仅使用受保护的艺术品就能模仿艺术家的风格，我们就说这种方法是稳健的。虽然已经提出了稳健模仿的方法，但我们在第 4.1 节中指出了这些方法及其评估的一些局限性。然后，我们提出了自己的方法（第 4.3 节）和评估（第 5 节），以解决这些局限性。  4.1 先前稳健模仿方法及其评估的局限性 。大多数伪造者本质上都是心怀不轨的，因为他们无视艺术家们不要将自己的作品用于生成式人工智能的真诚请求 (Heikkila¨, 2022)。因此，成功的保护措施必须能够抵御资源充足的伪造者的规避尝试，伪造者可能会尝试各种工具。然而，在初步实验中，我们发现 Glaze (Shan et al., 2023a) 的表现明显比原始评估中声称的要差，甚至在主动尝试规避它之前也是如此。在与 Glaze 的作者讨论后，我们发现现成的微调脚本与 Glaze 原始评估中使用的脚本（作者与我们分享了该脚本）之间存在细微差异。[1] 这些细微的微调差异足以显著降低 Glaze 的保护效果（参见图 2 中的定性示例）。由于我们现成的微调脚本并非旨在绕过风格模仿保护，这些结果已经暗示了现有工具提供的保护是肤浅而脆弱的：艺术家无法控制伪造者将使用的微调脚本或超参数，因此保护必须在这些选择上具有稳健性。 (1) 一些模仿保护措施并不适用于各种微调设置   先前对保护措施的评估未能反映出中等资源的伪造者的能力，他们采用最先进的方法（甚至是现成的方法）。例如，Mist（Liang 等人，2023 年）使用过时且低分辨率的净化模型对 DiffPure 净化进行评估。使用 DiffPure 和较新的模型，我们观察到了显著的改进。Glaze（Shan 等人，2023a）没有针对任何版本的 DiffPure 进行评估，但声称可以防止压缩升级，压缩升级首先使用 JPEG 压缩图像，然后使用专用模型对其进行升级。然而，我们将展示，只需将 JPEG 压缩与高斯噪声交换，我们就可以创建噪声升级作为一种非常成功地消除模仿保护的变体（参见图 26 以了解两种方法的比较）。 (2) 现有的稳健模仿尝试并非最优。   比较先前保护措施的稳健性具有挑战性，因为原始评估使用了不同的艺术家、提示和微调设置。此外，一些评估依赖于自动化指标（例如 CLIP 相似性），而这些指标对于衡量风格模仿并不可靠（Shan 等人，2023a、b）。由于保护方法的脆弱性和模仿评估的主观性，我们认为需要统一的评估。 （3）现有评估不全面。  4.2 对稳健拟态方法的统一、严格评估 为了解决第 4.1 节中提出的限制，我们引入了一个统一的评估协议，以可靠地评估现有保护措施对各种简单、自然的稳健模仿方法的效果。我们对上述每个编号限制的解决方案是：（1）攻击者使用流行的“现成的”微调脚本，针对所有保护措施都声称有效的最强开源模型：稳定扩散 2.1。这个微调脚本是独立于任何这些保护措施选择的，我们将其视为黑匣子。（2）我们设计了四种强大的模仿方法，如第 4.3 节所述。我们通过组合各种现成的工具，优先考虑简单性和易用性，以满足低专业知识攻击者的需要。（3）我们设计并开展用户研究，以在常见的艺术家和提示上评估每种模仿保护措施对每种稳健模仿方法的效果。  4.3 我们稳健的模仿方法 我们现在描述我们设计的四种稳健的模仿方法，用于评估保护的稳健性。我们主要优先考虑只需要预处理受保护图像的简单方法。这些方法具有更高的风险，因为它们更容易获得，不需要技术专业知识，并且可以在黑盒场景中使用（例如，如果微调作为 API 服务提供）。为了完整起见，我们进一步提出了一种白盒方法，灵感来自 IMPRESS（Cao 等人，2024 年）。 我们注意到，我们提出的方法在先前的研究中已被考虑过（至少部分），这些研究发现它们对风格模仿保护无效（Shan 等人，2023a；Liang 等人，2023；Shan 等人，2023b）。然而，正如我们在第 4.1 节中指出的那样，这些评估存在许多局限性。因此，我们重新评估了这些方法（或其略微的变体），并将表明它们比之前声称的要成功得多。 黑盒预处理方法。  ✦ 。作为一个简单的预处理步骤，我们向受保护的图像添加少量高斯噪声。这种方法可以在任何黑盒扩散模型之前使用。 高斯噪声  ✦   。我们使用图像到图像模型来消除保护措施引入的扰动，也称为 DiffPure (Nie 等人，2022)（参见附录 I.1）。这种方法是黑盒的，但需要两个不同的模型：净化器和用于风格模仿的模型。我们使用 Stable Diffusion XL 作为净化器。 DiffPure  ✦ 。我们引入了 Glaze 中考虑的两阶段放大净化的简单有效变体（Shan 等人，2023a）。他们的方法首先执行 JPEG 压缩（以最小化扰动），然后使用稳定扩散放大器（Rombach 等人，2022）（以减轻质量下降）。然而，我们发现放大实际上会放大 JPEG 压缩伪影而不是消除它们。为了设计更好的净化方法，我们观察到放大器是在增强了高斯噪声的图像上进行训练的。因此，我们通过首先应用高斯噪声然后应用放大器来净化受保护的图像。这种噪声放大方法不会引入可察觉的伪影，并显着降低保护（有关示例，请参见图 26 和附录 I.2 了解详情）。 噪声放大 白盒方法。  ✦   ++。为了完整起见，我们设计了一个白盒方法来评估更复杂的方法是否可以进一步增强风格模仿的稳健性。我们的方法以 IMPRESS（Cao 等人，2024 年）为基础，但采用了不同的损失函数，并进一步应用了负面提示（Miyake 等人，2023 年）和去噪来提高采样程序的稳健性（详情见附录 I.3 和图 27）。 IMPRESS 作者：  (1) Robert Honig，苏黎世联邦理工学院 (robert.hoenig@inf.ethz.ch)；  (2) 哈维尔·兰多 (Javier Rando)，苏黎世联邦理工学院 (javier.rando@inf.ethz.ch)；  （3）尼古拉斯·卡利尼（Nicholas Carlini），谷歌DeepMind；  (4) Florian Tramer，苏黎世联邦理工学院 (florian.tramer@inf.ethz.ch)。 本文 根据 CC BY 4.0 许可。 可在 arxiv 上查看  [1] 两个微调脚本主要在库、模型和超参数的选择上有所不同。我们使用标准的 HuggingFace 脚本和 Stable Diffusion 2.1（Glaze 论文中评估的模型）。

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

Exploring the legal landscape of the digital age. Read my articles to understand the why behind the what.

Torts's blog

該音頻是用故事的原始語言製作的！

新研究表明，人工智能现在可以比以往更准确地模仿艺术风格

About Author

註釋

標籤

这篇文章刊登在

Related Stories

如何将您的工作流程提高 10 倍：17 个必备应用程序

扬帆起航：利用数据湖开发生产级 RAG 应用程序

Claude Sonnet 3.5 系统提示泄漏：法医分析

看不见的层面：为什么用户访谈是不可替代的资产

如何将您的工作流程提高 10 倍：17 个必备应用程序

扬帆起航：利用数据湖开发生产级 RAG 应用程序

Claude Sonnet 3.5 系统提示泄漏：法医分析

看不见的层面：为什么用户访谈是不可替代的资产

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps