Нове дослідження показує, що ШІ тепер може імітувати стилі мистецтва точніше, ніж будь-коли

Таблиця посилань

Анотація та 1. Вступ

2. Передумови та пов’язана робота

3. Модель загрози

4. Мімікрія міцного стилю

5. Експериментальна установка

6. Результати

   6.1 Основні висновки: усі засоби захисту легко обійти

   6.2 Аналіз

7. Обговорення та ширший вплив, подяки та посилання

A. Детальні приклади мистецтва

B. Надійні покоління мімікрії

C. Детальні результати

D. Відмінності з тонким налаштуванням глазурі

E. Знахідки на глазурі 2.0

F. Висновки щодо Mist v2

G. Методи мімікрії стилю

H. Захист імітації існуючого стилю

I. Надійні методи мімікрії

J. Експериментальна установка

K. Дослідження користувача

L. Обчислювальні ресурси

4 Мімікрія надійного стилю

Ми кажемо, що метод імітації стилю надійний, якщо він може імітувати стиль художника, використовуючи лише захищений твір мистецтва. Хоча методи надійної мімікрії вже були запропоновані, ми відзначаємо низку обмежень у цих методах та їх оцінку в розділі 4.1. Потім ми пропонуємо наші власні методи (Розділ 4.3) та оцінку (Розділ 5), які враховують ці обмеження.

4.1 Обмеження попередніх надійних методів імітації та їх оцінки

(1) Деякі засоби захисту від імітації не поширюються на параметри точного налаштування . Більшість фальсифікаторів за своєю суттю є злими намірами, оскільки вони ігнорують справжні прохання художників не використовувати їхнє мистецтво для генеративного ШІ (Heikkila¨, 2022). Таким чином, успішний захист повинен протистояти спробам обходу з боку фальсифікатора з розумними ресурсами, який може випробувати різноманітні інструменти. Тим не менш, у попередніх експериментах ми виявили, що Glaze (Shan et al., 2023a) показав значно гірші результати, ніж стверджувалося в початковій оцінці, навіть до того, як активно намагалися його обійти. Після обговорення з авторами Glaze ми виявили невеликі відмінності між нашим стандартним сценарієм тонкого налаштування та сценарієм, який використовувався в початковій оцінці Glaze (яким автори поділилися з нами).[1] Ці незначні відмінності в тонкій настройці є достатніми, щоб значно погіршити захист Glaze (див. Малюнок 2 для якісних прикладів). Оскільки наш готовий сценарій точного налаштування не був розроблений для обходу захисту від імітації стилю, ці результати вже натякають на поверхневий і крихкий захист, який надають існуючі інструменти: художники не можуть контролювати сценарій тонкого налаштування або гіперпараметри, які використовував би фальсифікатор, тому захист має бути стійким до цих варіантів.

(2) Існуючі надійні спроби мімікрії є неоптимальними. Попередні оцінки засобів захисту не відображають можливості помірковано винахідливих фальсифікаторів, які використовують найсучасніші методи (навіть стандартні). Наприклад, Mist (Liang et al., 2023) порівнює очищення DiffPure, використовуючи застарілу модель очищення з низькою роздільною здатністю. Використовуючи DiffPure з новішою моделлю, ми спостерігаємо значні покращення. Glaze (Shan et al., 2023a) не порівнюється з жодною версією DiffPure, але стверджує, що забезпечує захист від Compressed Upscaling, який спочатку стискає зображення за допомогою JPEG, а потім збільшує його масштаб за допомогою спеціальної моделі. Тим не менш, ми покажемо, що, просто замінивши стиснення JPEG шумом Гауса, ми створюємо Шумове підвищення масштабу як варіант, який дуже успішно усуває захист від імітації (див. Малюнок 26 для порівняння обох методів).

(3) Існуючі оцінки є неповними. Порівняти надійність попередніх засобів захисту складно, оскільки в початкових оцінках використовуються різні набори виконавців, підказок і тонких налаштувань. Крім того, деякі оцінки покладаються на автоматизовані показники (наприклад, подібність CLIP), які є ненадійними для вимірювання мімікрії стилю (Shan et al., 2023a,b). Через крихкість методів захисту та суб’єктивність мімікрійних оцінок, ми вважаємо, що необхідна уніфікована оцінка.

4.2 Уніфікована та сувора оцінка надійних методів мімікрії

Щоб усунути обмеження, наведені в Розділі 4.1, ми представляємо уніфікований протокол оцінки, щоб надійно оцінити, наскільки існуючі засоби захисту справляються з різними простими та природними надійними методами імітації. Наші рішення для кожного з перелічених вище обмежень: (1) Зловмисник використовує популярний «готовий» сценарій тонкого налаштування для найпотужнішої моделі з відкритим кодом, для якої всі засоби захисту вважаються ефективними: Stable Diffusion 2.1. Цей сценарій тонкого налаштування вибирається незалежно від будь-якого з цих засобів захисту, і ми розглядаємо його як чорну скриньку. (2) Ми розробляємо чотири стійкі методи імітації, описані в Розділі 4.3. Ми віддаємо пріоритет простоті та зручності використання для зловмисників з низьким досвідом, поєднуючи різноманітні готові інструменти. (3) Ми розробляємо та проводимо дослідження користувачів, щоб оцінити кожен захист від імітації проти кожного надійного методу імітації на загальному наборі виконавців і підказок.

4.3 Наші надійні методи імітації

Тепер ми опишемо чотири надійні методи імітації, які ми розробили для оцінки надійності захисту. У першу чергу ми віддаємо пріоритет простим методам, які потребують лише попередньої обробки захищених зображень. Ці методи становлять більший ризик, оскільки вони більш доступні, не вимагають технічних знань і можуть використовуватися в сценаріях чорної скриньки (наприклад, якщо тонке налаштування надається як служба API). Для повноти ми пропонуємо ще один метод білого ящика, натхненний IMPRESS (Cao et al., 2024).

Ми зазначаємо, що методи, які ми пропонуємо, розглядалися (принаймні частково) у попередній роботі, яка виявила їх неефективними щодо захисту від імітації стилю (Shan та ін., 2023a; Liang та ін., 2023; Shan та ін., 2023b). ). Проте, як ми зазначали в Розділі 4.1, ці оцінки страждали від ряду обмежень. Тому ми повторно оцінюємо ці методи (або їх невеликі варіанти) і покажемо, що вони значно успішніші, ніж заявлялося раніше.

Методи попередньої обробки чорного ящика.

✦ гаусівський шум . Як простий етап попередньої обробки ми додаємо до захищених зображень невелику кількість гаусового шуму. Цей підхід можна використовувати перед будь-якою дифузійною моделлю чорного ящика.

✦ DiffPure . Ми використовуємо моделі «зображення до зображення», щоб усунути збурення, викликані захистами, які також називають DiffPure (Nie та ін., 2022) (див. Додаток I.1). Цей метод є чорним ящиком, але вимагає двох різних моделей: очищувача та моделі, що використовується для імітації стилю. Ми використовуємо Stable Diffusion XL як наш очищувач.

✦ Шумне масштабування . Ми представляємо простий і ефективний варіант двоетапного підвищення масштабу очищення, розглянутого в Glaze (Shan et al., 2023a). Їхній метод спочатку виконує стиснення JPEG (для мінімізації збурень), а потім використовує Stable Diffusion Upscaler (Rombach та ін., 2022) (для пом’якшення погіршення якості). Проте ми виявили, що масштабування фактично збільшує артефакти стиснення JPEG замість того, щоб їх усувати. Щоб розробити кращий метод очищення, ми спостерігаємо, що Upscaler навчається на зображеннях, доповнених шумом Гауса. Тому ми очищаємо захищене зображення, спочатку застосовуючи шум Гауса, а потім застосовуючи Upscaler. Цей метод шумового масштабування не створює помітних артефактів і значно знижує рівень захисту (дивіться приклад на Малюнку 26 і Додаток I.2 для деталей).

Методи білого ящика.

✦ ВРАЖАТИ ++. Для повноти ми розробляємо метод білого ящика, щоб оцінити, чи можуть більш складні методи ще більше підвищити надійність імітації стилю. Наш метод ґрунтується на IMPRESS (Cao та ін., 2024), але приймає іншу функцію втрат і додатково застосовує негативні підказки (Міяке та ін., 2023) і шумозаглушення для підвищення надійності процедури вибірки (див. Додаток I.3 та рисунок). 27 для деталей).

[1] Два сценарії тонкого налаштування в основному відрізняються вибором бібліотеки, моделі та гіперпараметрів. Ми використовуємо стандартний сценарій HuggingFace і Stable Diffusion 2.1 (модель, оцінена в статті Glaze).