Автори : 1) Лікун Чжан; 2) Ой Ой Уй; 3) Лінгцюй Чжан; 4) Фенгюань Сюй; 5) Джин Чан; 6) Фенгхуа Лі (7) Бен Ніу Authors: 1) Лікун Чжан; 2) Ой Ой Уй; 3) Лінгцюй Чжан; 4) Фенгюань Сюй; 5) Джин Чан; 6) Фенгхуа Лі (7) Бен Ніу Лівий стіл Abstract and Introduction Background & Related Work 2.1 Text-to-Image Diffusion Model 2.2 Watermarking Techniques 2.3 Preliminary 2.3.1 [Problem Statement](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.3.2 [Assumptions](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4 Methodology 2.4.1 [Research Problem](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.2 [Design Overview](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.3 [Instance-level Solution](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.5 Statistical-level Solution Experimental Evaluation 3.1 Settings 3.2 Main Results 3.3 Ablation Studies 3.4 Conclusion & References абстрактні Зокрема, опонент може використовувати дані, створені комерційною моделлю, щоб тренувати їх самостійно без належного дозволу. Щоб вирішити такий ризик, важливо дослідити присвоєння даних підготовки підозрілої моделі, визначивши, чи її навчальні дані походять повністю або частково з конкретної джерельної моделі. Щоб відслідковувати генеровані дані, наші існуючі методи вимагають застосування додаткових водяних знаків під час підготовки або фаз висновку джерельної моделі. Однак, ці методи є непрактичними для попередньо підготовлених моделей, які були випущені, особливо коли власникам моделей не вистачає досвіду в галузі безпеки. Щоб вирішити цей виклик, ми пропонуємо ін'єкційне присвоєння даних навчання для конкретних моделей, які Likun Zhang, Hao Wu, Lingcui Zhang, Fengyuan Xu, Jin Cao, Fenghua Li, Ben Niu. 2024. Дані про навчання Призначення: Ваша модель таємно навчалася на даних, створених мною?. В . ACM, Нью-Йорк, Нью-Йорк, США, 9 сторінок. https://doi.org/10.1145/nnnnnnnnn.nnnnnnnnn ACM Reference Format: 1 Введення Системи генерації тексту до зображення, засновані на моделях розповсюдження, стали популярними інструментами для створення цифрових зображень та художніх творів [16, 17]. З огляду на швидкий вхід на природній мові, ці генеративні системи можуть синтезувати цифрові зображення високої естетичної якості. Проте, навчання цих моделей є досить інтенсивним завданням, що вимагає значних обсягів даних і навчальних ресурсів. Вони роблять такі моделі цінними інтелектуальними властивостями для власників моделей, навіть якщо структури моделей зазвичай є публічними. Однією з значних проблем для таких моделей є несанкціоноване використання їх генерованих даних [10]. Як показано на малюнку 1, нападник може потенційно запитувати комерційну модель і збирати дані, генеровані моделлю, а потім використовувати генеровані дані, щоб навчити свою персоналізовану модель. Ця атака вже викликала тривогу серед розробників комерційних моделей. Деякі провідні компанії, наприклад, MidJourney [14] і ImagenAI [7], явно заявили у своїх умовах користувача, що такі практики не дозволяються, як показано на малюнку 2. Щоб вирішити завдання, можна подумати про використання методів водяного маркування для виконання завдання. Існуючі методи водяного маркування зазвичай можна розділити на два типи: один включає вбудовування водяних знаків у дані навчання під час фази моделювання [11, 12, 28], а інший додає водяні знаки до вихідних моделей після навчання [10], таким чином, що генерувані дані містять відстежувані характеристики водяних знаків. Однак, є дві проблеми, існуючі роботи не повністю вирішуються. По-перше, стосовно можливості, залишається не вивченим, чи може джерельна модель, коли водяний знак, успішно передати свій водяний знак до підозрілої моделі через генерувані дані. По-друге, стосовно придатності, методи водя У цій статті наша мета полягає в тому, щоб виявити показники, які природно вбудовані в джерельну модель, які можуть бути передані будь-якій моделі, навченій на даних, вироблених джерельною моделлю. Ці властиві водяні знаки можуть розкрити зв'язок між джерелом і підозрілими моделями.На відміну від штучно вбудованих водяних знаків, ці властиві показники не вимагають модифікацій до алгоритму навчання моделі або вихідів. Принцип нашого підходу випливає з феномена запам'ятовування, вираженого моделями генерації тексту-зображення. Запам'ятовування означає здатність моделі запам'ятовувати і відтворювати зображення певних тренувальних зразків, коли модель підштовхується відповідними текстами під час висновку [23]. Дослідження показали, що таке запам'ятовування у генеративних моделях не випадкове. Хоча і перспективне, застосування феномену запам'ятовування для досягнення нашої мети не є простим. Навіть якщо нам вдасться успішно провести підготовку до вилучення даних з підозрілої моделі, як запропоновано в [3], інформація, яку ми отримуємо, це дані, що генеруються джерельною моделлю. Враховуючи, що простір генерації джерельної моделі великий, стає складно перевірити, чи були вилучені дані створені джерельною моделлю. У цій статті ми пропонуємо практичний метод без ін’єкцій даних, щоб з’ясувати, чи була підозріла модель підготовлена з використанням даних, що генеруються певною джерельною моделлю. Наш підхід розглядає як характеристики поведінки на рівні інстанцій, так і статистичні характеристики джерельної моделі, які обробляються як частина властивих показників для відстеження отриманих даних проти несанкціонованого використання. Зокрема, на рівні інстанцій ми розробляємо дві стратегії для вибору набору набору ключових зразків (у вигляді тексту і пар зображень) у рамках даних навчання джерельної моделі. Цей набір вибирається для максимізації явища запам’ятовування. Ми потім використовуємо тексти в цих зразках для запиту на підозрілу модель за мініма Експериментальні результати показують, що наше рішення для атрибуції на рівні інстанцій надійно виявляє модель, що порушує положення, з високою довірою понад 0,8. Навіть коли модель, що порушує положення, використовує лише невелику частку, наприклад, 30% генеруваних даних, довіра до атрибуції перевищує 0,6, нарівні з існуючим методом атрибуції на основі водяного знака. Our main contributions are summarized as: Зосереджуючись на проблемі порушення термінів користувача, викликаного зловживанням створеними даними з попередньо навчених моделей тексту-до-зображення, ми формулюємо проблему як присвоєння даних навчання в реалістичному сценарії. Ми пропонуємо два нових рішення без ін’єкції, щоб приписати дані навчання підозрілої моделі до джерельної моделі як на рівні інстанцій, так і на статистичному рівні. Результати показують, що його продуктивність нарівні з існуючим підходом до атрибуції на основі водяних знаків, де водяні знаки вводяться до розгортання моделі. Решта статті організована наступним чином. Ми вводимо основні знання та пов'язані з ними роботи в Розділі 2. Розділ 3 описує попередні та наші припущення. Потім Розділ 4 детально представляє наше дослідницьке питання та підхід до атрибуції. Результати експериментальної оцінки повідомляються в Розділі 5. Цей документ доступний під ліцензією CC BY 4.0. Цей документ доступний під ліцензією CC BY 4.0.
