Stůl vlevo Abstract and Introduction Background & Related Work 2.1 Text-to-Image Diffusion Model 2.2 Watermarking Techniques 2.3 Preliminary 2.3.1 Problem Statement 2.3.2 Assumptions 2.4 Methodology 2.4.1 Research Problem 2.4.2 Design Overview 2.4.3 Instance-level Solution 2.5 Statistical-level Solution Experimental Evaluation 3.1 Settings 3.2 Main Results 3.3 Ablation Studies 3.4 Conclusion & References 3 Experimentální hodnocení V tomto oddíle nejprve popíšeme naše experimentální postupy.Dále demonstrujeme, zda navrhovaná metoda může dosáhnout cílů stanovených v oddíle 3.1. 3.1 Nastavení Používáme Stable Diffusion [17] s kontrolními body Stable-Diffusion-v1-5 (SD-v1) [25] a Stable-Diffusion-v2-1 (SDv2) [26] jako předtříděné modely. Text-to-image models. Vybíráme dvě široce přijímané datové sady obrázků s titulky. Datasets CelebA-Dialog-HQ (CelebA) [9]: velký vizuální datový soubor s 30 000 obrazy obličeje s vysokým rozlišením o velikosti 1024×1024 vybraných z datového souboru CelebA. 2) Google's Conceptual Captions (CC3M) [20]: nová datová sada sestávající z 3,3 M obrázků anotovaných s titulky. Používáme jeho rozdělení validace, které se skládá z 15,840 párů obrázků / titulků. Na rozdíl od kurátorského stylu jiných obrázkových poznámek, obrázky Conceptual Caption a jejich popisy jsou sklízeny z webu, a proto představují širší škálu stylů. Pro výcvikové údaje pro finetuning náhodně vybíráme 3000 vzorků z každé datové sady a změřujeme je na 512×512. Finetunujeme každý předškolený model na každé datové sadě pro celkem 3000 iterací s konstantní učební rychlostí 2e-6 a velikostí dávky 2. Označujeme tyto zdrojové modely jako: SD-v1, SD-v2, SD-v1-CelebA, SD-v2-CelebA, SD-v1-CC3M, SD-v2-CC3M. Source model construction Zatímco pre-training a finetuning oba vyvolávají obavy ohledně porušení IP, finetuning má závažnější dopad. Ve srovnání s pre-trainingem je finetuning vysoce pohodlný a efektivní, což umožňuje mnoho neoprávněných použití bez omezení zdrojů. Tímto způsobem jsme vybudovali každý porušující model finetuningem na 500 tréninkových vzorech, kde je podíl ρ z nich generován zdrojovým modelem, zatímco zbytek je vzorkován z reálných dat. Suspicious model construction. Všimněte si, že naše práce je první, která řeší problém při školení přiřazení dat ve scénáři text-to-obraz, a proto neexistuje žádná přímo související práce. Baselines Tato výchozí linie vstřikuje vodoznaky do vzdělávacích dat. Konkrétněji, jak bylo navrženo v [12], kódováním jedinečného 32bitového array do obrazů generovaných zdrojovými modely, porušující modely vyškolené na takových vodoznakových datech budou také vytvářet obrazy, ve kterých může být vodoznak detekován. Základní pravidlo 1: Atribuce dat založených na vodní značce Tato základna přijímá podobnou myšlenku jako naše řešení na úrovni příkladů, ale Baseline 2: Atribuce dat založených na náhodném výběru. Nepoužívejte strategie 1 a strategie 2, které jsme navrhli pro přidělování dat. Konkrétně náhodně vybíráme vzorky školení N ze souboru školení zdrojového modelu jako vstup přidělování. Pro hodnocení přesnosti a spolehlivosti metod přiřazení používáme skóre přesnosti, plochy pod křivkou (AUC) a skóre TPR@10%FPR [2]. Evaluation Metrics. 3.2 Hlavní výsledky S ohledem na každý zdrojový model jsme vytvořili 30 porušujících modelů a vypočítali conf metriku definovanou v rovnice 9 pro každý porušující model. Zde nastavujeme velikost klíčového vzorku na N = 30. Abychom posoudili spolehlivost našeho řešení přiřazení na úrovni příkladů, hlásíme průměrnou hodnotu conf mezi 30 porušujícími modely za různých rychlostí generace ρ na obrázku 6. Porušující modely jsou jemně nastaveny s rostoucími podíly generovaných obrázků (ρ = 30%, 50%, 70%, 100% z celkového počtu 500). Effectiveness of Instance-level Attribution. Hlavní výsledek 1: Naše řešení překonává základní hodnotu 2, což prokazuje významné zvýšení důvěry v přidělení o více než 0,2 v různých hodnotách ρ. Současně naše strategie pro přidělení založená na generacích dosahuje spolehlivosti rovnocenné spolehlivosti základní hodnoty 1, přičemž minimální pokles důvěry nepřesahuje 0,1. Hlavní výsledek 2: Naše metoda přiřazení udržuje spolehlivost i v případě, že porušující model využívá malou část generovaných dat pro školení. Naše rozlišení na úrovni příkladů, které využívá strategii založenou na generaci, vykazuje důvěru v předpovědi vyšší než 0,6, a to i při nízké míře generace 30%. Pro výcvik modelu diskriminátoru v oddíle 4.4 nastavujeme n = 500, s = 10, N = 30. Vyhodnocujeme model diskriminátoru a ukazujeme metriky přesnosti, AUC a TPR@10%FPR v tabulce 1. Effectiveness of Statistical-level Attribution Hlavní výsledek 3: Výsledky v tabulce 1 ukazují, že naše přiřazení dosahuje vysoké přesnosti a výkonu AUC, kde přesnost přesahuje 85%, a AUC je vyšší než 0,8 pro přiřazení porušujících modelů k různým zdrojovým modelům. Přesnost a AUC jsou průměrné případové metriky měřící, jak často metoda přiřazení správně předpovídá porušení, zatímco přiřazení s vysokým FPR nelze považovat za spolehlivé. Proto používáme metriku TPR@10%FPR k vyhodnocení spolehlivosti přiřazení na statistické úrovni. Nejvyšší pravý sloupec tabulky 1 ukazuje, že TPR je vyšší než 0,7 při nízkém FPR 10%. To znamená, že naše přiřazení 3.3 Ablační studie δ0. pro určení optimální hodnoty δ0 pro přiřazení na úrovni případu vypočítáme hodnoty vzdálenosti rekonstrukce pomocí 30 klíčových vzorků na porušujícím modelu s ρ = 1 a nevinného modelu s ρ = 0. Nevinný model je vyrovnán na předem vyškoleném modelu SD-v2. Tabulka 2 porovnává rozložení vzdálenosti rekonstrukce mezi podezřelými modely na základě různých zdrojových modelů. Sloupce 4-8 ukazují procento vzorků v určitém rozsahu vzdálenosti rekonstrukce pro každý případ, zatímco poslední 2 sloupce představují průměrnou a nejlepší vzdálenost rekonstrukce mezi všemi vzorky. Effect of hyper-parameter rozdíly mezi distribucemi nevinného modelu a porušujícího modelu, tím jednodušší je najít δ0 pro přičítání. Pro nevinný model, rekonstrukční vzdálenost velkého podílu vzorků (velký jako 73,9%) spadá do rozmezí [0,15,0,2], zatímco pouze 4,3% vzorků mají rekonstrukční vzdálenost menší než 0,15. Pro porušující model, tam jsou asi 20% vzorků mají rekonstrukční vzdálenost menší než 0,1. Ve většině případů (5 ze 6 porušujících modelů), více než 40% vzorků mají rekonstrukční vzdálenost v rozmezí [0,1,0,15). To naznačuje, že δ0 = 0,15 je významnou hranicí pro rozlišení nevinných modelů a porušujících modelů bez ohledu na zdrojové modely. Po nastavení v tabulce 2 dále zkoumáme dopad N na přiřazení na úrovni případu, kde se N pohybuje od 20 do 100 na obrázku 7. Osa y odkazuje na průměrnou hodnotu conf na vzorcích klíčů N prostřednictvím rovnice 6, kde conf představuje důvěru přiřazení k identifikaci porušujících modelů. Každá podobrázek na obrázku 7 představuje porušující model s odpovídajícím zdrojovým modelem uvedeným v titulku. Čím vyšší je důvěra, tím spolehlivější je řešení přiřazení. Teoreticky zvyšující se N zlepšuje spolehlivost ověření, ale vyžaduje více dotazů k podezřelému modelu. Konkrétně N = 100 dosahuje nejvyššího stupně důvěry, přibližně Effect of key sample size 𝑁. 3.4 Závěry Tato práce se zabývá klíčovým problémem přiřazování vzdělávacích dat, přičemž zkoumá, zda podezřelý model porušuje duševní vlastnictví obchodního modelu pomocí jeho generovaných dat bez oprávnění. Naše navrhované řešení přiřazování umožňuje identifikovat zdrojový model, ze kterého pocházejí vzdělávací údaje podezřelého modelu. Důvodem naší metody je využití inherentní paměťové vlastnosti vzdělávacích datových souborů, které budou předány prostřednictvím generovaných dat a uchovávány v rámci modelů vycvičených na takových datech. Vytvořili jsme algoritmy pro detekci odlišných vzorků, které vykazují idiosynkratické chování jak v zdrojových, tak v podezřelých modelech, a Reference [1] Yossi Adi, Carsten Baum, Moustapha Cissé, Benny Pinkas a Joseph Keshet. 2018. Přeměna své slabosti na sílu: Vodotěsné hluboké nervové sítě backdooringem. [2] Nicholas Carlini, Steve Chien, Milad Nasr, Shuang Song, Andreas Terzis a Florian Tramer. 2022 Útoky na členství vycházejí z prvních zásad. V procentech IEEE S&P. [3] Nicholas Carlini, Jamie Hayes, Milad Nasr, Matthew Jagielski, Vikash Sehwag, Florian Tramèr, Borja Balle, Daphne Ippolito a Eric Wallace. 2023. Extrahování vzdělávacích dat z difuzních modelů. V procentech z USENIX Security. [4] Weixin Chen, Dawn Song a Bo Li. 2023 TrojDiff: Trojanské útoky na modely šíření s různými cíli. [5] Sheng-Yen Chou, Pin-Yu Chen, a Tsung-Yi Ho. 2023 Jak se modely zpětných dveří? [6] Ge Han, Ahmed Salem, Zheng Li, Shanqing Guo, Michael Backes a Yang Zhang. 2024. detekce a přidělení modelů vyškolených na generovaných datech. [7] ImagenAI. [n. d.]. https://imagen-ai.com/podmínky použití [8] Hengrui Jia, Christopher A Choquette-Choo, Varun Chandrasekaran, a Nicolas Papernot. 2021. Rozdělené vodní značky jako obrana proti extrakci modelů. [9] Yuming Jiang, Ziqi Huang, Xingang Pan, Chen Change Loy a Ziwei Liu. 2021. Talk-to-Edit: Fine-Grained Facial Editing via Dialog. [10] Zongjie Li, Chaozheng Wang, Shuai Wang a Cuiyun Gao. 2023. Ochrana duševního vlastnictví API pro generování kódu založených na velkých jazycích prostřednictvím vodoznaků. [11] Yugeng Liu, Zheng Li, Michael Backes, Yun Shen a Yang Zhang. 2023. vodoznakový difúzní model. arXiv preprint arXiv:2305.12502 (2023). [12] Ge Luo, Junqiang Huang, Manman Zhang, Zhenxing Qian, Sheng Li a Xinpeng Zhang. 2023. Krádež mých uměleckých děl pro jemné nastavení? rámec vodoznaku pro detekci krádeže umění v textových modelech. arXiv preprint arXiv:2311.13619 (2023). [13] Peizhuo Lv, Hualong Ma, Kai Chen, Jiachen Zhou, Shengzhi Zhang, Ruigang Liang, Shenchen Zhu, Pan Li a Yingjun Zhang. 2024. [14] MidJourney. [n. d.]. https://docs.midjourney.com/docs/terms-of-service [15] Ed Pizzi, Sreya Dutta Roy, Sugosh Nagavara Ravindra, Priya Goyal a Matthijs Douze. 2022. Self-supervised Descriptor for Image Copy Detection. V procentech IEEE/CVF CVPR. [16] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu a Mark Chen. 2022. hierarchická textově podmíněná tvorba obrazu s latenty CLIP. arXiv preprint arXiv:2204.06125 (2022). [17] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser a Björn Ommer. 2022. syntéza obrazu s vysokým rozlišením pomocí modelů latentní difúze. [18] Olaf Ronneberger, Philipp Fischer a Thomas Brox. 2015 U-net: Konvoluční sítě pro segmentaci biomedicínských obrazů. [19] Zeyang Sha, Xinlei He, Ning Yu, Michael Backes, a Yang Zhang. 2023. Nemůže krást? proti-krást! Kontrastní krádež útoky proti kódování obrazu. V procentech IEEE CVPR. [20] Piyush Sharma, Nan Ding, Sebastian Goodman, a Radu Soricut. 2018. Koncepční titulky: Vyčištěný, Hypernymed, Image Alt-text Dataset pro automatické snímání obrázků. V procentu ACL. [21] Reza Shokri, Marco Stronati, Congzheng Song a Vitaly Shmatikov. 2017. Útoky členství na modely strojového učení. V roce 2017 IEEE sympozium o bezpečnosti a soukromí (SP). IEEE, 3–18. [22] Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping a Tom Goldstein. 2023. Difuzní umění nebo digitální padělání? Vyšetřování replikace dat v difuzních modelech. V procentech IEEE CVPR. [23] Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping a Tom Goldstein. 2023. [24] Lukas Struppek, Dominik Hintersdorf a Kristian Kersting. 2022. „Rickrolling the Artist: Injecting Invisible Backdoors into Text-Guided Image Generation Models“. arXiv preprint arXiv:2211.02408 (2022). [25] Stable-Diffusion v1 5. [n. d.]. https://huggingface.co/runwayml/stable-diffusionv1-5 [26] Stable-Diffusion v2 1. [n. d.]. https://huggingface.co/stabilityai/stable-diffusion2-1 [27] Yixin Wu, Rui Wen, Michael Backes, Ning Yu a Yang Zhang. 2022 Model Krádež útoků proti vizionářským jazykovým modelům. [28] Yunqing Zhao, Tianyu Pang, Chao Du, Xiao Yang, Ngai-Man Cheung a Min Lin. 2023. recept na vodoznakové difúzní modely. arXiv preprint arXiv:2303.10137 (2023). Autoři : 1) Likun Zhang 2) Hao Wu 3) Lingcui Zhangová 4) Fengyuan Xu 5) Jin Cao 6) Fenghua Li (7) Ben Niu . Authors: 1) Likun Zhang 2) Hao Wu 3) Lingcui Zhangová 4) Fengyuan Xu 5) Jin Cao 6) Fenghua Li (7) Ben Niu . Tento dokument je k dispozici v archivu pod licencí CC BY 4.0. Tento papír je Pod licencí CC BY 4.0. available on arxiv Dostupné v archivu
