Autoři : 1) Likun Zhang 2) Hao Wu 3) Lingcui Zhangová 4) Fengyuan Xu 5) Jin Cao 6) Fenghua Li (7) Ben Niu . Authors: 1) Likun Zhang 2) Hao Wu 3) Lingcui Zhangová 4) Fengyuan Xu 5) Jin Cao 6) Fenghua Li (7) Ben Niu . Stůl vlevo Abstract and Introduction Background & Related Work 2.1 Text-to-Image Diffusion Model 2.2 Watermarking Techniques 2.3 Preliminary 2.3.1 [Problem Statement](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.3.2 [Assumptions](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4 Methodology 2.4.1 [Research Problem](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.2 [Design Overview](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.3 [Instance-level Solution](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.5 Statistical-level Solution Experimental Evaluation 3.1 Settings 3.2 Main Results 3.3 Ablation Studies 3.4 Conclusion & References Abstraktní Způsob ověřování datových modelů text-to-image v poslední době vyvolal značný zájem, ale účastník je experimentálním stínem potenciálního porušení tím, že porušuje uživatelské podmínky. Konkrétně může soupeř využívat data vytvořená komerčním modelem k výcviku své vlastní bez řádného oprávnění. Chcete-li řešit toto riziko, je důležité vyšetřit přiřazení vzdělávacích dat podezřelého modelu tím, že určí, zda jeho vzdělávací data pocházejí zcela nebo částečně z konkrétního zdroje. Chceme-li vyřešit tuto výzvu, navrhujeme přidělování dat bez injekce pro konkrétní text-to-image metody. Existující metody vyžadují použití dodatečných vodoznaků během výcv Likun Zhang, Hao Wu, Lingcui Zhang, Fengyuan Xu, Jin Cao, Fenghua Li, Ben Niu. 2024. Training Data Attribution: Byl váš model tajně trénován na datech vytvořených mnou?. V . ACM, New York, NY, USA, 9 stránek. https://doi.org/10.1145/nnnnnnnnn.nnnnnnnnn ACM Reference Format: 1 Úvod Systémy generování textu k obrazu založené na difúzních modelech se staly populárními nástroji pro vytváření digitálních obrazů a uměleckých výtvorů [16, 17]. Vzhledem k rychlému vstupu v přirozeném jazyce mohou tyto generativní systémy syntetizovat digitální obrazy vysoké estetické kvality. Nicméně, školení těchto modelů je poměrně intenzivní úkol, vyžadující značné množství dat a vzdělávacích zdrojů. Dělají z těchto modelů cenné intelektuální vlastnosti pro majitele modelů, i když jsou struktury modelů obvykle veřejné. Jedním z významných problémů takových modelů je neoprávněné používání jejich generovaných dat [10]. Jak je znázorněno na obrázku 1, útočník by mohl potenciálně dotazovat komerční model a shromažďovat data generovaná modelem, pak použít generovaná data k výcviku jejich personalizovaného modelu. Tento útok již vyvolal poplach mezi vývojáři komerčních modelů. Některé přední společnosti, např. MidJourney [14] a ImagenAI [7], výslovně uvedly ve svých uživatelských podmínkách, že takové praktiky nejsou povoleny, jak je znázorněno na obrázku 2. Existující vodoznakové metody lze obecně rozdělit do dvou typů: jeden zahrnuje vkládání vodoznaků do vzdělávacích dat během fáze výcviku modelu [11, 12, 28], a druhý přidává vodoznaky k modelovým výstupům po výcviku [10], takže generované údaje obsahují charakteristiky vodoznaků, které lze sledovat. Nicméně existují dvě otázky, které stávající práce neřeší v plném rozsahu. Za prvé, pokud jde o proveditelnost, zůstává neprozkoumané, zda zdrojový model, jakmile je vodoznak označen, může úspěšně přenést svůj vodoznak na podezřelý model prostřednictvím generovaných dat. Za druhé, pokud jde o použitelnost, techniky vodoznaků by mohly ovlivnit kval V tomto článku je naším cílem odhalit ukazatele přirozeně vložené do zdrojového modelu, které mohou být převedeny na jakýkoli model vyškolený na základě dat vytvořených zdrojovým modelem. Tyto inherentní vodní značky mohou odhalit vztah mezi zdrojem a podezřelými modely. Na rozdíl od uměle vstřikovaných vodních značek tyto inherentní ukazatele nevyžadují změny v algoritmu školení modelu nebo výstupů. Paměťování znamená schopnost modelu pamatovat si a reprodukovat obrazy určitých tréninkových vzorků, když je model podněcován odpovídajícími texty během závěru [23]. Výzkum ukázal, že taková paměťování v generativních modelech není příležitostná. Ačkoli je to slibné, aplikovat fenomén zapamatování k dosažení našeho cíle není jednoduché. Dokonce i když se nám podaří úspěšně provést výcvikovou extrakci dat na podezřelém modelu, jak je navrženo v [3], informace, které získáme, jsou data generovaná zdrojovým modelem. Vzhledem k tomu, že prostor pro generování zdrojového modelu je obrovský, je obtížné ověřit, zda extrahovaná data byla generována zdrojovým modelem. V tomto článku navrhujeme praktickou metodu bez injekce pro zjištění, zda byl podezřelý model trénován pomocí dat generovaných určitým zdrojovým modelem. Náš přístup zohledňuje jak instance-level, tak statistické charakteristiky chování zdrojového modelu, které jsou zpracovávány jako součást inherentních ukazatelů pro sledování jeho generovaných dat proti neoprávněnému použití. Zejména na úrovni instance navrhujeme dvě strategie pro výběr souboru klíčových vzorků (ve formě textových a obrazových párů) v rámci vzdělávacích dat zdrojového modelu. Tato sada je vybrána tak, aby se maximalizoval fenomén zapamatování. Pak používáme texty v těchto vzorcích k dotazu na podezřelý model za minimální náklady, vyhodnocení vztahu mezi oběma Experimentální výsledky ukazují, že naše řešení přiřazení na úrovni příkladů je spolehlivé při identifikaci porušujícího modelu s vysokou spolehlivostí nad 0,8. Dokonce i když porušující model používá pouze malý podíl jako 30% generovaných dat, důvěra přiřazení je nad 0,6, stejně jako stávající metoda přiřazení založená na vodoznaku. Our main contributions are summarized as: Zaměřujeme se na problematiku porušení uživatelských termínů způsobených zneužitím generovaných dat z předem vyškolených modelů text-to-image, formulujeme problém jako školení přiřazení dat v realistickém scénáři. Navrhujeme dvě nová řešení bez injekce pro přiřazení vzdělávacích dat podezřelého modelu ke zdrojovému modelu jak na úrovni instance, tak na statistické úrovni.Tyto metody mohou účinně a spolehlivě identifikovat, zda byl podezřelý model trénován na údajích generovaných zdrojovým modelem. Výsledky ukazují, že jeho výkon je na stejné úrovni s existujícím přístupem přiřazování vodoznaků, kde se před nasazením modelu injektují vodoznaky. Zbytek papíru je uspořádán následujícím způsobem. Představíme pozadí znalosti a související práce v oddíle 2. oddíl 3 popisuje předběžné a naše předpoklady. pak oddíl 4 představuje naši výzkumnou otázku a přístup přiřazení v detailu. výsledky experimentálního hodnocení jsou hlášeny v oddíle 5. Tento dokument je k dispozici v archivu pod licencí CC BY 4.0. Tento dokument je k dispozici v archivu pod licencí CC BY 4.0.
