Tables nan Lès Abstract and Introduction Background & Related Work 2.1 Text-to-Image Diffusion Model 2.2 Watermarking Techniques 2.3 Preliminary 2.3.1 Problem Statement 2.3.2 Assumptions 2.4 Methodology 2.4.1 Research Problem 2.4.2 Design Overview 2.4.3 Instance-level Solution 2.5 Statistical-level Solution Experimental Evaluation 3.1 Settings 3.2 Main Results 3.3 Ablation Studies 3.4 Conclusion & References 3 Evalyasyon Eksperyans Nan seksyon sa a, nou pral premye desine pwosesis eksperyans nou yo. Lè sa a, nou demontre si metòd la pwopoze ka reyalize objektif yo identifye nan seksyon 3.1. Finalman, nou konplete yon etid ablasyon ak diskite estrateji pou chwazi optimum hyperparamètres. 3.1 Konfigirasyon Nou itilize Stable Diffusion [17] ak Stable-Diffusion-v1-5 (SD-v1) [25] ak Stable-Diffusion-v2-1 (SDv2) [26] pwen tcheke kòm modèl yo pre-traved. Text-to-image models. Nou chwazi de jenerasyon lajman adopte nan dwat-imaj done. Datasets CelebA-Dialog-HQ (CelebA) [9]: yon gwo-scale dataset vizyèl-language ak 30,000 gwo-rezolisyon imaj figi ak gwosè a nan 1024×1024 chwazi soti nan CelebA dataset la. Ansanm ak chak imaj, gen yon sous ki deskripsyon senk atribit nan granmoun fin ki gen ladan Bangs, Eyeglasses, Beard, Smiling, ak laj. 2) Google's Conceptual Captions (CC3M) [20]: yon nouvo dataset ki konsiste de 3.3M imaj anotasyon ak captions. Nou sèvi ak divizyon validasyon li yo ki konsiste de 15,840 pafè imaj / caption. An kontrè ak estil la koure nan lòt imaj anotasyon sous, imaj Caption Conceptual ak deskripsyon yo yo te fè soti nan entènèt la, ak se konsa reprezante yon varyete pi lajè nan style. . Nou konstrue modèl lan prensipal la pa dirèkteman lè l sèvi avèk pre-traved oswa konsènan finetuning yo sou dataset yo anvan an. Pou done fòmasyon pou finetuning, nou aleksyon sele 3000 echantiyon soti nan chak dataset ak redimansyon yo nan 512×512. Nou finetune chak modèl pre-traved sou chak dataset pou yon total de 3000 iterasyon ak yon vitès konstan nan 2e-6 ak gwosè batch nan 2. Nou denote modèl sa yo sous kòm: SD-v1, SD-v2, SD-v1-CelebA, SD-v2-CelebA, SD-v1-CC3M, SD-v2-CC3M. Source model construction Pandan ke pre-trenman ak finetuning tou de rele pwoblèm sou enfliyans IP, finetuning gen yon enpak pi grav. Konpare ak pre-trenman, finetuning se trè pratik ak efikas, pèmèt anpil itilizasyon ki pa otorize san yo pa anpil restriksyon resous. Se poutèt sa, nou bati chak modèl enfliyans pa finetuning yon modèl pre-trenman sou 500 echantiyon fòmasyon, kote yon pousantaj ρ nan yo se pwodwi pa yon modèl sous, pandan y ap restan yo echantiyon soti nan done reyèl yo. Nou swiv tiyo a pi wo a yo bati modèl yo enkyetid pa mete ρ = 0. Suspicious model construction. Remake ke travay nou an se premye yo rezoud pwoblèm la nan atribisyon done fòmasyon nan senaryo a tèks-a-imaj, ak se konsa, pa gen okenn travay ki dirèkteman ki gen rapò. Se poutèt sa, nou te devlope de metòd yo konplèksman demontre efikasite nou an. Baselines . Baseline sa a enjecte watermarks nan done fòmasyon yo. Anplis de sa, kòm te pwopoze nan [12], pa kodaj yon matris inik 32-bit nan imaj yo ki te kreye pa modèl la sous, modèl la enfliyans fòmasyon sou done sa yo watermarked pral tou pwodwi imaj ki nan ki watermark la ka detekte. Nou kwè ke metòd la ki baze sou watermark-injection montre pi bon kapasite atribisyon. Baseline 1: Atribisyon done ki baze sou Watermark Baseline sa a adopte lide a menm jan ak nan solisyon instance-nivo nou an, men Baseline 2: Atribisyon done ki baze sou seleksyon alantou. pa sèvi ak estrateji 1 ak estrateji 2 nou te pwopoze pou atribisyon done. Espesifikman, nou selekte echantiyon N fòmasyon soti nan seri done fòmasyon modèl la sous kòm envantè atribisyon. Sa a sèvi kòm yon baz pou demontre yon atribisyon senp. Nou itilize Accuracy, Area Under Curve (AUC) pousantaj, ak TPR@10%FPR [2] pou evalye akòzite a ak konfidansyalite nan metòd yo atribisyon. TPR@10%FPR mete pousantaj la reyèl-pozitif (TPR) nan yon ba pousantaj false-pozitif (FPR). Evaluation Metrics. 3.2 Rezilta prensipal Nan sa a, nou mete gwosè echantiyon kle nan N = 30. Pou evalye fiabilite a nan solisyon atribisyon nivo instans nou an, nou rapòte valè an mwayen nan conf nan mitan 30 modèl enfekte anba diferan frekans jenerasyon ρ nan Figi 6. Modèl yo enfekte yo fini ak pousantaj ogmante nan imaj yo te kreye (ρ = 30%, 50%, 70%, 100% soti nan total 500). Y-aks nan Figi 6 refere a valè konf medyeval. Ki pi wo valè a, pi konfyans solisyon atribisyon nivo instans nou an se. Effectiveness of Instance-level Attribution. Rezilta prensipal 1: Solisyon nou an depase Baseline 2, ki montre yon amelyorasyon enpòtan nan konfyans atribisyon pa plis pase 0.2 sou valè ρ divès kalite. Anplis de sa, estrateji nou an ki baze sou jenerasyon pou atribisyon reyalize yon konfyans ekivalan a nan Baseline 1, ak yon diminisyon minimòm nan konfyans pa depase 0.1. Rezilta prensipal 2: Metòd atribisyon nou an kenbe konfidansyalite a menm lè modèl la enfekte sèvi ak yon ti fraksyon nan done yo ki te kreye pou fòmasyon. Rezolisyon instance-nivo nou an, lè l sèvi avèk yon estrateji ki baze sou jenerasyon, ekspoze yon konfyans pratik ki depase 0.6, menm anba yon pousantaj jenerasyon ti kras nan 30%. Sa a pèfòmans illustre yon avantaj etonan, ak yon 50% amelyorasyon sou baz la 2. Pou fòmasyon modèl la diferansè nan seksyon 4.4, nou mete n = 500, s = 10, N = 30. Nou evalye modèl la diferansè ak montre egzakite, AUC, ak metrik TPR@10%FPR nan Tablo 1. Effectiveness of Statistical-level Attribution Rezilta prensipal 3: Rezilta yo nan Tablo 1 montre ke atribisyon nou an reyalize presizyon segondè ak pèfòmans AUC, kote presizyon an depase 85%, ak AUC se pi wo pase 0.8 pou atribye modèl enfliyans nan diferan modèl sous. Precision ak AUC se metrik mwayèn-cas ki mesye ki jan souvan yon metòd atribisyon presize enfliyans la, pandan y ap yon atribisyon ki gen yon FPR segondè pa ka konsidere kòm konfyans. Se konsa, nou itilize metrik la TPR@10%FPR yo evalye konfyansite a nan atribisyon a nan nivo estatistik. Kolòn la ki pi wo a nan Tablo 1 montre ke TPR se pi wo pase 0.7 ak yon FPR ki ba nan 10%. Sa vle di atribisyon nou an pa pral falsèlman af 3.3 Ablasyon etid δ0. Pou detèmine yon valè optimum pou δ0 pou atribisyon an nivo enstans, nou kalkil valè distans rekonstriksyon lè l sèvi avèk 30 echantiyon kle sou yon modèl enfliyans ak ρ = 1 ak yon modèl enkyetid ak ρ = 0. Modèl la enkyetid se finetou sou modèl la pre-traved nan SD-v2. Tablo 2 konpare distribisyon an distans rekonstriksyon ant modèl ki sanble ki baze sou diferan modèl sous. Kolon 4-8 montre pousantaj la nan echantiyon nan yon ranje distans rekonstriksyon sèten pou chak ka, pandan y ap 2 kolòn dènye prezante distans nan rekonstriksyon mwayen ak pi bon ant tout echantiyon, respektivman. Effect of hyper-parameter diferans ki genyen ant distribisyon yo nan modèl la enkyetid ak modèl la enfliyanse, pi fasil yo jwenn δ0 pou atribisyon. Pou modèl la enkyetid, distans rekonstriksyon nan yon pati gwo nan echantiyon yo (tankou 73.9%) rive nan ranje a nan [0.15,0.2), pandan y ap sèlman echantiyon yo 4.3% gen distans rekonstriksyon mwens pase 0.15. Pou modèl la enkyetid, gen sou 20% nan echantiyon yo gen distans rekonstriksyon mwens pase 0.1. Nan pifò ka (5 nan 6 modèl enkyetid), plis pase yon pousantaj nan echantiyon yo 40% gen distans rekonstriksyon nan ranje a nan [0.1,0.15). Li indike ke δ0 = 0.15 se yon limit enpòtan pou distingue modèl enkyetid ak modèl enkyetid enpòtan. Se poutèt sa, nou mete δ0 = 0.15 nan eksperyans nou yo. Apre anviwònman yo nan Tablo 2, nou kontinye etidye enpak la nan N sou atribisyon nan nivo enstitisyon, kote N varye soti nan 20 a 100 nan Figi 7. Axe a y refere a valè an mwayen nan conf sou echantiyon N kle atravè Ekazyon 6, kote conf reprezante konfyans nan atribisyon yo identifye modèl enfekteur yo. Espesifikman, chak sous-figi nan Figi 7 reprezante yon modèl enfekteur ak modèl sous ki korespondan espesifye nan sous-tit la. Men, pi wo konfyans la, pi konfyans solisyon an atribisyon. Teoryikman, yon N ogmante amelyore konfyans la verifikasyon men mande pou plis kesyon nan modèl la ki enkyetid. Espesifikman, N = 100 reyalize konfyans ki pi wo, sou 0. Effect of key sample size 𝑁. 3.4 Konklizyon travay sa a rezoud pwoblèm ki enpòtan nan atribisyon done fòmasyon, investigating whether a suspicious model infringes on the intellectual property of a commercial model by using its generated data without authorization. Nou pwopoze atribisyon solisyon pèmèt identifyation of the source model from which a suspicious model's training data originated. Rationale of our method li nan exploiting the inherent memorization property of training datasets, which will be passed down through generated data and preserved within models trained on such data. We devlope algorithms to detect distinct samples that exhibit idiosyncratic behaviors in both source and suspicious models, exploiting these as inherent markers to trace the lineage of the suspicious model. Konklizyon, rechèch nou an bay yon solisyon Referans [1] Yossi Adi, Carsten Baum, Moustapha Cissé, Benny Pinkas, ak Joseph Keshet. 2018. Konvèti slab ou nan yon fòs: Watermarking Deep Neural Network pa Backdooring. Nan pwosesis nan USENIX Sécurité Symposium. [2] Nicholas Carlini, Steve Chien, Milad Nasr, Shuang Song, Andreas Terzis, ak Florian Tramer. 2022. Atak deflè nan patisipasyon soti nan prensip yo premye. Nan pwosesis nan IEEE S&P. [3] Nicholas Carlini, Jamie Hayes, Milad Nasr, Matthew Jagielski, Vikash Sehwag, Florian Tramèr, Borja Balle, Daphne Ippolito, ak Eric Wallace. 2023. Ekstraksyon done fòmasyon soti nan modèl difizyon. Nan pwosesis nan USENIX sekirite. [4] Weixin Chen, Dawn Song, ak Bo Li. 2023. TrojDiff: Atak Trojan sou modèl difizyon ak objektif divès kalite. [5] Sheng-Yen Chou, Pin-Yu Chen, ak Tsung-Yi Ho. 2023. Ki jan yo fè modèl difizyon backdoor?. Nan pwosesis nan IEEE CVPR. [6] Ge Han, Ahmed Salem, Zheng Li, Shanqing Guo, Michael Backes, ak Yang Zhang. 2024. Deteksyon ak atribisyon nan modèl fòmasyon sou done yo te kreye. Nan pwosesis nan IEEE ICASSP. [7] ImagenAI. [n. d.]. https://imagen-ai.com/terms-of-use [8] Hengrui Jia, Christopher A Choquette-Choo, Varun Chandrasekaran, ak Nicolas Papernot. 2021. Entangled watermarks kòm yon defann kont ekstraksyon modèl. Nan pwosesis nan sekirite USENIX. [9] Yuming Jiang, Ziqi Huang, Xingang Pan, Chen Change Loy, ak Ziwei Liu. 2021. Talk-to-Edit: Fine-Grained Facial Editing via Dialog. Nan pwosesis nan IEEE ICCV. [10] Zongjie Li, Chaozheng Wang, Shuai Wang, ak Cuiyun Gao. 2023. pwoteje pwopriyete entelektyèl nan APIs jenerasyon kòd ki baze sou modèl lang gwo atravè Watermarks. Nan pousantaj nan ACM CCS. [11] Yugeng Liu, Zheng Li, Michael Backes, Yun Shen, ak Yang Zhang. 2023. Modèl difizyon maryaj dlo. arXiv preprint arXiv:2305.12502 (2023). [12] Ge Luo, Junqiang Huang, Manman Zhang, Zhenxing Qian, Sheng Li, ak Xinpeng Zhang. 2023. Steal My Artworks for Fine-tuning? A Watermarking Framework for Detecting Art Theft Mimicry in Text-to-Image Models. arXiv preprint arXiv:2311.13619 (2023). [13] Peizhuo Lv, Hualong Ma, Kai Chen, Jiachen Zhou, Shengzhi Zhang, Ruigang Liang, Shenchen Zhu, Pan Li, ak Yingjun Zhang. 2024. MEA-Defender: Yon marye dlo solid kont atak ekstraksyon modèl. Nan pwosesis nan IEEE S & P. [14] MidJourney. [n. d.]. https://docs.midjourney.com/docs/terms-of-service [15] Ed Pizzi, Sreya Dutta Roy, Sugosh Nagavara Ravindra, Priya Goyal, ak Matthijs Douze. 2022. Yon Descriptor Self-Supported pou deteksyon kopi imaj. Nan pwosesis nan IEEE / CVF CVPR. [16] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, ak Mark Chen. 2022. Hierarchique Text-Conditional Images Generation ak CLIP Latents. arXiv preprint arXiv:2204.06125 (2022). [17] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, ak Björn Ommer. 2022. Sentez imaj segondè-rezolisyon ak modèl latent difizyon. Nan pwosesis nan IEEE CVPR. [18] Olaf Ronneberger, Philipp Fischer, ak Thomas Brox. 2015. U-net: rezo konvolisyon pou segman imaj biomedikal. Nan pwosesis nan Springer MICCAI. [19] Zeyang Sha, Xinlei He, Ning Yu, Michael Backes, ak Yang Zhang. 2023. Pa ka vole? Kont-fòse! Kontrastif Fòse Atak sou Encoders imaj. Nan pwosesis. nan IEEE CVPR. [20] Piyush Sharma, Nan Ding, Sebastian Goodman, ak Radu Soricut. 2018. Tit Konseptual: Yon netwaye, Hypernymed, imaj Alt-tekst Dataset pou otomatik imaj Captioning. Nan pwosesis. nan ACL. [21] Reza Shokri, Marco Stronati, Congzheng Song, ak Vitaly Shmatikov. 2017. Atak inferans manm sou modèl aprantisaj machin. Nan 2017 IEEE simpozyon sou sekirite ak prive (SP). IEEE, 3–18. [22] Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping, ak Tom Goldstein. 2023 Diffusion Art oswa Digital Fake? Envestigation Data Replication nan Difusion modèl. Nan pwosesis nan IEEE CVPR. [23] Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping, ak Tom Goldstein. 2023. Konpreyansyon ak mitigasyon kopi nan modèl difizyon. Nan pwosesis nan NeurIPS. [24] Lukas Struppek, Dominik Hintersdorf, ak Kristian Kersting. 2022. Rickrolling nan Artist: Enjecting Invisible Backdoors nan tèks-guided imaj jenerasyon modèl. arXiv preprint arXiv:2211.02408 (2022). [25] Stable-Diffusion v1 5. [n. d.]. https://huggingface.co/runwayml/stable-diffusionv1-5 [26] Stable-Diffusion v2 1. [n. d.]. https://huggingface.co/stabilityai/stable-diffusion2-1 [27] Yixin Wu, Rui Wen, Michael Backes, Ning Yu, ak Yang Zhang. 2022. modèl vole atak sou modèl vizyon-langage. (2022). [28] Yunqing Zhao, Tianyu Pang, Chao Du, Xiao Yang, Ngai-Man Cheung, ak Min Lin. 2023. Yon resep pou modèl difizyon marking dlo. arXiv preprint arXiv:2303.10137 (2023). Autè yo: (1) Likun Zhang; (2) Se poutèt sa (3) Lingcui Zhang; (4) nan Fengyuan Xu; (5) nan Jin Cao; (6) Fenghua Li; (7) Ben Niu . Authors: (1) Likun Zhang; (2) Se poutèt sa (3) Lingcui Zhang; (4) nan Fengyuan Xu; (5) nan Jin Cao; (6) Fenghua Li; (7) Ben Niu . Dokiman sa a se disponib sou archiv anba CC BY 4.0 lisans. Papye sa a se sous CC BY 4.0 lisans. Disponib nan dosye Disponib nan dosye
