මේසය Links Abstract and Introduction Background & Related Work 2.1 Text-to-Image Diffusion Model 2.2 Watermarking Techniques 2.3 Preliminary 2.3.1 Problem Statement 2.3.2 Assumptions 2.4 Methodology 2.4.1 Research Problem 2.4.2 Design Overview 2.4.3 Instance-level Solution 2.5 Statistical-level Solution Experimental Evaluation 3.1 Settings 3.2 Main Results 3.3 Ablation Studies 3.4 Conclusion & References 3 අත්හදා බැලීම් මෙම පරිච්ඡේදය තුළ, අපි මුලින්ම අපගේ අත්හදා බැලීම් ක්රියාකාරකම් විස්තර කරනු ඇත. එවිට, අපි යෝජනා කරන ක්රමයක් අංක 3.1 දී හඳුනාගත් අරමුණු සපුරාලිය හැකිද යන්න පෙන්වා දෙන්නෙමු. 3.1 සැකසුම් අපි Stable Diffusion [17] සහ Stable-Diffusion-v1-5 (SD-v1) [25] සහ Stable-Diffusion-v2-1 (SDv2) [26] පරීක් ෂක ස්ථාන සමග පෙර පුහුණු ආකෘති ලෙස භාවිතා කරමු. Text-to-image models. අපි පුළුල් ලෙස අනුමත කරන ලද පින්තූර දත්ත දෙක තෝරා ගනිමු. Datasets CelebA-Dialog-HQ (CelebA) [9]: CelebA දත්ත සංකේතයෙන් තෝරාගත් 1024×1024 ප්රමාණයේ උසස් resolutions මුහුණ පින්තූර 30,000ක් සහිත විශාල සංසන්දන භාෂාවක් සහිත මුහුණු දත්ත සංකේතය. 2) Google’s Conceptual Captions (CC3M) [20] : 3.3M ඡායාරූප වලින් සකස් කරන ලද නව දත්ත සමුදාය.We use its validation split which consists of 15,840 image/caption pairs.In contrast to the curated style of other image caption annotations, Conceptual Caption images and their descriptions are harvested from the web, and therefore represent a wider variety of styles. අපි ප්රවෘත්ති ආකෘති සකස් කිරීම සඳහා පුහුණු දත්ත සඳහා, අපි දත්ත සකස් කිරීම සඳහා 3000 ආකෘති සෑම ආකෘති සකස් කිරීම සහ 512×512 දක්වා ප්රවෘත්ති ආකෘති සකස් කිරීම සඳහා සෘජුවම භාවිතා කිරීමෙන් ප්රවෘත්ති ආකෘති සකස් කරමු.අපි සකස් කිරීම සඳහා සෑම ප්රවෘත්ති ආකෘති සකස් කිරීම සඳහා සෑම ආකෘති සකස් කිරීම සඳහා සෑම ආකෘති සකස් කිරීම සඳහා සෑම ආකෘති සකස් කිරීම සඳහා සෑම ආකෘති සකස් කරමු.අපි මෙම ප්රවෘත්ති ආකෘති SD-v1, SD-v2, SD-v1-CelebA, SD-v1-CC3M, SD-v2-CC Source model construction Pre-training සහ finetuning යන දෙකම IP දූෂණය ගැන ප්රශ්න ඇති අතර, finetuning වඩා බරපතල බලපෑමක් ඇති අතර, pre-training වලට වඩා, finetuning ඉතා පහසු හා ඵලදායී වන අතර, බොහෝ බලපත්ර සීමා කිරීමකින් තොරව බොහෝ අවසර නොලැබෙන භාවිතයන් සඳහා ඉඩ සලසයි. එබැවින්, අපි ρ = 0 ස්ථාපනය කිරීමෙන් අහිංසක ආකෘති ගොඩනඟා ගැනීම සඳහා ඉහත මාර්ගෝපදේශය අනුගමනය කරමු. Suspicious model construction. සටහන් කරන්න, අපගේ වැඩ ප්රථම වනුයේ පින්තූර-තැපැල් තිරය තුළ දත්ත අනුකූල කිරීමේ පුහුණු ප්රශ්නය විසඳා ගැනීම සඳහා වන අතර, එබැවින්, සෘජුවම සම්බන්ධ වැඩ නැත. Baselines මෙම මූලාශ්රය පුහුණු දත්ත ඇතුලත ජල සංකේතයක් ඇතුළත් කරයි. [12] දී යෝජනා කරන පරිදි, මූලාශ්ර ආකෘති විසින් නිෂ්පාදනය කරන ලද ඡායාරූපවලට සුවිශේෂී 32-බයිට් ආකෘති සංකේත කිරීමෙන්, එවැනි ජල සංකේතය දත්ත මත පුහුණු වන ආකෘති ද ජල සංකේතය හඳුනාගත හැකි ඡායාරූපයක් නිර්මාණය කරනු ඇත. Baseline 1: Watermark මත පදනම්ව දත්ත අනුකූල කිරීම මෙම මූලික අදහස අපේ උදාහරණ මට්ටමේ විසඳුම සමඟ සමාන අදහසක් අනුමත කරයි, නමුත් එය Baseline 2: Random Selection-based Data Assignment (නොසිටි තෝරා ගැනීමේ දත්ත ආකෘතිය) අපි දත්ත ලියාපදිංචි කිරීම සඳහා අපි යෝජනා කරන ප්රතිපත්තිය 1 සහ ප්රතිපත්තිය 2 භාවිතා නොකරමු. විශේෂයෙන්, අපි මූලාශ්රය ආකෘති දත්ත සමුදාය ලෙස මූලාශ්රය ආකෘති දත්ත සමුදායෙන් N පුහුණු සාම්පල තෝරා ගනිමු. අපි නිශ්චිතතාවය, AUC (Area Under Curve) සහ TPR@10%FPR [2] පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය පරාසය Evaluation Metrics. 3.2 ප් රධාන ප් රතිඵල සෑම මූලාශ්රය ආකෘතියකට අනුව, අපි 30 ආක්රමණීය ආකෘති ගොඩනැගුවා සහ සංකේතය 9 හි සෑම ආක්රමණීය ආකෘතියකට අනුව සංකේතය ගණනය කරමු. මෙහිදී අපි ප්රධාන ආකෘති ප්රමාණය N = 30 ලෙස සකස් කරමු. අපේ උදාහරණ මට්ටමේ ලියාපදිංචි කිරීමේ විසඳුමගේ විශ්වාසනීයත්වය අගය කිරීම සඳහා, අපි උදාහරණයේ ρ විවිධ නිෂ්පාදන අනුපාතයන් යටතේ 30 ආක්රමණීය ආකෘති අතර සම්මත conf වටිනාකම වාර්තා කරමු. Effectiveness of Instance-level Attribution. ප්රධාන ප්රතිඵල 1: අපගේ විසඳුම ප්රමුඛ ප්රතිඵල 2 ට වඩා වැඩි වන අතර, විවිධ ρ අගය මත ප්රතිපත්තිය විශ්වාසය 0.2 කට වඩා වැඩි වන අතර, ප්රමුඛ ප්රතිඵල 1 වැනි ප්රතිඵලයට සමාන විශ්වාසය ලබා ගනී. ප්රධාන ප්රතිඵල 2: අපගේ ලියාපදිංචි ක්රමයේ විශ්වාසනීයත්වය පවත්වාගෙන යනු ඇත, නමුත් අපගේ ආකෘති ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල ප්රතිඵල 4.4 පරිච්ඡේදයේ සංශෝධක ආකෘතිය පුහුණු කිරීම සඳහා, අපි n = 500, s = 10, N = 30 ස්ථාපනය කරමු.We assess the discriminator model and show the Accuracy, AUC, and TPR@10%FPR metrics in Table 1. Effectiveness of Statistical-level Attribution ප්රධාන ප්රතිඵල 3: Table 1 හි ප්රතිඵල පෙන්වා දෙයි අපගේ ආකෘතිය ඉහළ නිවැරදිතාවය සහ AUC ක්රියාකාරකම් සාර්ථක කරයි, එහිදී නිවැරදිතාවය 85% කට වඩා වැඩි වන අතර ආකෘතිය වෙනස් මූලාශ් ර ආකෘති වලට ආකෘති ආකෘති ආකෘති කිරීම සඳහා AUC 0.8 ට වඩා වැඩි වන බව. නිවැරදිතාවය සහ AUC යනු ආකෘති ක්රමයක් නිවැරදිව ආකෘති ආකෘති ආකෘති ආකෘති නිවැරදිව අනාවැකි ආකාරය කොපමණ සැරසෙන අතර, ඉහළ FPR සහිත ආකෘති ආකෘති විශ්වාසවන්ත විය නොහැක. එබැවින් අපි TPR@10% FPR ආකෘති සංඛ්යාව 3.3 Ablation අධ්යයනය δ0. උදාහරණ මට්ටමේ ලියාපදිංචි කිරීම සඳහා δ0 සඳහා හොඳම වටිනාකම තීරණය කිරීම සඳහා, අප ρ = 1 සහ ρ = 0 සහිත අහිංසක ආකෘතිය මත ප් රතිසංස්කරණ ප්රවේශය අගය 30 ක් භාවිතා කිරීමෙන් ප්රතිසංස්කරණ ප්රවේශය අගය ගණනය කර ඇත. අහිංසක ආකෘතිය SD-v2 හි පෙර පුහුණු ආකෘතිය මත සකස් කර ඇත. පුවරුව 2 විවිධ මූලාශ් ර ආකෘති මත පදනම්ව සැක සහිත ආකෘති අතර ප්රතිසංස්කරණ ප්රවේශය සමාලෝචනය කරයි. කොල 4-8 සෑම අවස්ථාවකදීම නිශ්චිත ප්රවේශ ප්රවේශය ඇතුළත ප්රතිසංස්කරණ ප්රවේශ ප්රවේශ Effect of hyper-parameter අහිංසක ආකෘතියේ බෙදාහැරීම් සහ දූෂිත ආකෘතිය අතර වෙනස, ලියාපදිංචි කිරීම සඳහා δ0 සොයා ගැනීමට පහසු වේ. අහිංසක ආකෘතිය සඳහා, ආකෘති විශාල ප්රතිශතයක් (බොහෝ 73.9%) ප්රතිස්ථාපන දුර [0.15,0.2] ප්රමාණයේ ඇතුළත් වන අතර, පමණක් 4.3% ආකෘති ප්රතිස්ථාපන දුර 0.15 ට වඩා අඩු වේ.15 ආක්රමණීය ආකෘතිය සඳහා, ආකෘති 20% ක් පමණ 0.1 ට වඩා කුඩා ප්රතිස්ථාපන දුර ඇත. බොහෝ අවස්ථාවලදී (5 සිට 6 ආක්රමණීය ආකෘති), ආකෘති 40% කට වඩා වැඩි ප්රතිස්ථාපන දුර [0.1,0.15] ප්රමාණයේ ඇතුළත් වේ. උදාහරණයට අනුව, අපි උදාහරණ මට්ටමේ ලියාපදිංචි කිරීම මත N හි බලපෑම තවදුරටත් අධ්යයනය කරමු, එහිදී N අඟල් 7 හි 20 සිට 100 දක්වා වේ. y අඟල් 6 හරහා N ප්රධාන උදාහරණ මත conf හි සාමාන්ය වටිනාකම පිළිබඳව සඳහන් වේ. කොන්දේසි 6 හරහා conf සංකේතය හරහා ලියාපදිංචි කිරීමේ විශ්වාසය හඳුනා ගැනීම සඳහා ලියාපදිංචි කිරීමේ විශ්වාසය සංකේතය වේ. උදාහරණයට අනුව, N = 100 අඟල් 7 හි සංකේතය N = 30 හි අනුකූල මූලාශ්ර ආකෘතිය සමඟ ඉහළම විශ්වාසය සංකේත කරයි. කෙසේ වෙතත්, එවැනි ප්රශ්න ගණන වැඩි වියදම් හා විනිශ්චය ක්රියාවලිය තුළ නියාපදිංචි කිරීමේ Effect of key sample size 𝑁. 3.4 අවසානය මෙම ව්යාපාරය අධ්යාපන දත්ත ලියාපදිංචි කිරීමේ ප්රධාන ප්රශ්නය සලකා බැලීම, සැකකාරී ආකෘතිය බලපත්රයක් නොමැතිව නිෂ්පාදනය කරන ලද දත්ත භාවිතා කිරීමෙන් ව්යාපාරික ආකෘතියගේ බුද්ධිමය අයිතිවාසිකම් පරාජය කරනවාද යන්න පරීක්ෂා කිරීමයි. අපගේ යෝජනා කරන ලද ලියාපදිංචි විසඳුම සැකකාරී ආකෘතියගේ පුහුණු දත්ත මූලාශ් රයෙන් මූලාශ් ර කරන මූලාශ් ර ආකෘතිය හඳුනාගැනීමට ඉඩ සලසයි. අපගේ ක්රමයේ ප්රවේශය වන්නේ සැකකාරී ආකෘතියෙහි මූලාශ්ර සහ සැකකාරී ආකෘති දෙකම තුළ idiosyncratic හැසිරීම් පෙන්නුම් කරන විවිධ ආකෘති හඳුනාගැන සබැඳි [1] Yossi Adi, Carsten Baum, Moustapha Cissé, Benny Pinkas, සහ Joseph Keshet. 2018. ඔබගේ දුර්වලතා ශක්තිය බවට පරිවර්තනය කිරීම: Backdooring මගින් ගැඹුරු සෛල ජාලයන් වතුරට පත් කිරීම. [2] Nicholas Carlini, Steve Chien, Milad Nasr, Shuang Song, Andreas Terzis, සහ Florian Tramer. 2022 සාමාජිකත්වය ප්රමුඛ මූලධර්ම වලින් ප්රතිඵල ප්රතිඵල. [3] Nicholas Carlini, Jamie Hayes, Milad Nasr, Matthew Jagielski, Vikash Sehwag, Florian Tramèr, Borja Balle, Daphne Ippolito, සහ Eric Wallace. 2023. ප් රදර්ශන ආකෘති වලින් පුහුණු දත්ත ඉවත් කිරීම. [4] Weixin Chen, Dawn Song, සහ Bo Li. 2023. TrojDiff: විවිධ ඉලක්කයන් සහිත ප් රදර්ශන ආකෘති වලට ට් රයිජන් ප් රහාර. [5] Sheng-Yen Chou, Pin-Yu Chen, සහ Tsung-Yi Ho. 2023. Backdoor Diffusion ආකෘති කරන්නේ කෙසේද?. [6] Ge Han, Ahmed Salem, Zheng Li, Shanqing Guo, Michael Backes, සහ Yang Zhang. 2024. නිෂ්පාදනය කරන ලද දත්ත මත පුහුණු වූ ආකෘති හඳුනා ගැනීම සහ හඳුනා ගැනීම. [7] ImagenAI. [n. d.]. https://imagen-ai.com/විශාල භාවිත කොන්දේසි [8] Hengrui Jia, Christopher A Choquette-Choo, Varun Chandrasekaran, සහ Nicolas Papernot. 2021. ආකෘති ආකෘති ආකෘති ආකෘති ආකෘති ආකෘති ආකෘති ආකෘති ආකෘති ආකෘති ආකෘති ආකෘති ආකෘති. [9] Yuming Jiang, Ziqi Huang, Xingang Pan, Chen Change Loy සහ Ziwei Liu. 2021. Talk-to-Edit: Fine-Grained Facial Editing via Dialog. In Proc. of IEEE ICCV. [10] Zongjie Li, Chaozheng Wang, Shuai Wang, සහ Cuiyun Gao. 2023. Watermarks හරහා විශාල භාෂා ආකෘති මත පදනම්ව කේත නිෂ්පාදනය API හි බුද්ධිමය අයිතිවාසිකම් ආරක්ෂා කිරීම. [11] Yugeng Liu, Zheng Li, Michael Backes, Yun Shen, සහ Yang Zhang. 2023 ජල ප් රදර්ශනය ප් රදර්ශනය ආකෘතිය. arXiv preprint arXiv:2305.12502 (2023). [12] Ge Luo, Junqiang Huang, Manman Zhang, Zhenxing Qian, Sheng Li, and Xinpeng Zhang. 2023. My Artworks for Fine-tuning? A Watermarking Framework for Detecting Art Theft Mimicry in Text-to-Image Models. arXiv preprint arXiv:2311.13619 (2023). [13] Peizhuo Lv, Hualong Ma, Kai Chen, Jiachen Zhou, Shengzhi Zhang, Ruigang Liang, Shenchen Zhu, Pan Li, සහ Yingjun Zhang. 2024. MEA-Defender: ආකෘති ආක් රමණය ප් රහාරයට එරෙහිව ශක්තිමත් Watermark. In Proc. of IEEE S&P. [14] MidJourney. [n. d.]. https://docs.midjourney.com/docs/ සේවා කොන්දේසි [15] Ed Pizzi, Sreya Dutta Roy, Sugosh Nagavara Ravindra, Priya Goyal, සහ Matthijs Douze. 2022. Image Copy Detection සඳහා ස්වයං අධීක්ෂණය කරන Descriptor. [16] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, සහ Mark Chen. 2022. CLIP Latents සහිත ඉරාක Text-Conditional Image Generation. arXiv preprint arXiv:2204.06125 (2022). [17] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, සහ Björn Ommer. 2022 latent diffusion ආකෘති සමග උසස් resolutions පින්තූර සංචිතය. IEEE CVPR ප්රතිශතය. [18] Olaf Ronneberger, Philipp Fischer, සහ Thomas Brox. 2015 U-net: biomedical Image Segmentation සඳහා Convolutional ජාල. [19] Zeyang Sha, Xinlei He, Ning Yu, Michael Backes, සහ Yang Zhang. 2023. හොරකම් කරන්න බැහැ? විරුද්ධව හොරකම් කරන්න! Image Encoder වලට විරුද්ධව හොරකම් කරන ප් රහාර. IEEE CVPR හි ප් රතිශතයක්. [20] Piyush Sharma, Nan Ding, Sebastian Goodman, සහ Radu Soricut. 2018. අර්ථකථන අකුරු: ස්වයංක්රීය Image Captioning සඳහා පිරිසිදු, Hypernymed, Image Alt-tekst Dataset. [21] Reza Shokri, Marco Stronati, Congzheng Song, සහ Vitaly Shmatikov. 2017 පරිගණක ඉගෙනුම් ආකෘතිවලට එරෙහිව සාමාජිකත්වය අනුගමනය ප් රහාර. 2017 දී IEEE ආරක්ෂාව හා පෞද්ගලිකත්වය පිළිබඳ සමුළුව (SP). IEEE, 3–18. [22] Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping සහ Tom Goldstein. 2023. Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models. In Proc. of IEEE CVPR. [23] Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping, සහ Tom Goldstein. 2023. ප් රදර්ශන ආකෘතිවල ප්රදර්ශන තේරුම් ගැනීම සහ සීමා කිරීම. [24] Lukas Struppek, Dominik Hintersdorf, සහ Kristian Kersting. 2022. කලාකරුවෙකු නැවත රූගත කිරීම: Text-Guided Image Generation ආකෘති වලට නොපෙනෙනෙන පිටුපසින් ඉස්මතු කිරීම. arXiv preprint arXiv:2211.02408 (2022). [25] Stable-Diffusion v1 5. [n. d.]. https://huggingface.co/runwayml/stable-diffusionv1-5 [26] ස්ථාවර-සංස්කරණය v2 1. [n. d.]. https://huggingface.co/stabilityai/stable-diffusion2-1 [27] Yixin Wu, Rui Wen, Michael Backes, Ning Yu, සහ Yang Zhang. 2022 ආකෘති සොරකම් ප් රහාර දර්ශන භාෂා ආකෘති. [28] Yunqing Zhao, Tianyu Pang, Chao Du, Xiao Yang, Ngai-Man Cheung, සහ Min Lin. 2023 ජල ප් රදර්ශනය ප් රදර්ශන ආකෘති සඳහා ප්රතිපත්ති. arXiv preprint arXiv:2303.10137 (2023). ලේඛකයෝ : 1) ශ් රී ලාංඡනය 2) හූ වෝ 3) ලින්කූ යැං; 4) ශ් රී ලාංකිකයන් 5) ජිනීවා (6) ෆෙන්ගුවා ලී (7) Ben Niu . Authors: 1) ශ් රී ලාංඡනය 2) හූ වෝ 3) ලින්කූ යැං; 4) ශ් රී ලාංකිකයන් 5) ජිනීවා (6) ෆෙන්ගුවා ලී (7) Ben Niu . මෙම ලිපිනය CC BY 4.0 බලපත් ර යටතේ archiv මත ලබා ගත හැකිය. මෙම ලිපිනය වන්නේ CC BY 4.0 බලපත් රය යටතේ ලියාපදිංචි ලියාපදිංචි
