Tabel van links Abstract and Introduction Background & Related Work 2.1 Text-to-Image Diffusion Model 2.2 Watermarking Techniques 2.3 Preliminary 2.3.1 Problem Statement 2.3.2 Assumptions 2.4 Methodology 2.4.1 Research Problem 2.4.2 Design Overview 2.4.3 Instance-level Solution 2.5 Statistical-level Solution Experimental Evaluation 3.1 Settings 3.2 Main Results 3.3 Ablation Studies 3.4 Conclusion & References 3 Eksperimentele evaluering In hierdie afdeling sal ons eers ons eksperimentele prosedures beskryf. Dan sal ons wys of die voorgestelde metode die doelwitte wat in Afdeling 3.1 geïdentifiseer word, kan bereik. 3.1 Die instellings Ons gebruik Stable Diffusion [17] met die Stable-Diffusion-v1-5 (SD-v1) [25] en Stable-Diffusion-v2-1 (SDv2) [26] kontrolepunte as die vooropleide modelle. Text-to-image models. Ons kies twee algemeen aanvaarde ondertitel-beelddatasets. Datasets CelebA-Dialog-HQ (CelebA) [9]: 'n groot-skaal visuele taal gesig dataset met 30,000 hoë-resolusie gesig beelde met die grootte van 1024×1024 gekies uit die CelebA dataset. Begeleide met elke beeld, is daar 'n ondertitel wat beskryf vyf fijnkorrelige eienskappe, insluitend Bangs, eyeglasses, Beard, Smiling, en Age. 2) Google se konseptuele kopieë (CC3M) [20]: 'n nuwe dataset wat bestaan uit 3,3M beelde met kopieë. Ons gebruik die validering split wat bestaan uit 15,840 beeld / kopie paartjies. In teenstelling met die gekurateerde styl van ander beeld kopieë aantekeninge, konseptuele kopieë beelde en hul beskrywings is geoogsteek van die web, en verteenwoordig dus 'n groter verskeidenheid van style. Ons konstrueer die bronmodelle deur direkte gebruik te maak van vooropleide of gevolglik finetuning hulle op die bovenstaande datasets. Vir die opleiding data vir finetuning, ons willekeurig kies 3000 monsters uit elke dataset en verander die grootte in 512×512. Ons finetuneer elke vooropleide model op elke dataset vir 'n totaal van 3000 iterasies met 'n konstante leerpercentage van 2e-6 en batch grootte van 2. Ons noem hierdie bronmodelle as: SD-v1, SD-v2, SD-v1-CelebA, SD-v2-CelebA, SD-v1-CC3M, SD-v2-CC3M. Source model construction Terwyl pre-opleiding en finetuning beide bekommernisse oor IP-inbreuk veroorsaak, het fine-tuning 'n ernstiger impak. Vergelyk aan pre-opleiding, is fine-tuning hoogs gerieflik en doeltreffend, wat baie onbevoegde gebruik toelaat sonder baie hulpbronnebeperking. So het ons elke inbreukmodel gebou deur 'n vooropleide model op 500-opleidingsmonsters te finetuning, waar 'n aandeel van ρ daarvan deur 'n bronmodel gegenereer word, terwyl die res uit die werklike data monster word. Ons volg die boonste pipeline om die onskuldige modelle te bou deur ρ = 0. Suspicious model construction. Let daarop dat ons werk die eerste is om die probleem aan te spreek in die opleiding data toewysing in die teks-tot-beeld scenario, en dus is daar geen direk verwante werk nie. Baselines Hierdie baseline injecteer watermerke in die opleiding data. Meer spesifiek, soos voorgestel in [12], deur die kodeer van 'n unieke 32-bits reeks in die beelde gegenereer deur die bron modelle, die inbreuk modelle opgelei op sulke watermerk data sal ook genereer beelde waarin die watermerk kan gedetekteer word. Baseline 1: Watermark-gebaseerde data toewysing Hierdie baseline neem die soortgelyke idee met van ons instansie-vlak oplossing, maar Baseline 2: Willekeurige seleksie-gebaseerde data toekenning. Ons gebruik nie die Strategie 1 en Strategie 2 wat ons voorgestel het vir data-toewysing nie. spesifiek, ons kies willekeurig N-opleidingsmonsters uit die bronmodel se opleidingdataset as die toewysingsinvoer.Dit dien as 'n baseline om 'n eenvoudige toewysing te demonstreer. Ons gebruik die Akkurasie, Area Under Curve (AUC) score, en TPR@10%FPR [2] om die akkuraatheid en betroubaarheid van die aanwysmetodes te evalueer. Evaluation Metrics. 3.2 Belangrike resultate Gegewe elke bronmodel, het ons 30 oortredende modelle gebou en die conf-metrieke bereken wat in Ligging 9 vir elke oortredende model gedefinieer is. Hier stel ons die sleutelmonster grootte as N = 30. Om die betroubaarheid van ons instansie-vlakkige toewysingsoplossing te evalueer, rapporteer ons die gemiddelde waarde van conf onder die 30 oortredende modelle onder verskillende generasie koers ρ in Figuur 6. Die oortredende modelle word fijn aangepas met toenemende verhoudings van gegenereerde beelde (ρ = 30%, 50%, 70%, 100% van 'n totaal van 500). Die y-as van Figuur 6 verwys na die gemiddelde conf-waarde. Effectiveness of Instance-level Attribution. Hoofresultaat 1: Ons oplossing oorskry Baseline 2, wat 'n beduidende verbetering in toewysingsvertroue met meer as 0,2 oor verskillende ρ-waardes demonstreer. Hoofresultaat 2: Ons aanwysingsmetode handhaaf sy betroubaarheid selfs wanneer die inbreukmodel 'n klein deel van die gegenereerde data gebruik vir opleiding. Ons instansie-vlak resolusie, wat gebruik maak van 'n generasie-gebaseerde strategie, toon 'n voorspelling vertroue van meer as 0,6, selfs onder 'n swakker generasie koers van 30%. Om die diskriminatormodel in Afdeling 4.4 te leer, stel ons n = 500, s = 10, N = 30. Ons evalueer die diskriminatormodel en toon die Akkurasie, AUC en TPR@10%FPR-metrieke in Tabel 1. Effectiveness of Statistical-level Attribution Hoofresultaat 3: Resultate in Tabel 1 toon dat ons toewysing hoë akkuraatheid en AUC-prestasie bereik, waar die akkuraatheid 85% oorskry, en die AUC is hoër as 0.8 vir die toewysing van inbreukmodelle aan verskillende bronmodelle. Akuriteit en AUC is gemiddelde gevalle metrikes wat meet hoe dikwels 'n toewysingsmetode die inbreuk korrek voorspel, terwyl 'n toewysing met 'n hoë FPR nie betroubaar kan word nie. So gebruik ons die TPR@10%FPR-metrik om die betroubaarheid van die statistiese-vlak toewysing te evalueer. Die regste kolom van Tabel 1 toon dat die TPR meer as 0.7 is met 'n lae FPR van 10%. 3.3 Ablasie studies δ0. Om 'n optimale waarde vir δ0 vir die instansie-vlak toewysing te bepaal, bereken ons die rekonstruksie afstand waardes met behulp van 30 sleutelmonsters op 'n inbreukmodel met ρ = 1 en 'n onskuldige model met ρ = 0. Die onskuldige model word op die vooraf opgeleide model van SD-v2 gefineer. Tabel 2 vergelyk die rekonstruksie afstand verspreiding oor die vermoedelike modelle wat gebaseer is op verskillende bronmodelle. Effect of hyper-parameter die verskille tussen die verspreidings van die onskuldige model en die inbreukmodel, hoe makliker om 'n δ0 vir toekenning te vind. Vir die onskuldige model val die rekonstruksie-afstand van 'n groot aandeel monsters (so groot as 73,9%) binne die bereik van [0,15,0,2], terwyl slegs 4,3% monsters die rekonstruksie-afstand kleiner as 0,15 het. Vir die inbreukmodel is daar ongeveer 20% monsters wat die rekonstruksie-afstand kleiner as 0,1 het. In die meeste gevalle (5 van die 6 inbreukmodelle), het meer as 'n aandeel van 40% monsters die rekonstruksie-afstand binne die bereik van [0,1,0,15). Dit dui daarop dat δ0 = 0,15 'n beduidende grens is vir die onderskei van onskuldige modelle en inbreukmodelle ongeag die bronmodelle. Na die instellings in Tabel 2, bestudeer ons verder die impak van N op die instansie-vlak toewysing, waar N wissel van 20 tot 100 in Figuur 7. Die y-as verwys na die gemiddelde waarde van conf op die N sleutel monsters deur Equation 6, waar conf verteenwoordig die toewysing vertroue om inbreuk modelle te identifiseer. Spesifiek, elke subfiguur in Figuur 7 verteenwoordig 'n inbreuk model met die ooreenstemmende bron model spesifiseer in die ondertitel. Hoe hoër die vertroue, hoe betroubare die toewysing oplossing. Teoreties, 'n toenemende N verbeter die verifikasie betroubaarheid, maar vereis meer vrae na die vermoedelike model. Spesifiek, N = 100 bereik die hoogste vert Effect of key sample size 𝑁. 3.4 Konklusie Hierdie werk hanteer die belangrike kwessie van opleiding data toewysing, ondersoek of 'n vermoedelike model die intellektuele eiendom van 'n kommersiële model inbreuk maak deur gebruik te maak van sy gegenereerde data sonder toestemming. Ons voorgestelde toewysingsoplossing laat toe om die bronmodel te identifiseer waaruit 'n vermoedelike model se opleiding data ontstaan het. Die rede vir ons metode is om die inherente geheue-eigendom van opleidingdataset te benut, wat deur gegenereerde data oorgedra word en binne modelle wat op sulke data opgelei word bewaar word. Ons het algoritmes ontwerp om verskillende monsters te detekteer wat idiosinkrasie gedrag in beide bron- en vermoedelike modelle vertoon, wat hierdie as inherente markers benut om die lineering van die vermoed Verwysings [1] Yossi Adi, Carsten Baum, Moustapha Cissé, Benny Pinkas, en Joseph Keshet. 2018. Om jou swakheid in 'n sterkte te verander: Watermarking Deep Neural Networks deur Backdooring. In Proc. van USENIX Security Symposium. [2] Nicholas Carlini, Steve Chien, Milad Nasr, Shuang Song, Andreas Terzis, en Florian Tramer. 2022. Lidmaatskap inferensie aanvalle van eerste beginsels. [3] Nicholas Carlini, Jamie Hayes, Milad Nasr, Matthew Jagielski, Vikash Sehwag, Florian Tramèr, Borja Balle, Daphne Ippolito, en Eric Wallace. 2023. Uitvinding van opleiding data uit diffusie modelle. In persentasie van USENIX Sekuriteit. [4] Weixin Chen, Dawn Song, en Bo Li. 2023 TrojDiff: Trojaanse aanvalle op verspreidingsmodelle met verskillende doelwitte. [5] Sheng-Yen Chou, Pin-Yu Chen, en Tsung-Yi Ho. 2023. Hoe om agterdeur verspreiding modelle?. [6] Ge Han, Ahmed Salem, Zheng Li, Shanqing Guo, Michael Backes, en Yang Zhang. 2024. opsporing en toekenning van modelle wat op gegenereerde data opgelei is. [7] ImagenAI. [n. d.]. https://imagen-ai.com/voorwaardes van gebruik [8] Hengrui Jia, Christopher A Choquette-Choo, Varun Chandrasekaran, en Nicolas Papernot. 2021. Verblind watermerke as 'n verdediging teen model-uitwissing. [9] Yuming Jiang, Ziqi Huang, Xingang Pan, Chen Change Loy, en Ziwei Liu. 2021. Gesprek-tot-Bewerking: Fine-Grained Facial Editing via Dialog. In Proc. van IEEE ICCV. [10] Zongjie Li, Chaozheng Wang, Shuai Wang, en Cuiyun Gao. 2023. Beskerming van intellektuele eiendom van groot taalmodelgebaseerde kode-generasie API's deur middel van watermerke. [11] Yugeng Liu, Zheng Li, Michael Backes, Yun Shen, en Yang Zhang. 2023. Watermerk diffusie model. arXiv voordruk arXiv:2305.12502 (2023). [12] Ge Luo, Junqiang Huang, Manman Zhang, Zhenxing Qian, Sheng Li, en Xinpeng Zhang. 2023. Steal my kunswerke vir Fine-tuning? 'n Watermarking raamwerk vir die opsporing van kunsdiefstal mimiek in teks-tot-beeld modelle. arXiv voordruk arXiv:2311.13619 (2023). [13] Peizhuo Lv, Hualong Ma, Kai Chen, Jiachen Zhou, Shengzhi Zhang, Ruigang Liang, Shenchen Zhu, Pan Li, en Yingjun Zhang. 2024. MEA-verdediger: 'n robuuste watermerk teen model-uittreksie aanval. [14] MidJourney. [n. d.]. https://docs.midjourney.com/docs/terms-of-diens [15] Ed Pizzi, Sreya Dutta Roy, Sugosh Nagavara Ravindra, Priya Goyal, en Matthijs Douze. 2022. 'N Self-Onderhoude Descriptor vir Beeld Kopie Deteksie. In Proc. van IEEE / CVF CVPR. [16] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, en Mark Chen. 2022. Hierarchiese teks-voorwaardelike beeldgenerasie met CLIP Latents. arXiv voordruk arXiv:2204.06125 (2022). [17] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, en Björn Ommer. 2022. Hoë-resolusie beeld sintese met latente diffusie modelle. [18] Olaf Ronneberger, Philipp Fischer, en Thomas Brox. 2015. U-net: konvolusionele netwerke vir biomediese beeldsegmentasie. [19] Zeyang Sha, Xinlei He, Ning Yu, Michael Backes, en Yang Zhang. 2023. Kan nie steel nie? teen-steel! Kontrastiwe diefstal aanvalle teen beeld encoders. In persentasie van IEEE CVPR. [20] Piyush Sharma, Nan Ding, Sebastian Goodman, en Radu Soricut. 2018. Konseptuele aantekeninge: 'n gereinigde, hipernimeerde, beeld Alt-tekst dataset vir outomatiese beeld aantekening. In Proc. van ACL. [21] Reza Shokri, Marco Stronati, Congzheng Song, en Vitaly Shmatikov. 2017. Lidmaatskap inferensie aanvalle teen masjien leer modelle. In 2017 IEEE simposium oor sekuriteit en privaatheid (SP). IEEE, 3–18. [22] Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping, en Tom Goldstein. 2023. Diffusie kuns of digitale vervalsing? Die ondersoek van data replikasie in diffusie modelle. In persentasie van IEEE CVPR. [23] Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping, en Tom Goldstein. 2023. Begrip en Vermindering van Kopieer in Diffusie Modelle. [24] Lukas Struppek, Dominik Hintersdorf, en Kristian Kersting. 2022. Rickrolling the Artist: Injecting Invisible Backdoors into Text-Guided Image Generation Models. arXiv voordruk arXiv:2211.02408 (2022). [25] Stable-Diffusion v1 5. [n. d.]. https://huggingface.co/runwayml/stable-diffusionv1-5 [26] Stable-Diffusion v2 1. [n. d.]. https://huggingface.co/stabilityai/stable-diffusion2-1 [27] Yixin Wu, Rui Wen, Michael Backes, Ning Yu, en Yang Zhang. 2022. model diefstal aanvalle teen visie-taal modelle. [28] Yunqing Zhao, Tianyu Pang, Chao Du, Xiao Yang, Ngai-Man Cheung, en Min Lin. 2023. 'n resep vir watermerk diffusie modelle. arXiv voordruk arXiv:2303.10137 (2023). Die skrywers: 1) die Lykun Zhang; 2) die Woord van 3) Lingcui Zhang; (Voorwaar, jy is die enigste wat jy kan doen.) 5) die oorspronklike 6) Fenghua Li; (7) Ben Niu . Authors: 1) die Lykun Zhang; 2) die Woord van 3) Lingcui Zhang; (Voorwaar, jy is die enigste wat jy kan doen.) 5) die oorspronklike 6) Fenghua Li; (7) Ben Niu . Hierdie artikel is beskikbaar op archiv onder CC BY 4.0 lisensie. Hierdie papier is Dit is onder die CC BY 4.0 lisensie. beskikbaar in die archief beskikbaar in die archief
