Jadual kiri Abstract and Introduction Background & Related Work 2.1 Text-to-Image Diffusion Model 2.2 Watermarking Techniques 2.3 Preliminary 2.3.1 Problem Statement 2.3.2 Assumptions 2.4 Methodology 2.4.1 Research Problem 2.4.2 Design Overview 2.4.3 Instance-level Solution 2.5 Statistical-level Solution Experimental Evaluation 3.1 Settings 3.2 Main Results 3.3 Ablation Studies 3.4 Conclusion & References 3 Penilaian percubaan Dalam seksyen ini, kami akan terlebih dahulu menggambarkan prosedur percubaan kami.Selepas itu, kami menunjukkan sama ada kaedah yang disyorkan boleh mencapai matlamat yang ditentukan dalam Seksyen 3.1.Selepas itu, kami melengkapkan kajian ablasi dan membincangkan strategi untuk memilih hyperparameter optimal. 3.1 Pengaturan Kami menggunakan Stable Diffusion [17] dengan titik kawalan Stable-Diffusion-v1-5 (SD-v1) [25] dan Stable-Diffusion-v2-1 (SDv2) [26] sebagai model yang telah dilatih. Text-to-image models. Kami memilih dua set data imej caption yang digunakan secara meluas. Datasets CelebA-Dialog-HQ (CelebA) [9]: set data muka bahasa visual skala besar dengan 30,000 imej muka resolusi tinggi dengan saiz 1024×1024 dipilih daripada set data CelebA. Disertai dengan setiap imej, terdapat tajuk yang menggambarkan lima atribut yang dipotong halus termasuk Bangs, Eyeglasses, Beard, Smiling, dan Age. 2) Google's Conceptual Captions (CC3M) [20]: satu set data baru yang terdiri daripada 3,3M imej yang dianotasi dengan captions. kami menggunakan pembahasan pengesahan yang terdiri daripada 15,840 imej / pasangan caption. Berbeza dengan gaya yang dianjurkan daripada anotasi caption imej lain, imej Caption Conceptual dan deskripsi mereka diambil daripada web, dan oleh itu mewakili pelbagai gaya yang lebih luas. Untuk data latihan untuk finetuning, kami secara rawak memilih 3000 sampel dari setiap dataset dan mengubah saiz mereka kepada 512×512. Kami finetune setiap model pra-latih pada setiap dataset untuk jumlah 3000 iterasi dengan kadar pembelajaran konstan 2e-6 dan saiz batch 2. Kami menamakan model sumber ini sebagai: SD-v1, SD-v2, SD-v1-CelebA, SD-v2-CelebA, SD-v1-CC3M, SD-v2-CC3M. Source model construction Walaupun pra-latihan dan finetuning kedua-duanya menimbulkan kebimbangan mengenai pelanggaran IP, finetuning mempunyai kesan yang lebih teruk. berbanding dengan pra-latihan, finetuning adalah sangat mudah dan berkesan, membolehkan banyak penggunaan yang tidak dibenarkan tanpa sekatan sumber yang banyak. Oleh itu, kami membina setiap model pelanggaran dengan finetuning model pra-latihan pada 500 sampel latihan, di mana sebahagian ρ daripada mereka dihasilkan oleh model sumber, manakala sisanya diambil sampel daripada data sebenar. Suspicious model construction. Sila ambil perhatian bahawa kerja kami adalah yang pertama untuk menangani masalah dalam atribusi data latihan dalam senario teks-ke-gambar, dan oleh itu, tidak ada kerja yang berkaitan secara langsung. Baselines Baseline ini menyuntikkan watermark ke dalam data latihan. Lebih khusus lagi, seperti yang dinyatakan dalam [12], dengan mengkodkan array 32-bit yang unik ke dalam imej yang dihasilkan oleh model sumber, model pelanggaran yang dilatih pada data watermark tersebut juga akan menghasilkan imej di mana watermark boleh dideteksi. Baseline 1: Penyerahan data berasaskan Watermark Baseline ini mengamalkan idea yang sama dengan penyelesaian tahap instance kami, tetapi Baseline 2: Atribusi data berasaskan pilihan rawak. tidak menggunakan Strategi 1 dan Strategi 2 yang kami cadangkan untuk atribusi data. Secara khusus, kami secara rawak memilih sampel latihan N daripada set data latihan model sumber sebagai input atribusi. Kami menggunakan skor Akurasi, Area Under Curve (AUC) dan TPR@10%FPR [2] untuk menilai ketepatan dan kebolehpercayaan kaedah pengenalan. TPR@10%FPR mengukur kadar positif benar (TPR) pada kadar positif palsu rendah (FPR). Evaluation Metrics. 3.2 Hasil utama Mengikut setiap model sumber, kami membina 30 model pelanggaran dan mengira metrik conf yang ditakrifkan dalam Persamaan 9 untuk setiap model pelanggaran. Di sini kami menetapkan saiz sampel kunci sebagai N = 30. Untuk menilai kebolehpercayaan penyelesaian atribusi tahap instance kami, kami melaporkan nilai purata conf di antara 30 model pelanggaran di bawah kadar pengeluaran ρ yang berbeza dalam Gambar 6. Model pelanggaran disesuaikan dengan peratusan yang semakin meningkat imej yang dihasilkan (ρ = 30%, 50%, 70%, 100% daripada jumlah 500). Effectiveness of Instance-level Attribution. Hasil utama 1: Penyelesaian kami melebihi Baseline 2, menunjukkan peningkatan yang signifikan dalam kepercayaan atribusi lebih daripada 0.2 dalam pelbagai nilai ρ. Pada masa yang sama, strategi atribusi berasaskan generasi kami mencapai kebolehpercayaan yang sama dengan Baseline 1, dengan penurunan minimum kepercayaan tidak melebihi 0.1. Hasil utama 2: Kaedah atribusi kami mengekalkan kebolehpercayaan walaupun model pelanggaran menggunakan sebahagian kecil data yang dihasilkan untuk latihan. resolusi tahap instance kami, memanfaatkan strategi berasaskan pengeluaran, menunjukkan keyakinan prediksi melebihi 0.6, walaupun di bawah kadar pengeluaran yang kurang daripada 30%. prestasi ini menggambarkan kelebihan yang jelas, dengan peningkatan 50% berbanding baseline 2. Untuk melatih model diskriminator dalam Seksyen 4.4, kami menetapkan n = 500, s = 10, N = 30. Kami menilai model diskriminator dan menunjukkan metrik Akurasi, AUC, dan TPR@10%FPR dalam Jadual 1. Effectiveness of Statistical-level Attribution Hasil utama 3: Hasil dalam Jadual 1 menunjukkan bahawa atribusi kami mencapai ketepatan yang tinggi dan prestasi AUC, di mana ketepatan melebihi 85%, dan AUC adalah lebih tinggi daripada 0.8 untuk mengaitkan model pelanggaran kepada model sumber yang berbeza. Ketepatan dan AUC adalah metrik kes purata yang mengukur seberapa kerap kaedah atribusi benar meramalkan pelanggaran, manakala atribusi dengan FPR yang tinggi tidak boleh dianggap boleh dipercayai. Oleh itu, kami menggunakan metrik TPR@10%FPR untuk menilai kebolehpercayaan atribusi peringkat statistik. Kolom paling kanan Jadual 1 menunjukkan bahawa TPR adalah lebih daripada 0.7 pada FPR yang rendah 10%. Ini bermakna atribusi kami tidak akan menegaskan model yang tidak bersalah dan mampu membezakan model pelanggaran dengan tepat. 3.3 Kajian Ablasi δ0. Untuk menentukan nilai optimal untuk δ0 untuk atribusi tahap instance, kita mengira nilai jarak rekonstruksi menggunakan 30 sampel kunci pada model pelanggaran dengan ρ = 1 dan model tidak bersalah dengan ρ = 0. Model tidak bersalah disesuaikan dengan model SD-v2 yang telah dilatih sebelumnya. Jadual 2 membandingkan pembahagian jarak rekonstruksi di antara model yang mencurigakan berdasarkan model sumber yang berbeza. lajur 4-8 menunjukkan peratusan sampel dalam julat jarak rekonstruksi tertentu untuk setiap kes, manakala 2 lajur terakhir menunjukkan jarak rekonstruksi purata dan terbaik di antara semua sampel, masing-masing. Effect of hyper-parameter perbezaan antara distribusi model yang tidak bersalah dan model yang melanggar, semakin mudah untuk mencari δ0 untuk atribusi. Untuk model yang tidak bersalah, jarak pembinaan sebahagian besar sampel (seperti yang besar 73.9%) jatuh dalam julat [0.15,0.2), manakala hanya 4.3% sampel mempunyai jarak pembinaan kurang daripada 0.15. Untuk model yang melanggar, terdapat kira-kira 20% sampel mempunyai jarak pembinaan kurang daripada 0.1. Dalam kebanyakan kes (5 daripada 6 model yang melanggar), lebih daripada 40% sampel mempunyai jarak pembinaan dalam julat [0.1,0.15). Ia menunjukkan bahawa δ0 = 0.15 adalah sempadan yang signifikan untuk membezakan model yang tidak bersalah dan model yang melanggar tanpa mengira model sumber. Oleh itu, kami menetapkan δ0 = 0.15 dalam eksperimen kami. Mengikuti tetapan dalam Jadual 2, kami mengkaji lebih lanjut kesan N pada atribusi tahap instance, di mana N berkisar dari 20 hingga 100 dalam Gambar 7. Titik y merujuk kepada nilai purata conf pada sampel kunci N melalui Persamaan 6, di mana conf mewakili keyakinan atribusi untuk mengenal pasti model yang melanggar. Secara khusus, N = 100 mencapai keyakinan tertinggi, kira-kira 0.1 lebih tinggi daripada model sumber yang sesuai yang dinyatakan dalam subtitle. Walau bagaimanapun, bilangan pertanyaan tersebut menyebabkan kos yang lebih besar dan keburukan yang lebih buruk semasa proses pengesahan. Secara teori, N = 30 yang meningkat meningkatkan keandalan pengesahan tetapi memerlukan lebih banyak pertanyaan kepada model yang mencurigakan. Secara khusus, N = 100 mencapai keyakinan tertinggi, kira-kira 0.1 lebih tinggi daripada model yang melanggar N = 30. Walau bagaimanapun, Effect of key sample size 𝑁. 3.4 Kesimpulan Kerja ini menangani isu penting pengasingan data latihan, menyiasat sama ada model yang mencurigakan melanggar harta intelek model komersial dengan menggunakan data yang dihasilkan tanpa kebenaran. Penyelesaian pengasingan yang kami cadangkan membolehkan pengenalan model sumber dari mana data latihan model yang mencurigakan berasal. Alasan kaedah kami terletak dalam memanfaatkan sifat memori dalaman set data latihan, yang akan dihantar melalui data yang dihasilkan dan disimpan dalam model yang dilatih pada data tersebut. Kami merancang algoritma untuk mendeteksi sampel yang berbeza yang menunjukkan tingkah laku idiosinkratik dalam kedua-dua model sumber dan yang mencurigakan, memanfaatkan ciri-ciri ini sebagai penanda dalaman untuk menjejaki keturunan model yang mencurigakan. Akhirnya, penyelidikan kami menyediakan penyelesaian yang kukuh untuk pengesahan terma pengguna dalam bidang model teks Referensi [1] Yossi Adi, Carsten Baum, Moustapha Cissé, Benny Pinkas, dan Joseph Keshet. 2018. Menukar kelemahan anda kepada kekuatan: Menandai rangkaian saraf dalam melalui backdooring. [2] Nicholas Carlini, Steve Chien, Milad Nasr, Shuang Song, Andreas Terzis, dan Florian Tramer. 2022. Kesimpulan keahlian serangan daripada prinsip pertama. [3] Nicholas Carlini, Jamie Hayes, Milad Nasr, Matthew Jagielski, Vikash Sehwag, Florian Tramèr, Borja Balle, Daphne Ippolito, dan Eric Wallace. 2023. Mengekstrak data latihan daripada model diffusion. [4] Weixin Chen, Dawn Song, dan Bo Li. 2023. TrojDiff: Serangan Trojan terhadap model penyebaran dengan sasaran yang berbeza. [5] Sheng-Yen Chou, Pin-Yu Chen, dan Tsung-Yi Ho. 2023. bagaimana untuk model diffusion belakang?. [6] Ge Han, Ahmed Salem, Zheng Li, Shanqing Guo, Michael Backes, dan Yang Zhang. 2024. pengesanan dan pengiktirafan model yang dilatih pada data yang dihasilkan. [7] ImagenAI. [n. d.]. https://imagen-ai.com/terms-of-use [8] Hengrui Jia, Christopher A Choquette-Choo, Varun Chandrasekaran, dan Nicolas Papernot. 2021. Tanda air terikat sebagai pertahanan terhadap pengeluaran model. [9] Yuming Jiang, Ziqi Huang, Xingang Pan, Chen Change Loy, dan Ziwei Liu. 2021. Talk-to-Edit: Fine-Grained Facial Editing via Dialog. [10] Zongjie Li, Chaozheng Wang, Shuai Wang, dan Cuiyun Gao. 2023. Melindungi harta intelek APIs pembentukan kod berasaskan model bahasa yang besar melalui Watermarks. [11] Yugeng Liu, Zheng Li, Michael Backes, Yun Shen, dan Yang Zhang. 2023. model diffusion watermark. arXiv praprint arXiv:2305.12502 (2023). [12] Ge Luo, Junqiang Huang, Manman Zhang, Zhenxing Qian, Sheng Li, dan Xinpeng Zhang. 2023. Mencuri Karya Seni Saya untuk Fine-tuning? A Watermarking Framework for Detecting Art Theft Mimicry in Text-to-Image Models. arXiv praprint arXiv:2311.13619 (2023). [13] Peizhuo Lv, Hualong Ma, Kai Chen, Jiachen Zhou, Shengzhi Zhang, Ruigang Liang, Shenchen Zhu, Pan Li, dan Yingjun Zhang. 2024. MEA-Defender: Watermark yang kukuh terhadap serangan ekstraksi model. [14] MidJourney. [n. d.]. https://docs.midjourney.com/docs/terms-of-service [15] Ed Pizzi, Sreya Dutta Roy, Sugosh Nagavara Ravindra, Priya Goyal, dan Matthijs Douze. 2022. A Self-Supervised Descriptor for Image Copy Detection. [16] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, dan Mark Chen. 2022. Generasi imej hierarki teks-kondisional dengan latens CLIP. arXiv praprint arXiv:2204.06125 (2022). [17] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, dan Björn Ommer. 2022. Sintesis imej resolusi tinggi dengan model difusi latent. [18] Olaf Ronneberger, Philipp Fischer, dan Thomas Brox. 2015. U-net: rangkaian konvolusi untuk pemecahan imej biomedikal. [19] Zeyang Sha, Xinlei He, Ning Yu, Michael Backes, dan Yang Zhang. 2023. Tidak boleh mencuri? Mencegah mencuri! Serangan pencurian kontras terhadap pengkodean imej. Dalam Peratusan IEEE CVPR. [20] Piyush Sharma, Nan Ding, Sebastian Goodman, dan Radu Soricut. 2018. Captions Konseptual: A Bersih, Hypernymed, Imej Alt-tekst Dataset untuk Automatic Image Captioning. [21] Reza Shokri, Marco Stronati, Congzheng Song, dan Vitaly Shmatikov. 2017. Serangan penyelesaian keahlian terhadap model pembelajaran mesin. Pada 2017 simposium IEEE mengenai keselamatan dan privasi (SP). IEEE, 3–18. [22] Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping, dan Tom Goldstein. 2023. Seni penyebaran atau penipuan digital? Penyelidikan replikasi data dalam model penyebaran. [23] Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping, dan Tom Goldstein. 2023. Memahami dan Mengurangkan Penyalinan dalam Model Difusi. [24] Lukas Struppek, Dominik Hintersdorf, dan Kristian Kersting. 2022. Rickrolling the Artist: Injecting Invisible Backdoors into Text-Guided Image Generation Models. arXiv praprint arXiv:2211.02408 (2022). [25] Stable-Diffusion v1 5. [n. d.]. https://huggingface.co/runwayml/stable-diffusionv1-5 [26] Stable-Diffusion v2 1. [n. d.]. https://huggingface.co/stabilityai/stable-diffusion2-1 [27] Yixin Wu, Rui Wen, Michael Backes, Ning Yu, dan Yang Zhang. 2022. serangan pencurian model terhadap model bahasa penglihatan. [28] Yunqing Zhao, Tianyu Pang, Chao Du, Xiao Yang, Ngai-Man Cheung, dan Min Lin. 2023. satu resipi untuk model diffusion watermark. arXiv praprint arXiv:2303.10137 (2023). Penulis : (a) Pihak yang bersetuju; (a) Mengadakan perhimpunan (Baca juga : Zhang Lingcui (a) Pihak Berkuasa Pihak Berkuasa; (Baca juga : Jin Cao (6) Fenghua Li; (7) Ben Niu . Authors: (a) Pihak yang bersetuju; (a) Mengadakan perhimpunan (Baca juga : Zhang Lingcui (a) Pihak Berkuasa Pihak Berkuasa; (Baca juga : Jin Cao (6) Fenghua Li; (7) Ben Niu . Dokumen ini boleh didapati di archiv di bawah lesen CC BY 4.0. Dokumen ini boleh didapati di archiv di bawah lesen CC BY 4.0. Tersedia dalam Archive
