Penulis : 1) Menghadapi Zhang Zhang 2) Menghadapi hal itu; 3) Lingcui Zhang b) Fengyuan Xu 5) Jin Cao; 6) Fenghua Li (7) Ben Niu Authors: 1) Menghadapi Zhang Zhang 2) Menghadapi hal itu; 3) Lingcui Zhang b) Fengyuan Xu 5) Jin Cao; 6) Fenghua Li (7) Ben Niu Tabel dari kiri Abstract and Introduction Background & Related Work 2.1 Text-to-Image Diffusion Model 2.2 Watermarking Techniques 2.3 Preliminary 2.3.1 [Problem Statement](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.3.2 [Assumptions](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4 Methodology 2.4.1 [Research Problem](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.2 [Design Overview](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.3 [Instance-level Solution](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.5 Statistical-level Solution Experimental Evaluation 3.1 Settings 3.2 Main Results 3.3 Ablation Studies 3.4 Conclusion & References abstrak Terutama, lawan dapat memanfaatkan data yang dihasilkan oleh model komersial untuk melatih mereka sendiri tanpa otorisasi yang tepat. Untuk mengatasi risiko seperti itu, sangat penting untuk menyelidiki atribusi data pelatihan model mencurigakan yang telah dirilis, terutama ketika pemilik model tidak memiliki keahlian keamanan. Untuk mengatasi tantangan ini, kami mengusulkan atribusi data pelatihan bebas suntikan untuk metode pelatihan teks-ke-gambar tertentu. Metode yang ada memerlukan aplikasi watermark tambahan selama fase pelatihan atau inferensi dari model sumber. Namun, metode ini tidak praktis untuk model yang telah dilatih sebelumnya yang telah dirilis, terutama ketika pemilik model tidak memiliki keahlian keamanan. Untuk mengatasi tantangan ini, kami mengusulkan atribusi data pelatihan bebas suntikan untuk model teks-ke-gambar tertentu. Metode ini dapat mengidentifikasi apakah proses pelatihan model mencurigakan berasal dari sumber, Likun Zhang, Hao Wu, Lingcui Zhang, Fengyuan Xu, Jin Cao, Fenghua Li, Ben Niu. 2024. Pengenalan Data Pelatihan: Apakah Model Anda secara rahasia dilatih pada data yang dibuat oleh saya?. Di . ACM, New York, NY, Amerika Serikat, 9 halaman. https://doi.org/10.1145/nnnnnnnnn.nnnnnnnnn ACM Reference Format: 1 Pengantar Sistem generasi teks-ke-gambar yang didasarkan pada model difusi telah menjadi alat populer untuk menciptakan gambar digital dan kreasi artistik [16, 17]. Mengingat input instan dalam bahasa alami, sistem generatif ini dapat mensintesis gambar digital dengan kualitas estetika yang tinggi. Namun, pelatihan model ini adalah tugas yang cukup intensif, membutuhkan sejumlah besar data dan sumber daya pelatihan. Mereka membuat model tersebut menjadi properti intelektual yang berharga bagi pemilik model, bahkan jika struktur model biasanya publik. Salah satu kekhawatiran yang signifikan untuk model tersebut adalah penggunaan yang tidak sah dari data yang dihasilkan [10]. Seperti yang ditunjukkan pada Gambar 1, seorang penyerang berpotensi menginterogasi model komersial dan mengumpulkan data yang dihasilkan oleh model, kemudian menggunakan data yang dihasilkan untuk melatih model yang dipersonalisasi. Dia menyerang model sebagai model yang mencurigakan dan menandai model komersial sebagai model sumber. Serangan ini telah menimbulkan alarm di antara pengembang model komersial. Beberapa perusahaan terkemuka, misalnya, MidJourney [14] dan ImagenAI [7], telah secara eksplisit menyatakan dalam persyaratan pengguna mereka bahwa praktik semacam itu tidak diizinkan, seperti yang ditunjukkan dalam Gambar 2. Penting untuk menyelidiki hubungan antara model sumber dan model yang mencurigakan. Metode watermarking yang ada umumnya dapat dikategorikan menjadi dua jenis: satu melibatkan memasukkan watermark dalam data pelatihan selama fase pelatihan model [11, 12, 28], dan yang lain menambahkan watermark ke output model setelah pelatihan [10], sehingga data yang dihasilkan mengandung karakteristik watermark yang dapat dilacak. Namun, ada dua masalah pekerjaan yang ada tidak sepenuhnya ditangani. Pertama, sehubungan dengan kelayakan, tetap tidak dijelaskan apakah model sumber, setelah watermarked, dapat berhasil melewati watermarknya ke model yang mencurigakan melalui data yang dihasilkan. Kedua, sehubungan dengan kelayakan, teknik watermark dapat mempengaruhi kualitas generasi model sumber [28], atau selama pelatihan. Selain itu, menerapkan teknik-teknik ini membutuhkan pengetahuan keamanan, sehingga meningkatkan bar untuk aplikasi praktis. Dalam makalah ini, tujuan kami adalah untuk mengungkapkan indikator yang secara alami tertanam dalam model sumber, yang dapat ditransfer ke setiap model yang dilatih pada data yang dihasilkan oleh model sumber. watermark inherent ini dapat mengungkapkan hubungan antara sumber dan model yang mencurigakan. Tidak seperti watermark yang disuntik secara buatan, indikator inherent ini tidak memerlukan modifikasi pada algoritma pelatihan model atau output. Memori berarti kemampuan model untuk mengingat dan mereproduksi gambar dari sampel pelatihan tertentu ketika model didorong oleh teks yang sesuai selama inferensi [23]. Penelitian telah menunjukkan bahwa memori seperti itu dalam model generatif tidak sesekali. sebaliknya, model dengan kinerja yang lebih baik dan kemampuan generalisasi yang lebih kuat menunjukkan memori yang lebih menonjol [23]. Meskipun menjanjikan, menerapkan fenomena memori untuk mencapai tujuan kami tidak mudah. Bahkan jika kami berhasil melakukan ekstraksi data pelatihan yang berhasil pada model mencurigakan seperti yang diusulkan di [3], informasi yang kami peroleh adalah data yang dihasilkan oleh model sumber. Mengingat ruang generasi model sumber yang luas, menjadi sulit untuk memverifikasi apakah data yang diekstraksi dihasilkan oleh model sumber. Dalam makalah ini, kami mengusulkan metode bebas suntikan data praktis untuk memastikan apakah model yang mencurigakan telah dilatih menggunakan data yang dihasilkan oleh model sumber tertentu. Pendekatan kami mempertimbangkan karakteristik perilaku instansi dan statistik dari model sumber, yang diperlakukan sebagai bagian dari indikator inherent untuk melacak data yang dihasilkan terhadap penggunaan yang tidak sah. Secara khusus, pada tingkat instansi, kami merancang dua strategi untuk memilih satu set sampel kunci (dalam bentuk pasangan teks dan gambar) dalam data pelatihan model sumber. Set ini dipilih untuk memaksimalkan fenomena memori. Kami kemudian menggunakan teks dalam sampel ini untuk menanyakan model yang mencurigakan dengan biaya minimal, mengevaluasi hubungan antara dua model berdasarkan kesamaan output mereka. Pada tingkat statistik, kami mengembangkan teknik yang melibatkan pelatihan beberapa model bayangan pada set data yang mengandung atau tidak mengandung data yang dihasilkan oleh Hasil eksperimental menunjukkan bahwa solusi atribusi tingkat instance kami dapat diandalkan dalam mengidentifikasi model yang melanggar dengan keyakinan tinggi lebih dari 0,8. bahkan ketika model yang melanggar hanya menggunakan proporsi kecil seperti 30% dari data yang dihasilkan, keyakinan atribusi lebih dari 0,6, setara dengan metode atribusi berbasis watermark yang ada. Our main contributions are summarized as: Berfokus pada masalah pelanggaran istilah pengguna yang disebabkan oleh penyalahgunaan data yang dihasilkan dari model teks-ke-gambar yang telah dilatih sebelumnya, kami merumuskan masalah ini sebagai atribusi data pelatihan dalam skenario yang realistis. Kami mengusulkan dua solusi bebas suntikan baru untuk mengaitkan data pelatihan dari model mencurigakan dengan model sumber pada tingkat instansi dan tingkat statistik. metode ini dapat secara efektif dan dapat diandalkan mengidentifikasi apakah model mencurigakan telah dilatih pada data yang dihasilkan oleh model sumber. Kami melakukan evaluasi yang komprehensif dari pendekatan atribusi kami. hasilnya menunjukkan kinerjanya setara dengan pendekatan atribusi watermark yang ada di mana watermark disuntikkan sebelum model diluncurkan. Selebihnya dari makalah ini disusun sebagai berikut. Kami memperkenalkan pengetahuan latar belakang dan pekerjaan terkait di Bagian 2. Bagian 3 menggambarkan prasyarat dan asumsi kami. Kemudian, Bagian 4 memperkenalkan pertanyaan penelitian kami dan pendekatan atribusi secara rinci. Hasil evaluasi eksperimental dilaporkan di Bagian 5. Akhirnya, kami menyelesaikan makalah ini di Bagian 6. Dokumen ini tersedia di archiv di bawah lisensi CC BY 4.0. Kertas ini adalah dengan lisensi CC BY 4.0. Tersedia di Arsip
