ผู้เขียน : 1) Likun Zhang (2) ฮาโวู 3) Lingcui Zhang 4) Fengyuan Xu (5) จีน Cao (6) Fenghua ลิ (7) Ben Niu Authors: 1) Likun Zhang (2) ฮาโวู 3) Lingcui Zhang 4) Fengyuan Xu (5) จีน Cao (6) Fenghua ลิ (7) Ben Niu ตารางด้านซ้าย Abstract and Introduction Background & Related Work 2.1 Text-to-Image Diffusion Model 2.2 Watermarking Techniques 2.3 Preliminary 2.3.1 [Problem Statement](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.3.2 [Assumptions](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4 Methodology 2.4.1 [Research Problem](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.2 [Design Overview](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.3 [Instance-level Solution](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.5 Statistical-level Solution Experimental Evaluation 3.1 Settings 3.2 Main Results 3.3 Ablation Studies 3.4 Conclusion & References สารสกัดจาก การตรวจสอบการปรากฏตัวของรูปแบบข้อมูลจากข้อความไปยังรูปภาพได้ทําให้เกิดความสนใจอย่างมีนัยสําคัญเมื่อเร็ว ๆ นี้ แต่ผู้เข้าร่วมเป็นเงาของการละเมิดศักยภาพโดยการละเมิดเงื่อนไขของผู้ใช้ โดยเฉพาะอย่างยิ่งผู้ตรงกันข้ามอาจใช้ประโยชน์จากข้อมูลที่สร้างขึ้นโดยรุ่นเชิงพาณิชย์เพื่อฝึกอบรมตัวเองโดยไม่ต้องได้รับอนุญาตอย่างถูกต้อง เพื่อตอบสนองความเสี่ยงดังกล่าวจึงเป็นสิ่งสําคัญที่จะตรวจสอบการเชื่อมโยงกับข้อมูลการฝึกอบรมของรุ่นที่สงสัยโดยการกําหนดว่าข้อมูลการฝึกอบรมของมันมาจากรูปแบบที่เฉพาะเจาะจงหรือบางส่วน เพื่อตอบสนองความท้าทายนี้เราเสนอการเชื่อมโยงข้อมูลการฝึกอบรมแบบอิงค์เจ็ทสําหรับรูปแบบที่เฉพาะเจาะจงของข้อความไปยังรูปภาพที่เกิดขึ้นของเราต้องใช้เครื่องหมายน้ําเพิ่มเติมระหว่างการฝึกอบรมหรือขั้นตอน Likun Zhang, Hao Wu, Lingcui Zhang, Fengyuan Xu, Jin Cao, Fenghua Li, Ben Niu. 2024. การฝึกอบรมข้อมูลการรับรอง: รุ่นของคุณได้รับการฝึกอบรมในความลับเกี่ยวกับข้อมูลที่สร้างขึ้นโดยฉัน? ใน . ACM, New York, NY, USA, 9 หน้า. https://doi.org/10.1145/nnnnnnnnnnn.nnnnnnnnn ACM Reference Format: 1 บทนํา ระบบการสร้างข้อความไปยังภาพที่ขึ้นอยู่กับรูปแบบการแพร่กระจายได้กลายเป็นเครื่องมือที่นิยมสําหรับการสร้างภาพดิจิตอลและการสร้างสรรค์ศิลปะ [16, 17] ด้วยการป้อนข้อมูลที่รวดเร็วในภาษาธรรมชาติระบบสร้างสรรค์เหล่านี้สามารถสังเคราะห์ภาพดิจิตอลที่มีคุณภาพทางสถาปัตยกรรมสูง อย่างไรก็ตามการฝึกอบรมรูปแบบเหล่านี้เป็นงานที่เข้มงวดค่อนข้างต้องใช้ข้อมูลและทรัพยากรการฝึกอบรมจํานวนมาก พวกเขาทําให้รูปแบบดังกล่าวเป็นคุณสมบัติทางปัญญาที่มีค่าสําหรับเจ้าของรูปแบบแม้ว่าโครงสร้างรูปแบบมักจะเป็นสาธารณะ หนึ่งในความกังวลที่สําคัญสําหรับโมเดลดังกล่าวคือการใช้ข้อมูลที่สร้างขึ้นโดยไม่ได้รับอนุญาต [10] ตามที่แสดงในภาพ 1 นักโจมตีอาจสอบถามรูปแบบการค้าและเก็บรวบรวมข้อมูลที่สร้างขึ้นโดยโมเดลแล้วใช้ข้อมูลที่สร้างขึ้นเพื่อฝึกรูปแบบที่กําหนดเองของพวกเขา สําหรับความเรียบง่ายในเรื่องราวเราหมายถึง เขาใช้รุ่นของผู้โจมตีเป็นรุ่นที่น่าสงสัยและหมายถึงรุ่นเชิงพาณิชย์เป็นรุ่นแหล่งข้อมูล การโจมตีนี้ได้กระตุ้นการเตือนภัยในหมู่ผู้พัฒนารุ่นเชิงพาณิชย์แล้ว บาง บริษัทชั้นนําเช่น MidJourney [14] และ ImagenAI [7] ได้ระบุอย่างชัดเจนในเงื่อนไขการใช้งานของพวกเขาว่าการปฏิบัติดังกล่าวไม่อนุญาตตามที่แสดงในภาพ 2 มันเป็นสิ่งสําคัญที่จะตรวจสอบความสัมพันธ์ระหว่างรุ่นแหล่งข้อมูลและรุ่นที่น่าสงสัย เราเรียกว่างานคือการกําหนดค่าข้อมูลการฝึกอบรม เพื่อจัดการกับงานหนึ่งอาจคิดถึงการใช้เทคนิคการทําเครื่องหมายน้ําเพื่อให้บรรลุงาน วิธีการทําเครื่องหมายน้ําที่มีอยู่โดยทั่วไปสามารถแบ่งออกเป็นสองประเภท: หนึ่งเกี่ยวข้องกับการแทรกเครื่องหมายน้ําลงในข้อมูลการฝึกอบรมในระหว่างขั้นตอนการฝึกอบรมแบบจําลอง [11, 12, 28] และอีกหนึ่งเพิ่มเครื่องหมายน้ําลงในเอาต์พุตแบบจําลองหลังจากการฝึกอบรม [10] เพื่อให้ข้อมูลที่สร้างขึ้นมีคุณสมบัติเครื่องหมายน้ําที่สามารถติดตามได้ อย่างไรก็ตามมีสองปัญหาที่งานที่มีอยู่ไม่ได้รับการแก้ไขอย่างเต็มที่ ครั้งแรกเกี่ยวกับความสามารถในการใช้งานยังคงไม่ค้นพบว่ารุ่นแหล่งที่มาเมื่อได้รับการทําเครื่องหมายน้ําจะสามารถส่งเครื่องหมายน้ําไปสู่รูปแบบที่น่าสงสัยผ่านข้อมูลที่สร้างขึ้น ประการที่สองเกี่ยวกับความสามารถในการใช้งานเทคนิคเครื่องหมายน้ําอาจส่งผลต่อคุณภาพของรุ่นแหล่งที่มา [28] ในบทความนี้เป้าหมายของเราคือการค้นพบตัวบ่งชี้ที่ฝังอยู่ในรูปแบบแหล่งที่มาซึ่งสามารถถ่ายโอนไปยังรูปแบบใด ๆ ที่ได้รับการฝึกอบรมจากข้อมูลที่ผลิตโดยรูปแบบแหล่งที่มา ตัวบ่งชี้ในตัวเหล่านี้สามารถเปิดเผยความสัมพันธ์ระหว่างแหล่งที่มาและรูปแบบที่น่าสงสัย ไม่เหมือนกับตัวบ่งชี้ในตัวเหล่านี้ไม่จําเป็นต้องมีการเปลี่ยนแปลงอัลกอริทึมการฝึกอบรมหรือผลผลิตของรุ่น นั่นหมายความว่าการใช้วิธีการการกําหนดค่าของเราจะไม่ส่งผลกระทบต่อคุณภาพการผลิตของรุ่นและไม่จําเป็นต้องมีความรู้ด้านความปลอดภัยใด ๆ เหตุผลของวิธีการของเรามาจากปรากฏการณ์การจดจําที่แสดงโดยรูปแบบการสร้างข้อความต่อภาพ การจดจําหมายถึงความสามารถของรูปแบบที่จะจดจําและทําซ้ําภาพของตัวอย่างการฝึกอบรมบางอย่างเมื่อรุ่นถูกกระตุ้นโดยข้อความที่สอดคล้องกันในระหว่างการสรุป [23] การวิจัยได้แสดงให้เห็นว่าการจดจําดังกล่าวในรูปแบบการสร้างไม่ได้เป็นครั้งคราว ในทางตรงกันข้ามรูปแบบที่มีประสิทธิภาพที่เหนือกว่าและความสามารถในการสร้างทั่วไปที่แข็งแกร่งขึ้นแสดงให้เห็นถึงการจดจําที่โดดเด่น [23] แม้ว่าการประยุกต์ใช้ปรากฏการณ์การจดจําเพื่อให้บรรลุเป้าหมายของเราจะไม่เรียบง่าย แม้ว่าเราจะประสบความสําเร็จในการสกัดข้อมูลการฝึกอบรมเกี่ยวกับรูปแบบที่น่าสงสัยตามที่นําเสนอใน [3] ข้อมูลที่เราได้รับคือข้อมูลที่สร้างขึ้นโดยรุ่นแหล่ง เนื่องจากพื้นที่การสร้างของรุ่นแหล่งมีขนาดใหญ่ก็กลายเป็นความท้าทายที่จะตรวจสอบว่าข้อมูลที่สกัดถูกสร้างขึ้นโดยรุ่นแหล่งหรือไม่ เราจะอธิบายความท้าทายอย่างเป็นทางการในส่วน 3 ในบทความนี้เราเสนอวิธีการที่ใช้งานได้โดยไม่ต้องฉีดข้อมูลเพื่อตรวจสอบว่ารุ่นที่น่าสงสัยได้รับการฝึกอบรมโดยใช้ข้อมูลที่สร้างขึ้นโดยรุ่นแหล่งข้อมูลบางอย่าง วิธีการของเราพิจารณาทั้งคุณสมบัติการปฏิบัติในระดับตัวอย่างและสถิติของรุ่นแหล่งข้อมูลซึ่งจะถูกประมวลผลเป็นส่วนหนึ่งของตัวบ่งชี้ที่เป็นเอกลักษณ์เพื่อติดตามข้อมูลที่สร้างขึ้นจากการใช้ที่ไม่ได้รับอนุญาต โดยเฉพาะอย่างยิ่งในระดับตัวอย่างเราออกแบบกลยุทธ์สองแบบเพื่อเลือกชุดตัวอย่างหลัก (ในรูปแบบของคู่ข้อความและภาพ) ในข้อมูลการฝึกอบรมของรุ่นแหล่งข้อมูล ชุดนี้ได้รับการเลือกเพื่อเพิ่มประสิทธิภาพของปรากฏการณ์การจดจํา จากนั้นเราใช้ข้อความในตัวอย่างเหล่านี้เพื่อสอบถามรูปแบบที่น่าสงสัยในราคาต่ําสุดโดยประเมินความสัมพันธ์ระหว่างสองรุ่นตามความคล้ายคลึงกันของผลผลิตของพวกเขา ในระดับสถ ผลการทดลองแสดงให้เห็นว่าโซลูชั่นการแต่งตั้งในระดับตัวอย่างของเรามีความน่าเชื่อถือในการระบุรูปแบบการละเมิดที่มีความน่าเชื่อถือสูงกว่า 0.8 แม้ว่ารูปแบบการละเมิดจะใช้เพียงส่วนเล็ก ๆ เช่น 30% ของข้อมูลที่สร้างขึ้นความน่าเชื่อถือในการแต่งตั้งจะสูงกว่า 0.6 เมื่อเทียบกับวิธีการแต่งตั้งที่มีอยู่บนพื้นฐาน watermark โซลูชั่นในระดับสถิติบรรลุความถูกต้องโดยรวมมากกว่า 85% ในการแยกแหล่งข้อมูลการฝึกอบรมของรูปแบบที่น่าสงสัย Our main contributions are summarized as: การมุ่งเน้นไปที่ปัญหาการละเมิดคําศัพท์ผู้ใช้ที่เกิดจากการใช้ข้อมูลที่สร้างขึ้นจากรูปแบบข้อความ-to-ภาพที่ได้รับการฝึกอบรมไว้ล่วงหน้าเราได้กําหนดปัญหานี้เป็นการกําหนดข้อมูลการฝึกอบรมในสถานการณ์ที่สมจริง เราเป็นคนแรกที่ทํางานในการตรวจสอบความสัมพันธ์ระหว่างรูปแบบที่น่าสงสัยและรูปแบบแหล่งข้อมูล เราเสนอสองโซลูชั่นใหม่ฟรีการฉีดเพื่อเชื่อมโยงข้อมูลการฝึกอบรมของรูปแบบที่น่าสงสัยกับรูปแบบแหล่งข้อมูลทั้งในระดับตัวอย่างและระดับสถิติ วิธีการเหล่านี้สามารถระบุได้อย่างมีประสิทธิภาพและเชื่อถือได้ว่ารูปแบบที่น่าสงสัยได้รับการฝึกอบรมจากข้อมูลที่ผลิตโดยรูปแบบแหล่งข้อมูลหรือไม่ ผลลัพธ์แสดงให้เห็นว่าประสิทธิภาพการทํางานของมันเทียบเท่ากับวิธีการจําแนกน้ําที่มีอยู่ซึ่งฉีดเครื่องหมายน้ําก่อนที่จะใช้รุ่น ส่วนที่เหลือของบทความจะจัดขึ้นดังต่อไปนี้ เราแนะนําความรู้พื้นหลังและงานที่เกี่ยวข้องในส่วนที่ 2 ส่วนที่ 3 อธิบายการเริ่มต้นและข้อคาดการณ์ของเรา จากนั้นส่วนที่ 4 แสดงคําถามการวิจัยของเราและวิธีการคํานึงถึงในรายละเอียด ผลการประเมินการทดลองจะถูกรายงานในส่วนที่ 5 สุดท้ายเราจะสรุปบทความนี้ในส่วนที่ 6 กระดาษนี้สามารถใช้ได้ใน archiv ภายใต้ใบอนุญาต CC BY 4.0 กระดาษนี้เป็น ภายใต้ใบอนุญาต CC BY 4.0 สามารถใช้ได้ใน Archives
